5G推动AIoT落地，多模态AI芯成必然

　　云知声创始人/CEO黄伟认为，当前我们正处于5G爆发的边缘，5G与人工智能的结合将真正促使万物智联（AIoT）的落地与实现。可以预见的是，未来巨量的多维数据（如语音、图像、视频等）集中处理与边缘式分布计算的需求，势必将进一步挑战AI底层支持硬件——芯片的计算能力。

　　与此同时，AIoT场景下人工智能应用对于端云互动有着强需求。强大的云会让端能力更强，而强大的端则可提升数据处理的实时性和有效性，进而增强云的能力。二者需要紧密结合，这要求对芯片设计和云端架构进行统一考量。传统的通用方案架构由于在高实时性、高智能化场景中的算力有限，且无法平衡好成本、功耗、安全性等诸多现实需求，因此具备多维度AI数据集中处理能力的多模态AI芯片将成必由之路。

　　黄伟同时指出，面向5G万物智联时代，人工智能服务需提供更加场景化的解决方案，云+芯一体化的服务模式将成为行业主流。基于此，他进一步对传统SOC（System On Chip）概念提出全新定义，其中S代表不同的AI服务能力即Skills，O代表云端与边缘侧的互动On/off Cloud，C代表具备智能处理能力的AI芯片。

　　物联网AI芯片的多模态演进之路

　　在第一代UniOne芯片雨燕的发布会上，云知声联合创始人李霄寒曾指出，UniOne 并不是一颗芯片，而是一系列芯片，代表了云知声对于物联网AI 芯片发展战略的整体构想。在今日举行的云知声2019多模态AI芯片战略发布会上，李霄寒再次从三方面论证了物联网多模态AI芯片的必要性。他认为，当前物联网产品线的AI芯片越来越明显地体现出三个趋势：

　　首先是场景化。芯片设计正在由原来的片面追求PPA，即性能（Power）、功耗（Performance）和面积（Area）逐渐演变成基于软硬一体，甚至包括云端服务的方式来解决某个垂直领域的具体问题，芯片本身上升成为整个解决方案中的重要部分，而非唯一；

　　其次，端云互动。在物联网的不同应用场景下，海量终端设备要实现功能智能化必须端云配合，即形成边缘算力和云端算力的动态平衡。端云互动的命题需要AI芯片的强有力支持，进一步也深刻影响到芯片的设计，以及最终的交付；

　　再者，数据多模态。在以5G驱动的万物智联场景下，芯片所接触到的数据维度将由原来的单一化走向多元化，芯片所需处理的数据也由单模态变成多模态，这对芯片尤其是物联网人工智能芯片的设计提出了新的挑战。

　　结合以上三点，李霄寒认为，物联网AI芯片的最终呈现形式将不再是一个单一的硬件，而必然是承载着边缘能力与云端能力的多模态AI软硬一体解决方案。

　　云知声多模态AI芯片技术布局

　　为实现多模态AI芯片的战略落地，目前云知声已在加速技术布局，并在机器视觉方面取得飞速进展。其中，面向机器视觉的轻量级图像信号处理器已可实现在不依赖外部内存的情况下，在30 fps的速率下实时对传感器的图片进行预处理，以进一步提高后续机器视觉处理模块的处理速度和效果。借助基于人脸信息分析的多模态技术，已可实现人脸/物体识别、表情分析、标签化、唇动状态跟踪等功能，可为产品交互和用户体验提供更多的可玩性和灵活性。

　　尤为值得一提的是，云知声多模态人工智能核心IP——DeepNet2.0的发布，标志着云知声人工智能处理核心由1.0语音时代全面迈入2.0融合语音、图像等处理能力的多模态时代。DeepNet2.0可兼容LSTM/CNN/RNN/TDNN等多种推理网络，支持可重构计算与Winograd处理，最高可配置算力达4T，达行业一流水平。目前云知声DeepNet2.0已在FPGA上得到验证，将在2019年落地的全新多模态AI芯片海豚（Dolphin）上落地。

　　除此之外，在图像与芯片技术的产学研合作方面，云知声还与杜克大学所领导的美国自然科学基金旗下唯一人工智能计算中心——ASIC达成深度合作，致力于AI芯片算法压缩与量化技术,以及非冯新型AI芯片计算架构研究，将进一步为云知声多模态AI芯片战略的推进夯实基础。

　　三款在研芯片曝光，2019年启动量产

　　李霄寒透露，在持续迭代升级现有雨燕芯片的性能与服务之外，目前云知声多款面向不同方向的芯片也已在研发中，包括适用性更广的超轻量级物联网语音AI芯片雨燕Lite，集成云知声最先进神经网络处理器DeepNet2.0，可面向智慧城市场景提供对语音和图像等多模态计算支持的多模态AI芯片海豚（Dolphin），以及与吉利集团旗下生态链企业亿咖通科技共同打造的面向智慧出行场景的多模态车规级AI芯片雪豹（Leopard）。以上三款芯片计划于2019年启动量产。

　　目前，依托在家居、车载等真实场景下丰富的产品经验，以及具备先发优势的AI芯片能力，云知声将业务覆盖到包括智能家居、智能汽车、智能儿童机器人、智慧酒店、智慧交通等诸多场景。未来云知声将持续发力多模态AI芯片，不断拓展技术与场景生态，以实现面向未来AIoT时代的全面赋能。