近期，电子学院程翔教授团队成果“面向网联具身智能体的机器联觉系统”被美国国家仪器有限公司（NI）2025年度全球用户案例手册收录，如图1所示。该案例手册在全球范围内精选了来自北美、欧洲、亚太地区顶尖高校与科研院所的23项创新原型系统，涵盖面向B5G/6G的通信感知融合、通信智能融合、毫米波/太赫兹无线通信等关键技术领域，代表未来无线通信网络前沿研究方向。

图1 成果入选美国国家仪器有限公司（NI）2025年度全球用户案例手册

未来，移动通信网络支撑下的网联具身智能体将深度融入经济社会，推动各行业与日常生活的革命性变革。然而，当前网联具身智能体上搭载的通信模块与多模态感知模块间仍相互分立、各自为政，极大程度限制了其通信交互与感知认知能力。具体而言，网联具身智能体上搭载的通信模块仅提供数据传输的通用管道，未面向多模态感知信息传输与感知任务执行设计优化；多模态感知模块主要提供环境数据采集与智能感知功能，未用于增强网联具身智能体的通信传输能力。因此，亟需研究通信与多模态感知间智能融合、互惠互利的机理与模式。然而，通信与多模态感知间在数据表现形式、采集频段、面向应用等方面的天然显著差异导致通信与多模态感知融合研究极具挑战。

受脑神经网络作用下一种感官自动唤醒另一种感官的人类联觉现象启发，程翔教授团队在全球首次提出并系统论述了“机器联觉（Synesthesia of Machines，SoM）”架构和概念，即面向通用任务的AI原生通信与多模态感知智能融合，利用大模型/无线基座模型，突破多模态通感融合的核心技术，攻克多模态数据集构建难、多模态通感智能融合难等挑战，通过“机理-硬件-算法”创新，提供网联智能发展新路径。作为支撑机器联觉研究与算法部署验证的硬件基础，团队已搭建如图2所示的面向网联具身智能体的机器联觉系统。该系统利用四驱全向自主移动机器人（Autonomous Mobile Robot，AMR）作为网联具身智能体，搭载包括软件定义无线电设备、相控阵天线、多线激光雷达、RGB-D相机、77GHz/24GHz毫米波雷达在内的通信设备与多模态传感器作为“机器感官”。该系统可实现时空一致的RGB图、深度图、激光雷达点云、毫米波雷达点云的同步采集，并利用大模型/无线基座模型赋能的机器联觉算法，实现通信与多模态感知功能的相互融合增强。

图2 面向网联具身智能体的机器联觉系统

未来，程翔教授团队将面向海量、高质量实测注入多模态通感数据采集和构建系统，多频段、大阵列高效抗扰通信和多模态感知智能融合多天线系统、核心融合算法和弹性网络，以及轻量化、产业化软硬件一体化模块等方向进一步拓展相关研究。所突破的通信与多模态感知互惠互利的新型关键技术，将颠覆人、机、物的深度协同方式，为网联智能汽车、低空经济无人机、人形机器人等新兴民生应用领域提供技术支撑，在极端环境如矿洞探测、太空探索和极端施压如自然灾害、作战条件下的泛在连接也发挥着重要战略意义。

程翔教授团队相关成果已获第五届“科学探索奖”，以第一完成人获中国通信学会科学技术奖（自然科学类）一等奖、中国自动化学会自然科学奖一等奖、中国通信学会车联网领域创新成果、中国发明协会发明创业奖项目奖三等奖、全国发明展览会银奖，发表IEEE最高影响因子期刊论文（IF=34.4）、数据领域顶级期刊Scientific Data论文（Nature子刊）。

更多团队成果请见北京大学泛在连接与网联智能（Pervasive Connectivity and Networked Intelligence，PCNI）实验室主页：http://pcni.pku.edu.cn