2023年5月8日，NI公司全球销售与市场高级副总裁Will Denman、NI公司中国院校业务总经理朱宏林、NI公司中国北方区院校客户经理秦勇到访北京大学，与电子学院程翔教授研究团队针对6G无线通信技术及其验证平台的发展进行了深入交流。
双方就6G无线通信技术及后续合作方向进行了深入研讨。程翔教授首先分析了面向未来的6G无线通信的发展趋势，6G将在5G的基础上拓展深化，实现“万物智联、数字孪生”。通信感知融合技术是支撑6G无线通信的核心技术之一，然而现阶段主流的通信感知融合技术局限于通信与单一射频感知的融合，且局限于静态或低速场景，无法支撑无人驾驶、智慧物流、无人作战等6G典型应用场景。
因此，程翔教授团队在全球范围内首次提出了“机器联觉”(Synesthesia of Machines, SoM）*的概念，即实现通信与多模态感知的智能融合，攻克6G应用场景中通信带宽需求大、感知能力要求高、场景动态变化快等技术难题，并提出了机器联觉的三种基本模式：唤起模式、增强模式和合作模式。相关研究成果已发表在中国通信学会主办的一级学术性刊物《通信学报》[1]及中科院SCI一区期刊IEEE Internet of Things Journal（影响因子10.238）[2]上。此外，程翔教授团队关于机器联觉的最新研究综述已投稿至IEEE Communications Surveys & Tutorials[3]，此期刊是通信领域最具权威性的综述性期刊，代表了该领域的学术前沿和未来的发展方向，该期刊2022年影响因子为33.84，在IEEE旗下所有SCI期刊中排名第一。而后，程翔教授介绍了已开展的基于机器联觉的数据集构建与验证平台搭建工作。程翔教授团队已推出首个混合通信与多模态感知智能融合数据集(Mixed Multi-Modal Sensing-Communication integration dataset, M3SC)，此数据集利用AirSim和WirelessInsite等软件采集多模态感知与无线信道数据，实现物理空间和电磁空间的深度融合与精准匹配，覆盖多频段(sub-6GHz与28GHz毫米波)、多种天线阵列、多天气、多时段、多车流量密度等多种场景条件。此外，借助NI公司设备，初步搭建了与仿真数据精确对齐的通信与多模态感知智能融合实物验证平台，支持实测数据注入。程翔教授展示了数据集构建与平台搭建的初步结果，并表示在未来将探索更高频段、更丰富场景的研究与应用。
在通信与多模态感知智能融合验证平台搭建方面，程翔教授表示后续搭建计划将全面覆盖sub-6GHz、毫米波及太赫兹频段，团队将分别基于USRP（Universal Software Radio Peripheral，通用软件无线电外设）与PXI系统（PCI eXtensions for Instrumentation，面向仪器系统的PCI扩展）搭建室内通信与多模态感知验证平台，并在USRP与PXI的共同支撑下搭建一个基于通信与多模态感知的室外车路协同验证平台。程翔教授也表示将基于所搭建平台，继续探究机器联觉的内在机理，以机器联觉三种基本模式为指引，采用模型增强的数据驱动方案设计人工神经网络，实现并验证通信与多模态感知之间可信可解释的智能融合。
NI公司中国区院校业务总经理朱宏林介绍了NI公司在无线通信技术领域的战略投资、产品规划及市场布局，并表达了NI公司方面对泛在连接与网联智能实验室的“机器联觉”概念和平台搭建计划的认可与赞扬。NI公司全球高级副总裁Will Denman表示，NI公司在无线通信技术与和智能车辆方面的团队长期工作在研发一线，有着深厚的技术积累，相关团队愿全力支持北京大学泛在连接与网联智能实验室的机器联觉研究工作与平台搭建工作，发挥NI公司在测试和测量设备制造、大型验证平台搭建等方面的优势，与实验室“强强联合”，全面加强双方在验证平台搭建等方面的合作，协助实验室尽快搭建完成全球首个通信与多模态感知智能融合（机器联觉）验证平台，助力实验室在通信与多模态感知智能融合领域取得重大技术突破。
据双方研讨，通信与多模态感知智能融合验证平台的搭建工作将于2023年底至2024年初完成，届时双方将在领域内学术会议、北京大学电子学院官网及北京大学泛在连接与网联智能实验室网站、NI公司官网联合发布相关工作成果。
未来，北京大学泛在连接与网联智能实验室将继续根植无线通信、车联网、网联智能等领域，以机器联觉机理探索和技术研究为导向，聚焦关键难题，力争走在国际科技发展前列。
NI公司
NI公司全称美国国家仪器公司（National Instruments），成立于1976年，业务涉及数据采集、虚拟仪器等多个领域。NI公司在全球40多个国家和地区为35,000余名客户提供服务，在测试和测量系统、模块化仪器等方面处于国际领先地位。NI公司一直以来都是无线通信科研创新的深度参与者，与全球顶尖高校和研究机构共同开展关键通信技术的研究。
Will Denman先生是NI公司的全球销售与市场高级副总裁，负责NI公司全球销售与市场业务。Will Denman先生高度重视NI公司与程翔教授团队的合作，此次来到中国虽行程紧密，却依然坚持到访北京大学泛在连接与网联智能实验室。程翔教授研究团队也是Will Denman先生此次来到中国唯一会面的高校团队。
北京大学泛在连接与网联智能实验室
北京大学泛在连接与网联智能实验室（pcni.pku.edu.cn）由北京大学程翔教授领衔，团队由5位教授/副教授/助理教授/研究员及近20名在读研究生组成，研究方向为模型增强数据驱动的智慧网络和网联智能研究，侧重智慧交通和物流场景，包括无线通信信道建模和应用、通信与多模态感知智能融合、B5G/6G智能车联网和多智能体协同理论和技术研究。
*机器联觉
受到人类联觉现象（即由于脑神经网络中的神经元交叉激活，产生的一种感官与其他不同类别感官之间相互唤起、增强或合作的现象）的启发，6G万物智联下的跨介质多模态信息之间也应存在类似的联觉现象，即机器联觉现象。具体来讲，机器联觉是指利用人工神经网络，通过多模态环境数据的联觉处理，充分挖掘多模态信息间的内在关联，实现强化环境感知能力以及增强通信和网络功能的过程，其包含了三种基本模式：机器联觉-唤起模式、机器联觉-增强模式、机器联觉-合作模式。
参考文献
[1]程翔,张浩天,杨宗辉,黄子蔚,李思江,余安澜.车联网通信感知一体化研究：现状与发展趋势[J].通信学报, 2022, 43(8): 188-202.
[2]X. Cheng, D. Duan, S. Gao, and L. Yang, “Integrated Sensing and Communications (ISAC) for Vehicular Communication Networks (VCN),”IEEE Internet of Things Journal, vol. 9, no. 23, pp. 23441–23451, Dec. 2022.
[3]X. Cheng et al., “Intelligent Multi-Modal Sensing-Communication Integration: Synesthesia of Machines,”IEEE Communications Surveys & Tutorials, submitted for publication, 2023.
