为满足6G通信对于安全性和高效性的更高需求，6G系统中的智能体会搭载大量的通信设备以及多模态感知设备，不同的感知设备之间会建立无线连接以获取全面的环境信息。然而，已被广泛研究的通感一体化（Integrated Sensing and Communications, ISAC）因局限于射频雷达感知和射频通信的一体化，没有充分利用现存的多模态感知信息，无法支撑上述通信与多模态感知任务。
为攻克以上技术难题，受到人类联觉现象的启发，北京大学电子学院程翔教授团队提出了“机器联觉”（Synesthesia of Machines, SoM）的概念，用来指代通信和多模态感知的智能融合。在SoM中，通过人工神经网络能智能化地处理通信与多模态感知信息，实现通信与多模态感知信息的互惠互利。因此，一个包含完备的通信信息与多模态感知信息的数据集至关重要，且是SoM研究的先决条件。然而，由于通信信息与多模态感知信息在生成与采集原理上的显著差异，目前没有一个平台能实现通信与多模态感知信息的直接生成与采集。
为填补这一空白，程翔教授团队搭建了一个全新的通信与多模态感知信息生成与采集平台。该平台汇集了3个高精度仿真软件，即AirSim、WaveFarer与Wireless InSite，实现了三者的深度融合与精准匹配（图1）。借助于该平台，程翔教授团队构建了全球首个通信与多模态感知智能融合数据集Mixed Multi-Modal Sensing and Communication (M3SC)。
图1：高动态的城市十字路口场景。图(a)-(c)分别代表AirSim中第1帧、第450帧和第1500帧的场景；图(d)-(f)分别代表WaveFarer中第1帧、第450帧和第1500帧的场景；图(g)-(i)分别代表在Wireless InSite中第1帧、第450帧和第1500帧的场景
该工作的亮点体现在：
(1)全新平台：搭建了一个全新的通信与多模态感知信息生成与采集平台，汇集了AirSim、WaveFarer与Wireless InSite三个高可靠仿真软件，实现了三者的深度融合与精准匹配，可生成与采集高精度通信信息与多模态感知信息。
(2) 深度融合：通过大量解析3个高精度软件中的内部文件、精确构建天气系统以及巧妙渲染仿真场景，搭建的通信与多模态感知信息生成与采集平台实现了电磁空间与物理空间的深度融合。
(3)精准匹配：通过逐帧生成物体坐标、动态调整雨雪模型以及时空配准多模态信息采集设备，搭建的通信与多模态感知信息生成与采集平台实现了电磁空间与物理空间的精准匹配。
(4)丰富场景、多种条件：M3SC数据集包含射频通信信道数据、射频感知数据（毫米波雷达点云）与非射频感知数据（RGB图、深度图与激光雷达点云）（图2），涵盖丰富场景（城镇、郊区、乡村），具有多天气、多时段、多种车流量密度、多频段和多种天线阵列等多种条件。目前，M3SC数据集包含30万张RGB图，60万张深度图，30万张激光雷达点云，24万组毫米波雷达信号波形，20万组信道矩阵和5万组路径损耗。
图2：M3SC：通信与多模态感知智能融合数据集
M3SC数据集在2023中国智能车大会暨国家智能车发展论坛（广州南沙）上发布，受到了CCTV13、CCTV4和广东卫视等多家媒体的报道。同时，M3SC数据集在程翔教授团队PCNI实验室、2023中国智能车大会、Wireless InSite大陆和台湾地区独家代理官网公开公布（链接见文末）。以M3SC数据集为基础，程翔教授团队在2023年中国智能车未来挑战赛上设置了首个通信与多模态感知智能交叉融合算法挑战赛，M3SC数据集是该挑战赛的唯一数据来源。
程翔教授团队以“M3SC: A Generic Dataset for Mixed Multi-Modal (MMM) Sensing and Communication Integration”为题于2023年11月10日将M3SC数据集相关研究成果发表在《China Communications》上，并成功当选为封面文章。北京大学为该研究工作的第一完成单位，合作单位包括山东大学、南京任康科技有限公司。北京大学电子学院程翔教授为第一作者和通讯作者。这项工作得到了国家自然基金委杰出青年科学基金、国家重点研发计划、新基石科学基金会科学探索奖等的支持。
数据集链接：
PCNI实验室官网：http://pcni.pku.edu.cn/dataset.html
2023中国智能车大会官网：http://101.200.121.141:81/?data/125.html
Wireless InSite大陆地区独家代理官网：
https://www.renkangtech.com/productinfo/1642251.html?templateId=232054
Wireless InSite台湾地区独家代理官网：
https://www.qi-well.com/portal_c1_cnt.php?owner_num=c1_26875&button_num=c1&folder_id=22620
论文链接：https://ieeexplore.ieee.org/document/10315088
