SUTD 研发双传感器融合技术提升自动驾驶雨雾天气感知能力
新加坡科技设计大学(SUTD)团队针对融合模型依赖日间影像、在恶劣工况失效的问题,提出互补协同融合(CCF)与无监督域自适应(PanDA)两项研究。通过动态调整传感器权重及利用无标签数据实现环境自适应,系统能根据激光雷达与摄像头可靠性变化灵活应对雨雾等复杂场景。
新加坡科技设计大学(SUTD)团队针对融合模型依赖日间影像、在恶劣工况失效的问题,提出互补协同融合(CCF)与无监督域自适应(PanDA)两项研究。通过动态调整传感器权重及利用无标签数据实现环境自适应,系统能根据激光雷达与摄像头可靠性变化灵活应对雨雾等复杂场景。
承泰科技宣布其4T4R高分辨率毫米波雷达与8T8R 4D成像雷达成功获得某德系头部豪华车企项目定点。作为中国首家获此认可的本土供应商,该成果标志着承泰在面向全球市场的高品质标准与技术要求下,具备了适应不同法规、标准及产业要求的全球化配套能力。
该预印本提出了一种名为 GLIO2 的系统,通过 GPU 并行的前端在单个滑动窗口因子图中联合优化扫描到多扫描的激光雷达、IMU 前向积分和原始 GNSS 测量值。离线后端复用缓存的因子以批量方式完善整个轨迹。该系统在城市导航、MARS-LVIG 和 M3DGR 等三个公开基准测试以及自采集数据中取得了最佳整体精度,并在高速桥梁场景下保持了水平精度。完整代码和数据集将发布。
研究在 Versal VC1902 DPU 上部署量化后的 YOLOX-S 检测器,实现地球观测载荷数据减量。在密集港口与沿海场景中,图像裁剪模式保留 83% 船只仅传输 3% 场景体积,元数据模式保留 98% 船只且处理耗时数秒。该工作已接受于西班牙巴塞罗那举办的第 10 届 OBPDC 2026 研讨会。
UltraLight Luma 是一种仅含 1.31 万可训练参数的紧凑编码器 - 解码器分割网络,专为资源受限的农业机器人设计。该模型在参数效率上优于 U-Net、YOLOv8 和 YOLOv26,单次推理能耗仅为 25.23 mJ。论文已被接受发表于 IECON 2026,最终版本将发布于 IEEE Xplore。
RAGNAROK 是首个专为粗糙地形设计的雷达 - 视觉 - 运动学 - 惯性 SLAM,集成滑移感知腿速估计与退化感知图像增强。实验表明该系统在公开及自采集数据集上表现鲁棒,优于最先进基线。源代码与数据已开源。
尊界汽车回应制动踏板支架底座争议,确认系统按高于国标 GB 21670-2025、GB 7258-2026及行业标准 QC/T 788-2018完成验证。自首批车辆交付至今,实际使用场景中未发生该部件断裂故障。官方承诺将优化设计并为已交付用户提供免费升级选项。
emg2face 提出一种基于高密度表面肌电(HD-sEMG)的非光学面部捕捉方案,解决了头戴设备遮挡及隐私问题。该方法通过 64 通道肌电信号与视频数据同步,训练深度神经网络预测参数化头部模型的混合形状系数,并已在 25 名参与者身上验证了向人类与非人类角色的表情迁移能力。
MultiFly 是一个面向语义感知的真实世界低空无人机数据集,包含四场景共 17,272 帧同步样本及 15 类逐帧标注。研究通过仅手动标注 115 张 RGB 图像,利用共享几何表示将标签迁移至热成像、LiDAR 和雷达模态,生成超 840M LiDAR 点云与 3.4M 雷达点数据。迁移标注在保留集上达成 89.93% 平均一致性与 90.94% 跨模态语义一致性,并建立了四模态分割基准。
针对机器人微创手术中触觉反馈缺失问题,研究团队提出一种紧凑型传感器,其采用嵌入可变形弹性体接触层的霍尔效应传感器与磁铁。该传感器经六自由度并联机器人校准后,每个传感单元对法向和剪切力的平均 RMSE 为 2.133 kPa。在鬼影及离体猪组织上的验证表明,该设备能有效感知牵拉过程中的触觉信号及打滑现象。
Polar-wise Binary Event Volume(PBEV)提出一种二进制表示法,使事件相机数据可直接由二值神经网络处理。在 N-Caltech101 分类基准上,最佳评估的二值神经网络模型达到 90.58% 准确率,运算量仅为全精度对应模型的 7.5 倍。该工作展示了跨模态预训练可提升神经形态数据集的分类性能,论文已被 NeVi Workshop at ECCV 2026 接收。
一款成本低于 300 美元、重量小于 2 千克的紧凑型移动机器人原型,利用折纸灵感轮组实现运动控制与传感几何的主动调节。系统在纹理缺失室内走廊及户外阳光区域测试中,全帧无效深度比例分别从 21% 降至 11%、从 48% 降至 18%,实现了连续可调的 LiDAR viewpoints 与改进的深度覆盖。
MagCilia 是一种结合柔性磁纤结构与霍尔传感器的紧凑型触觉传感器,旨在同时测量法向和切向力并获取接触表面的信息。研究通过准静态有限元分析调查了多方向加载下的结构变形和磁响应,并提出因果历史融合回归(CHFR)方法从耦合的磁场通道重构力信号。
针对通用图像编辑器添加 f/1.4 景深时是否遵循薄透镜光学的质疑,研究对 Gemini 3.1 Flash Image 和 GPT-image-2.5 进行了基于 Blender Cycles 渲染真值的试点审计。
SAREO-FM 通过解耦语义监督与重建任务,利用预训练的视觉基础模型引导可学习语义查询,在百万级 SAR-1M 语料上实现了强单模态迁移及联合观测增益。该设计将语义与重建监督分配至独立 Token 流,同时保留共享编码器内的交互能力。项目页面已公开,论文为 arXiv 预印本状态。
EM-SNN 提出一种专为遥感图像去雾设计的脉冲神经网络框架,通过统计驱动的阈值调制神经元和 Spike Sobel 调制模块解决高频衰减与离散阈值耦合问题。在 HRSD、RICE、RRSHID 及 SateHaze1K 数据集上验证显示,该模型在保持事件驱动稀疏性的同时,能耗仅为强 ANN 基线 SFRDP-Net 的四分之一。
国创域控自研的基于国产 AUTOSAR CP 架构的 ESC 控制器已完成 B 样研制,预计量产后年产能达 50 万台。该产品集成 FOC 电机控制、EPB 电子驻车驱动等模块,满足功能安全 ASIL D 等级及 GB 44495 信息安全标准。此前其全国产芯片中央网关已在头部商用车主机厂量产 3 年并出口欧盟。
SymNetPro 通过引入稀疏视距感知注意力偏差和发射机缺失增强,解决了稀疏接收功率观测下的方向性多发射机定位难题。在极端稀疏采样及测量噪声条件下,该模型在城市射线追踪环境中的 OSPA 指标显著优于代表性基线,且未识别到明确发布主体。代码、数据集与模型检查点已公开提供。
针对相干斑噪声干扰问题,FSCE 框架在 MSTAR、OpenSARShip 和 FUSARShip 数据集上验证了频率 - 空间建模与语义正则化的协同有效性。该轻量级 FSCE-Net_μ实现仅含 0.17M 参数即可适配高容量架构,相关论文已获 IEEE TCSVT 录用。
现有视觉导航策略受限于固定相机配置,难以跨异构机器人传感器布局实现零样本部署。本文提出一种具身感知的导航策略,显式将任意深度传感器载荷(数量、外参、内参各异)解投影到共享的机器人中心坐标系,拼接为统一球面范围图像和二进制有效性掩码,使下游策略能区分覆盖空间与盲区。
针对平光口相机在水下重建中的碗状形变问题,该方法提出基于物理的图像空间折射校正,可无缝接入现有 SfM 与 VSLAM 算法。经射线追踪仿真及两个不同场景结构的水下数据集验证,相比传统方法有效消除变形并提升帧注册率、降低重投影误差。该方案对多种重建后端具有广泛适用性,相关预印本已公开于 arXiv。
针对资源受限的行星车与微型飞行器,作者提出一种基于 FMCW 雷达与惯导的嵌入式状态估计框架。所有传感器驱动、数据处理及辅助惯性导航均在单核微控制器上完成。飞行实验显示相对于运动捕捉系统的平移绝对误差为 0.51-0.82 米,相对位置误差小于 3%,并实现了未修改 PX4 栈的闭环飞行。固件与 PCB 设计已在 GitHub 开源。
该系统利用五根含荧光聚氨酯壳的镍钛诺芯触须,结合紫外激发与单目相机,通过轻量卷积神经网络处理 2 秒序列数据,在±30°范围内实现平均空间定位误差 88 mm(半径 73.5 mm)。实验验证了其在动态场景下对移动推进器的实时定位能力,为低光照环境下的水下机器人集成提供了技术路径。
该系统仅凭单目 RGB 相机与图神经网络,在光照条件下将面部与骨骼特征结合,实现三分类准确率 81%、二分类准确率 99%,优于单一特征配置。研究构建了包含警觉、非警觉及模拟紧急行为的受控数据集,涵盖三种光照条件。该工作推进了基于面部与上半身动态的被动式无接触司机状态识别技术。
Emesent 联合创始人 Stefan Hrabar 介绍 Hovermap 解决方案,利用基于 LiDAR 的 SLAM 技术在矿井、城市峡谷及森林等 GPS 信号缺失或受干扰区域实现自主导航。该系统通过多传感器融合克服粉尘、烟雾及无特征空间挑战,已在矿山和地下设施完成真实部署。
论文介绍 Dr-LiSA,这是一种首创的直接将二维旋转雷达强度测量与三维激光雷达地图在 SE(3) 空间进行定位的方法。现有方法受限于平面 SE(2) 且精度不足,Dr-LiSA 通过学习的前向模型预测候选位姿下的雷达测量值,实现预测与观测扫描的直接光度对齐。该方法在超过 90 公里的实车数据上表现优于先前的雷达 - 激光雷达方案,并在平面精度上与最先进的纯雷达系统相当。
HSI-Road Relabeled 数据集新增六类语义标签及 RGB 至近红外配准管线,支持原分辨率与低分辨率四种输入配置评估。实验显示在 192×384 分辨率下,通道堆叠的 RGBN_stk 组合优于纯 NIR 输入且比原始高分辨率 RGB 降低 15.5%-20.6% 延迟。该成果已接受 IEEE WHISPERS 2026,强调空间分辨率与近红外信息互补性。
ContinuityCam 结合长程运动建模与神经合成模型,仅需初始图像即可从单张 RGB 图及事件流中重建任意时刻的连续视频。该方法在 E2D2 数据集上相比基线 PSNR 提升 3.61 dB、LPIPS 降低 33%,并在两项下游任务表现更优。研究引入了新型分光镜采集装置,有效提升了突发运动与光照变化下的鲁棒性并降低了带宽需求。
该研究基于 RASMD 数据集对比 RGB 与短波红外(SWIR)的目标检测,发现 RF-DETR 架构在多变条件下更具鲁棒性。SWIR 在挡风玻璃眩光、水珠遮挡及远距离车辆检测等四种安全关键场景中表现显著优于 RGB。所有代码、训练权重及数据集已公开,论文已提交 IEEE 待发表。
Radar2Plan 是一个用于开放回路自车轨迹规划的模块化基准,旨在解决恶劣天气和光照不足下的感知鲁棒性向下游规划转化的问题。该研究利用 DSERT-RoLL 和 MAN TruckScenes 数据集,在统一协议下评估了七种传感器组合(相机、4D 雷达、激光雷达)与四种代表性规划基线的表现,涵盖 12 种天气和光照条件。
AstraSR 是一种由 GPT-6 Astra 引导的真实世界热成像超分辨率方法,通过捕获的低分辨率图像条件生成高分辨率参考并联合像素与感知损失进行监督。该方法在七种现有最先进方法的定性对比中展现出连续物体轮廓、清晰结构边界及平滑强度过渡,证明了其在热清晰度与结构连贯性上均优于现有技术。
FairRSFM 引入生物群系感知基准,将 14 类陆地生物群系映射至六大生态宏观组,揭示 Prithvi-EO-2.0、SatMAE 及 DOFA 在 m-EuroSAT 等数据集上整体指标掩盖的群系差异。
该研究总结了开发灵活多传感器自动驾驶平台的挑战与经验,涵盖机械设计、传感器校准及时间同步等基础问题。作者分享了利用 GNSS 和 NTP 协议实现系统级时间同步、定制不同传感器配置的校准流程以及提升野外部署可靠性的具体缓解策略。这些见解旨在为研发新型多传感器系统的研究人员提供参考,以提升自动驾驶测试的可复现性与鲁棒性。
论文提出一种针对雷达、LiDAR 和相机系统的在线无目标外参标定框架,通过构建各传感器对的残差并联合优化以最小化整体误差。方法引入基于距离阈值的自适应雷达噪声过滤及跨帧对应关系累积策略,解决稀疏与噪声干扰问题。作者在自建的城市环境数据集上验证了该方法能降低所有传感器对之间的标定误差,优于仅使用相机-LiDAR 的基线方案。
该论文基于 arXiv 预印本,分析了将 Autoware 自主驾驶系统扩展至建筑工地大型自卸卡车时面临的挑战。作者识别了公共道路与非道路应用在感知、建图、定位及控制模块间的差距,重点讨论了针对工地尘土与复杂地形的激光雷达感知管线开发进展及实地测试结果,并提出了通往端到端自动驾驶的路线图。
论文针对现有解耦方法依赖预训练骨干网络且对传感器配置变化敏感的问题,提出 LightLoc++ 框架。作者构建了包含 32/64/128 线旋转激光雷达的城市同步多源数据集 SULID,通过跨传感器一致性学习训练出传感器鲁棒的骨干网络。该方法结合样本分类引导与冗余采样下采样技术,在多个户外定位基准测试中实现了最先进的定位性能,同时拥有最低的新场景训练成本。代码与数据集将公开。
针对现有硅胶表面易磨损且缺乏严谨耐用性评估的问题,研究提出一种无需学习的框架来独立量化力与空间敏感度。实验表明聚氨酯材料显著提升了传感器在剪切加载和磨损下的韧性,虽牺牲低力值敏感度但大幅扩展了有效测力范围。系统级验证通过瓶盖松紧任务证实,该方案在重载工业应用中比硅胶版本更具实用性。
基于超几何帧减薄过程的生成框架,刻画了单光子雪崩二极管(SPAD)相机随光子预算增加时,从随机性向近确定性场景恢复的过渡机制。该工作通过字符识别、二维码解码和面部分析等下游任务,实证量化了测量数量减少逆问题歧义性的影响。研究共 18 页含 18 幅图,提交至 arXiv 待数据引用注册。
该研究提出一种针对多/高光谱地球观测卫星的轻量化在轨海洋事件检测管道,利用自监督编码器压缩图像并通过机器学习模型识别油 spill、赤潮等环境异常。实验对比了 Isolation Forest 等传统算法,验证了在嵌入式 CPU 及 AI 加速器等受限算力下的有效性。
Foxlink 与 Luminys 在 GTC Taipei 2025 展示集成 NVIDIA 和 SYNC 技术的四足机器人,利用智能传感器与物理 AI 实现主动式安防。该技术已部署于全球多家医院、购物中心及教育园区,通过融合生成式 AI 分析海量视频数据以识别异常并加速响应。