基于执行反馈的价值与策略校准的社会兼容自动驾驶方法
Sen Shen 等人提出一种结合想象策略改进与直接价值及策略校准的世界模型强化学习框架,旨在平衡自动驾驶车辆(AV)的进展与周围人类驱动车辆(HDV)的交互负担。
Sen Shen 等人提出一种结合想象策略改进与直接价值及策略校准的世界模型强化学习框架,旨在平衡自动驾驶车辆(AV)的进展与周围人类驱动车辆(HDV)的交互负担。
CRAFT(Contextual Requirement Adaptation with Frozen Tools)框架在仿真环境中研究机器人如何在不重训技能的情况下学习局部需求。该框架通过结合记忆、显式规则和自适应学习者,在相机基底的模拟中减少了提问次数并提升了效用奖励。所有实验证据均源自生成需求的仿真环境及包含执行失败和超时的评估数据,真实部署与泛化能力尚待验证。
论文提出 Two-Stage Prompt Learning (TSPL) 框架,解决现有方法依赖固定指令且难以处理未知换衣场景的问题。第一阶段在冻结编码器下解耦服装与身份特征;第二阶段利用可学习上下文嵌入训练图像编码器,实现跨同衣、换衣及未知场景的鲁棒适应。实验显示该方法在 LTCC 和 VC-Clothes 基准上分别提升 mAP 9.2% 和 6.4%,代码将开源。
SAGE-VQA 提出了一种无需微调的自主智能体框架,通过证据驱动的自适应推理策略解决视觉感知幻觉与泛化受限问题。该框架利用共验证视觉定位模块获取细粒度证据,并借助自进化分层记忆机制复用经验以支持跨任务稳健推理。实验表明其性能优于基于轻量开源及闭源视觉语言模型的现有方法,且可作为插件直接适配现有架构而不修改模型结构。
针对独居老人需求,该系统基于 Unitree Go1 平台构建,融合陪伴、危险感知与应急三种模式。通过规则升级策略结合视觉语音输入判断风险等级,经 105 次自动化及 25 次物理阶段试验验证决策逻辑,在超时未确认时自动触发应急介入。该设计已接受 Australasian Conference on Robotics and Automation (ACRA) 会议录用。
论文介绍了 Lao Siji,一种在 2026 NVIDIA AlpaSim E2E Driving Challenge 中排名第三的端到端驾驶策略。该方法通过冻结 openpilot 开源 L2 模型的视觉编码器并微调策略层,实现了从通用视觉骨干网到特定任务的快速适配。
AgenticJevNav 架构在六类仿真任务中达到 73.33% 成功率,较次优基线提升 21.67 个百分点;真实世界 GENISOM L1 四足机器人部署在 30 次试验中成功率为 70.0%,包含有界搜索报告。该研究通过结合目标规划、证据记忆与事件触发验证,展示了在部分证据下维持目标并适应执行失败的能力。
HEmIF-Bench 基准评测显示,MIPHEI-ViT 在五项病理任务中领先但内部特征优于生成输出,且未超越 UNI2。该基准解耦编码器与生成结果,涵盖分子至患者尺度八数据集,验证像素保真度不等于下游效用。研究指出当前配对数据规模下的生成模型尚未超越大规模纯 H&E 基础模型,需更大规模数据突破。
论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。
推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。
现有基于反馈的在线视觉语言导航方法主要依赖当前回合结果,未充分利用既往反馈。受人类情景记忆启发,本文提出 R2A 框架,通过成功 - 失败记忆模块保留并检索历史经验,结合先验锚定适应机制强化成功轨迹、抑制失败路径以稳定策略更新。实验在 REVERIE、R2R 和 R2R-CE 三个基准及五个导航骨干网络上验证,在 REVERIE 未见测试集上显著提升了 DUET 模型的 SR 与 SPL 指标。
针对全景多目标跟踪中低分辨率身份模糊与高分辨率传输成本之间的权衡,本文提出 HIVE-ECIA 框架,在不修改检测框或底层跟踪器的情况下,通过 ECIA Base-Guided 查询策略选择性检索历史高分辨率证据以恢复碎片化身份。
该论文提出 EasyNav 架构,通过显式共享导航状态解耦映射、定位、规划与控制模块,实现表示无关的流水线替换。作为开源 ROS 2 框架,其在室内激光感知和室外 GPS+3D LiDAR 多楼层场景的真实机器人实验中,相比 Nav2 将反应延迟从 377ms 降至 33ms(室内)及 8ms(室外),并降低了 CPU 与内存占用。
GradientSHAP、Shapley 采样和遮挡法在基于 Sentinel-2 时序的 U-TAE 模型上均识别出符合领域知识的植被敏感区,但重训练实验显示这些归因排名无法可靠预测性能提升。重新使用最低排名波段训练的模型表现相当或更优,且独立模型得出的前五位波段子集能带来更好效果。研究揭示了光谱冗余输入空间中,看似可信的归因排名未必对应任务相关波段,警示了波段级特征归因在有效性验证上的局限。
论文 PanDWM 提出将六个针孔相机视图拼接为单一 360°全景带,使视角一致性转化为图像连续性约束。该方法采用因果学生网络分步生成全景窗口,并通过前馈解码器结合邻帧静态高斯构建 4D 场景。在 nuScenes 数据集上,PanDWM 在单视口评分下 FID 低于多相机基线,速度提升 8-46 倍,同时将 FVD 降低 22-25%。代码与网站链接已提供。
该论文指出同一人行道场景对不同使用者(如不同助行者)的通行性判断存在差异,单标签标注方式不适用。作者提出 Few-Shot Personal Calibration 方法,通过冻结视觉语言模型获取场景内部状态,结合检测器预测障碍类型、严重程度等属性,利用少量新用户的回答拟合其解读风格与权重。
该研究针对特征金字塔中各输出位置应聚合哪些层级信息的问题,提出允许每个位置动态关注多尺度特征的机制。实验发现,细粒度输出网格约 75% 的注意力分配给两层更粗的特征,且随物体尺寸增大平衡向更粗特征倾斜。
针对自动驾驶模型训练依赖车载传感器且采集成本高的问题,本文提出 AnyR2V 框架,将路边多模态观测转化为不同车辆视角的七摄像头环视视频。该框架聚合时序观测构建共享场景表征,渲染外观、深度和布局条件以匹配目标车辆轨迹,并利用时空对齐的路侧 - 车载数据对进行监督生成。
该论文提出了 PRISM 框架,通过分层知识积累模块和优先级视觉记忆队列,实现了组合式零样本学习的在线测试时自适应。实验表明,Full PRISM 在 UT-Zappos、MIT-States 和 C-GQA 三个基准上均取得了最佳的开放世界 AUC 和谐均值结果,而 Adaptive PRISM-Lite 版本则在保持较小精度损失的同时显著提升了效率。
推荐理由:PRISM 框架将原型迁移扩展至测试时自适应,在三个基准上实现最佳开放世界性能。
该研究在 MMEB-V2 基准的 78 个数据集上验证,标准附加循环使检索分数下降 0.46 分,而中间生成阶段则提升 0.36 分。预训练引入循环的模型相比去环控制组增益 4.23 分,且在视觉问答与文本定位任务中受益于查询条件化的图像更新。研究区分了前向信息流保持查询独立性与双向注意力下的状态敏感性机制。
该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。
推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。
该方法在实时计算最小时间轨迹的同时提供避障保证,将规划与穿越时间之和定义为关键任务指标。相比仅优化时间最优的现有方案,其显著提升了灾难区域物资投递或幸存者定位的整体任务效率。该研究已提交至 2027 IEEE ICRA 会议,预印本发布于 arXiv。
Pros4D 框架通过潜在空间统一观测动力学理解与未来动力学预测,解决现有视觉语言模型难以处理连续动态变化的局限。该方案利用几何 grounded 监督构建配对示例,将观测状态压缩并自回归推演至未来状态,同时通过 4D Latent Alignment 进行视觉语义与几何配准。实验在涵盖动态相机、物体及场景的八类空间任务基准上,均展现出优于强基线的一致性能提升。
针对现实风险常具视觉细微性或处于边缘导致现有模型失效的问题,本文提出 Fine-Grained RLAIF(FGR)框架,将图像局部放大操作建模为可学习的感知策略。
DynLimit 是一个端到端的仿真平台,用于区分机动请求、闭环执行与任务完成状态。该平台通过共享观测接口连接规划器与控制器,支持无许可的四轮模型或外部动力学求解器,并同步记录以支持评估与回放。
TF-VSM 提出了一种无需人工调参的连续置信度加权评分机制,解决了现有 VSM 依赖固定阈值导致的不稳定问题。在包含真实修复预言家的 100 对基准测试中,该方法经重训练后皮尔逊相关系数达 0.638、斯皮尔曼等级相关系数为 0.674,显著优于 CLIP、DINO 及 VLMs 等基线。该研究通过消融实验证实平滑置信度加权机制的有效性,并确认无阈值设计对训练损失平衡具有不变性。
这篇论文提出了一种名为 Recovery-Guided MBD 的框架,旨在解决安全关键型高速足式运动规划中短预测视界与安全前瞻性的平衡问题。该方法将学习到的终端恢复评估器融入轨迹优化,并在采样阶段结合视界内约束与末端可恢复性进行可行性引导细化。
该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。
推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。
SemLite-GS 提出一种针对大规模无人机倾斜影像的轻量化建筑重建框架,通过正射参考图建立全局一致身份并仅更新目标高斯以加速训练。该方法利用渲染深度与法线提取建筑平面引导有向距离场优化,在保持多边形预算相当时显著优于传统全场景重建及网格简化方法。源代码已公开于 GitHub 仓库。
该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。
推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。
论文提出了 M-CROSS,这是据作者所知首个针对连续水陆过渡场景的 SLAM 多传感器仿真数据集与基准。该数据集提供同步的 LiDAR、声纳、立体相机、IMU、DVL 及深度测量数据,包含 6DoF 位姿真值、介质状态标注和依赖介质的传感器退化模型。
针对从地面相机图像反演高能电子沉降场的逆问题,该方法提出利用时序条件神经网络建模动态极光电子沉降场,通过每帧潜变量编码与共享解码器生成多波长体积发射率并渲染成像。在合成动态序列及真实多视角视频上的评估显示,该表示法能产生时间连贯的沉降重建结果且图像投影与观测一致。论文已获 IEEE/CVF WACV 2027 接收,为计算机视觉与空间物理交叉领域提供新工具。
Drift-Conditioned Structural Replay Loss(DCSRL)通过源参考知识漂移调节解剖结构保持,在 CAMUS、CardiacNet 和 EchoNet-Dynamic 数据集上优于正则化及重放基线。
面部表情识别在光照、曝光或分辨率偏离训练分布时性能急剧下降。本文在 RAF-DB 数据集上对输入空间条件化(使用四种确定性视图)和特征层条件化(FiLM/Conditional BatchNorm)进行了受控对比。
推荐理由:该研究在 RAF-DB 数据集上系统对比了输入空间与特征层两种条件化策略,发现前者在六种骨干网络中均提升准确率且成本更低。
SEAT 是一种基于冻结 DINOv2 特征的证据审核框架,通过掩码引导注意力、半松弛最优传输及共现感知正则化机制提升多标签舌诊一致性。在 TongueDx 基准测试中,该模型平均宏 F1 达 72.59(标准差 1.04),六模型集成版更以 74.15 的分数超越基线及专用视觉语言模型。代码已公开,研究聚焦于将预测路径与特定舌诊特征对齐以增强证据解释性。
论文介绍了 ImageNet-OOC1k 基准,用于连续控制物体与背景的视觉 - 语义差异。分析显示,在涵盖卷积神经网络、Vision Transformer 和视觉语言模型的 35 个模型中,识别准确率随语义距离增加而单调下降。
针对建筑工地夜间及隧道等低光场景,事件相机凭借微秒延迟和超 120 dB 动态范围,在低光测试集上以 27.2 AP 优于 RGB 的 21.3 AP。像素对齐 PEOD 数据集验证了无训练融合方案在所有光照下均达 33.3 AP 的最优性能。研究还发现高速运动是事件检测器的主要挑战,并提出了相机布设指导。
论文介绍 TIVS(Token Identity Versus Statistics),一个无需训练的干预框架,用于在受控条件下分别研究序列排列、令牌保留、数值精度和统计替换对冻结解码器的影响。
该研究提出了一种完全本地的视觉语言模型流程,用于将道路图像转化为几何感知的坑洞警告。系统重构了分割、严重程度分级和警告生成三个核心阶段,使其能在单张本地 GPU 上离线运行。实验显示,本地方案处理速度为每场景 1.27 秒,比原云端系统快 16 倍且无需按场景付费;在特定相机设置下,其风险分类性能接近云端模型,生成的警告在盲测中也被认为更安全且清晰度相当。
提出一种无需先验知识的分布式多机器人策略,通过边界跟随与基于航向误差的推力调节实现未知形状物体的目标导向运动。该方法在凸与非凸形状及动态变质量分布下验证有效,且对摩擦不均和轮滑等外部干扰具有鲁棒性。系统路径效率高、耗时一致,运输时间随可用推面数量(取决于物体尺寸、形状及安全距离)变化。
AlphaTruck 是一个集成多模态感知、嵌入式 CPU-GPU 计算和车载自主栈的 1/5 比例大型车底盘平台,旨在解决全尺寸车辆昂贵且 RC 车辆负载受限的问题。该平台在仅依赖车载感知与计算的情况下,实现了在非结构化地形上 6-10 m/s 的高速自主导航,适用于测绘、搜救及农业等商业与防御任务。材料为预印本论文,详细阐述了该平台的架构设计与平衡移动性、感知、算力、负载及可维护性的工程挑战。
推荐理由:AlphaTruck 平台在 1/5 比例车架上实现了高速非结构化地形自主导航,为算法开发与部署提供了新的硬件基准。