跳到正文

内容形态

开源与工程 最新动态

可复用的代码、工具链和版本发布;代码许可不等同于文章全文转载许可。

356 条精选近 30 天 209 条共收录 1,471 条

更新

开源与工程的精选

11月18日周三第 1–20 条
  1. arXiv · 机器人与计算机视觉85

    面向人形机器人的视频模仿学习中的直接动态重定向方法

    针对单目视频演示到人形机器人运动迁移的形态失配问题,本文提出直接动态重定向(DDR)方法。该方法在物理仿真器中利用基于采样的模型预测控制求解器,直接在任务空间追踪人体关键点,无需接触标注或中间几何重定向步骤。

    推荐理由:提出直接动态重定向方法,在仿真中实现零样本迁移至不同尺寸实体机器人,并开源代码与数据集。

  2. arXiv · 机器人与计算机视觉82

    HEART:基于 Kent 表示遍历的超球面对齐方法

    该论文针对文本条件扩散模型难以控制生成内容的难题,发现嵌入空间呈超球面而非欧几里得结构。作者提出 HEART 框架,直接在超球面上进行 Kent 分布感知的测地线变换,实现无需微调、反演或优化的主体替换与属性控制,且适用于多种架构。材料为 arXiv 预印本,未提及同行评审状态。

    推荐理由:提出无需微调的 HEART 框架,利用超球面几何与 Kent 分布实现扩散模型的精确编辑。

  3. arXiv · 机器人与计算机视觉82

    MillBill:一种具备几何反馈的加工代理

    MillBill 是一种将加工决策与几何执行及验证分离的智能体系统。给定边界表示零件、毛坯和材料信息,本地托管的中大型开放模型负责提出操作和切削参数;几何约束生成器则生成刀具路径、模拟材料去除并返回反馈以优化计划。系统考虑了刀库的物理可达性而非仅可见性。基于 Qwen3.8-27B 的评估显示,MillBill 在指定公差内的目标表面积比例上优于前沿模型方法。代码与论文已公开。

    推荐理由:该工作提出将加工决策与几何执行分离的代理架构,在仿真环境下验证了其对复杂零件加工的优越性。

  4. arXiv · 机器人与计算机视觉80

    LOCUS:一种用于自回归图像生成的因果支持窗口属性控制方法

    针对统一自回归图像生成器难以同时满足多重属性约束的问题,研究提出因果支持轮廓概念,发现结构属性对早期窄窗口响应更强而外观属性对后期宽窗口更敏感。据此开发的 LOCUS 方法能诊断失败属性并路由优化至对应窗口,在冻结生成器的情况下将 Janus-Pro 的 GenEval++ 整体准确率从24.6%提升至46.8%,多属性标签任务从19.5%提升至40.5%,且修复成功率与收敛轮次均优于前缀优化。

    推荐理由:提出因果支持窗口诊断方法,在冻结生成器前提下将多属性控制准确率从24.6%提升至46.8%,显著优于前缀优化。

  5. arXiv · 机器人与计算机视觉82

    Pelorus:一种具备资源感知能力的激光雷达惯性里程计方法

    针对高分辨率激光雷达在线处理效率低且缺乏资源约束的问题,作者提出了 Pelorus 方法。该方法采用固定容量的体素化法线分布地图和迭代等变状态估计器,通过基于相关性的驱逐机制限制内存占用,并利用成熟度加权的地图更新抑制不一致观测。

    推荐理由:Pelorus 提出资源感知的激光雷达惯性里程计方法,在固定内存容量下实现低 CPU/GPU 负载,并开放 CUDA、Vulkan 及 Metal 后端代码。

  6. arXiv · 机器人与计算机视觉82

    随机多样性窗口:诊断机器人扩散采样中的噪声影响

    该论文针对机器人控制中扩散模型的随机性作用研究不足的问题,引入每步反事实诊断以测试采样噪声对最终输出的影响。研究发现不同配置下噪声诱导的偏差在下游可能放大、收缩或衰减,据此定义“随机多样性窗口”并应用针对性干预策略。实验显示,利用低影响区域替换 DDPM 步骤为 DDIM 跳步,可将网络评估减少最多 40-60%,时钟时间减少最多 85%,且在保持可行性、成本和多样性方面未发现一致变化。

    推荐理由:提出随机多样性窗口诊断方法,揭示去噪过程中噪声影响的时间敏感性,并通过采样干预实现推理加速。

  7. arXiv · 机器人与计算机视觉85

    Evolve in Panorama, Render in View:用于视频世界模型的全景状态演化方法

    针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。

    推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。

  8. arXiv · 机器人与计算机视觉82

    何时该放大:视觉语言模型在多像素级小物体上的表现极限及优化规则

    在线视觉语言模型常因服务端缩小或拒收大图而遗漏小细节。本研究通过 601 个真实照片中的小物体问答与印刷码眼检,量化了七款主流模型在默认设置下的细节保留能力,发现分块处理可显著提升准确率并减少拒绝,自适应缩放策略能以更低算力匹配甚至超越分块效果。作者还分析了不同模型的失败模式差异,提出了五条关于智能体何时该缩放的规则,并开源了眼检工具、所有模型回答及代码。

    推荐理由:论文量化了大尺寸图像中微小细节的丢失问题,提出分块与自适应缩放策略以恢复精度并降低拒绝率。

  9. arXiv · 机器人与计算机视觉84

    Disagree to Prune:通过小 VLM 的异议重分配视觉 Token

    论文提出了 PRUDENT 方法,用于加速大型视觉语言模型(VLM)。该方法利用一个小 VLM 对剪枝后结果的异议信号,将节省下来的计算资源重新分配给那些小 VLM 认为不可靠的问题进行二次回答。在 18 个基准测试中,PRUDENT 在相同的平均视觉 Token 预算下优于八种现有的剪枝方法,且在预算更紧张时优势更大。代码和数据已公开。

    推荐理由:提出 PRUDENT 方法,利用小 VLM 对剪枝结果的异议来重新分配视觉 Token,在多个基准上优于现有方法。

  10. arXiv · 机器人与计算机视觉82

    MAVE:从电影镜头重建可编辑的三维块状布局

    针对手动从参考视频中重建动画三维块状布局成本高、限制创作者使用及配对训练数据生产的问题,该工作提出 MAVE 框架与 MAVEBench 基准。MAVE 结合度量观察、代理建模和基于证据的验证,在共享度量坐标系中恢复相机、人物运动及几何证据,由代理构建受约束的可编辑环境,并通过程序化检查报告不一致性以指导优化。

    推荐理由:该工作提出 MAVE 框架与基准,从电影镜头重建可编辑三维场景,为视频生成提供结构化条件。

  11. arXiv · 机器人与计算机视觉85

    SARVIA:一种快速适配合成孔径雷达基础模型的方法

    针对合成孔径雷达(SAR)基础模型依赖昂贵预训练的问题,本文提出 SARVIA 方法,利用现代多模态大语言模型(MLLMs)已有的视觉编码器作为下游初始化。该方法通过自监督视觉问答任务对 MLLM 进行自适应后预训练,仅需 600 步和 2 GPU 小时即可在六个 SAR 检测与分割基准上超越专用基础模型。研究将重点从重复的昂贵预训练转向可复用的专业化过程,并开放了数据集与代码。

    推荐理由:提出 SARVIA 方法,利用现有 MLLM 视觉编码器通过自监督微调实现合成孔径雷达任务的高效适配。

  12. arXiv · 机器人与计算机视觉78

    HandRSI:用于手部姿态估计的递归自改进框架

    针对以眼为中心的手部 3D 姿态估计器存在的边界漏检、遮挡误判和抖动问题,作者提出了 HandRSI 递归自改进框架。该框架通过编码代理迭代优化推理工具包,仅在综合指标提升且无显著退化的情况下接受变更,并利用选择性蒸馏监督无真值帧中的手部存在与时序一致性。

    推荐理由:报告了递归自改进框架在边界漏检、遮挡和抖动上的效果,代码与评估器公开。

  13. Hugging Face Daily Papers83

    π^4:一种用于 4D 场景几何与运动的统一基础模型

    论文介绍 π^4 作为统一的 4D 场景感知基础模型,能从野外未校准的 RGB 输入(单图、无序集合或视频序列)恢复稠密几何、相机位姿和度量尺度,同时输出 2D/3D 点轨迹及移动物体掩码。系统耦合几何分支与几何条件化的运动分支,在共享骨干网络下约含 05B 参数,单次前向传播即可完成大规模场景的联合重建与跟踪。材料提供数据、训练配方及关键设计选择的实证研究,代码与模型已开源。

    推荐理由:该预印本提出统一模型以单张图像或视频序列恢复稠密几何与运动,参数量小于多数基线。

11月17日周二
  1. 量子位77

    MatOS:面向材料研发的科研智能体系统正式开源

    北京中关村学院 AI 材料研究所发布的 MatOS 科研智能体系统正式开源。该系统将数据、知识、工具等组织为科学资产,通过有状态自适应工作流执行长周期任务,并利用证据驱动机制持续进化资产库。

    推荐理由:MatOS 系统开源,通过分层资产图与有状态工作流解决材料研发长周期任务中的工具接入、状态保持及经验复用难题。

  2. arXiv · 机器人与计算机视觉78

    LoC-IN:基于神经渲染先验LiDAR地图的相机实时定位

    该工作提出一种实时方法,将相机定位到预采集的高精度彩色LiDAR点云内。通过从点云渲染合成视图并建立2D-3D对应关系,结合神经渲染技术缩小合成与真实图像的域差距,实现无漂移且具备正确度量尺度的全局跟踪。论文展示了Online Render and Match及Prebuild and Localize两种实时变体,在ScanNet++数据集上表现优于现有SLAM管线。

    推荐理由:提出基于神经渲染的相机实时定位方法,在ScanNet++数据集上优于现有SLAM管线。

  3. arXiv · 机器人与计算机视觉78

    UNITE:基于共享锚点一比特分解的具身 VLM 专家整合框架

    论文提出 UNITE 框架,通过共享锚点一比特分解技术将多个具身视觉语言模型(VLM)专家整合为紧凑的混合专家模型。该方法在保持各专家前馈块路由能力的同时,仅用不到 0.6M 参数完成微调,显著降低存储占用。实验显示该模型在导航与三维场景理解基准上优于单一专家及多种静态合并方法,且相对于未压缩 MoE 几乎无损。

    推荐理由:提出 UNITE 框架,通过共享锚点一比特分解将多个具身 VLM 专家整合为紧凑混合专家模型,在保持存储效率的同时提升导航与场景理解能力。

  4. arXiv · 机器人与计算机视觉82

    LogT:利用图像进行逻辑思考以支持视觉搜索

    论文提出 LogT(Logically Think with Images),一种全自动 SFT 数据生成引擎,旨在解决视觉语言模型在使用外部工具进行细粒度视觉搜索时的逻辑推理挑战。

    推荐理由:提出 LogT 全自动 SFT 数据引擎,通过逻辑链引导推理,在更少数据和算力下实现超越现有 RL 方法的性能。

  5. arXiv · 机器人与计算机视觉83

    Polygraph:基于位姿图的大规模多会话轨迹优化方法

    论文提出了 Polygraph 系统,解决机器人和车辆多次穿越同一环境时的轨迹全局一致性问题。该方法在线处理会话,按关键帧和空间聚类逐步优化,不构建 3D 地图。

    推荐理由:Polygraph 提出在线多会话轨迹优化方案,无需构建 3D 地图即可实现跨设备、跨场景的位姿图融合。

  6. arXiv · 机器人与计算机视觉78

    ROSE:一种用于人形机器人表情表达的共享跨具身面部运动隐空间

    针对现有系统仅能实现有限唇部运动或脚本化表情的局限,本文提出 ROSE 框架,整合仿生硬件与跨具身运动表示学习。硬件上构建集成 34 个执行器的 19.5 cm 仿生头部结构;算法上利用 ROSE-VAE 从人、数字人和机器人观测中学习身份无关的共享面部运动隐空间,ROSE-Flow 直接将文本或音频映射为运动轨迹,ROSE-ACT 将其转换为受约束的执行器指令。

    推荐理由:提出 ROSE 框架,通过解耦执行器布局与面部动作点实现紧凑头部全脸表达,并构建跨模态运动生成管线。

  7. arXiv · 机器人与计算机视觉78

    TacBridge:通过跨传感器对应学习统一触觉表征

    针对 GelSight、DIGIT 等光学触觉传感器因成像几何和背景差异导致观测不一致的问题,论文提出 TacBridge 框架。该框架利用跨传感器掩码预训练学习时空表征,并在同传感器与跨传感器重建任务上联合训练,实验证明了其跨传感器泛化性与下游感知任务的迁移能力。

    推荐理由:提出 TacBridge 框架,通过跨传感器掩码预训练学习统一触觉表征,验证了多传感器间的泛化与任务迁移能力。