跳到正文

内容形态

开源与工程 最新动态

可复用的代码、工具链和版本发布;代码许可不等同于文章全文转载许可。

356 条精选近 30 天 209 条共收录 1,471 条

更新

精选归档 · 第 6 页

11月3日周二第 101–120 条
  1. arXiv · 机器人与计算机视觉82

    Parametric CAD Bench v3:基于文本与工程图纸的代理参数化 CAD 创作评估基准

    本文发布 Parametric CAD Bench v3,这是一个包含 100 个任务的基准,涵盖从文本生成 CAD、文本生成并编辑以及从工程图纸重建机械零件。

    推荐理由:该基准通过几何相似度与规范一致性评估代理生成 CAD 脚本的能力,并开放了任务、配置及结果工件。

  2. arXiv · 机器人与计算机视觉82

    KlaskTron:一个用于物理对抗多智能体强化学习的开源平台

    KlaskTron 是一个基于动态桌面游戏 KLASK 的低成本(<2500 美元)桌面级机器人测试床,旨在解决物理多智能体强化学习基准稀缺的问题。该平台配备双 CoreXY 龙门架和高扭矩无刷电机,支持高速精确操作。项目完整开源了硬件 CAD/BOM、NVIDIA Isaac Lab 数字孪生仿真环境以及经过验证的零样本策略迁移基线(使用学习到的神经执行器模型),所有资产均公开以确保证据可复现。

    推荐理由:开源低成本桌面级对抗多智能体强化学习平台,含硬件设计、数字孪生及零样本策略迁移基线。

  3. arXiv · 机器人与计算机视觉78

    VideoEditor-MoE:利用混合专家架构扩展复杂视频编辑能力

    该预印本介绍了 VideoEditor-MoE,这是首个用于视频编辑的开源混合专家(MoE)框架。研究基于一个 50 亿参数的基座模型,将其扩展至 140 亿和 560 亿参数版本,每个 token 激活约 80 亿参数。

    推荐理由:该预印本提出了首个开源视频编辑 MoE 框架,验证了路由注意力机制在保持全局交互下的扩展性优势。

  4. arXiv · 机器人与计算机视觉78

    PixelBench:LLM 能否逐像素理解并生成图像?

    该研究报告了 PixelBench 基准,评估大语言模型在无专用图像解码器的情况下直接通过词汇表生成 RGB 像素的能力。研究发现强模型在文本到像素任务中能直接生成可识别图像,且像素理解能力与生成性能高度相关。作者还提出了像素重建微调(PRT)方法,通过混合指令数据提升模型在视觉基准上的表现,表明显式像素重建可作为有效的辅助监督信号。

    推荐理由:该报告提出 PixelBench 基准与 PRT 微调方法,证明大模型无需专用解码器即可直接生成像素图像。

  5. arXiv · 机器人与计算机视觉78

    SurgQ-VLM:面向手术视频的问答模型发布

    论文提出 SurgQ-VLM 模型解决手术视频问答中时序证据丢失与答案结构异构难题。该模型采用问题感知的双流压缩器将视觉 Token 缩减 49 倍,并结合 GRPO 强化学习与答案类型感知奖励机制。

    推荐理由:提出 SurgQ-VLM 模型,通过问题感知的双流压缩与答案类型感知奖励机制,在手术视频问答任务上显著超越零样本基线。

  6. arXiv · 机器人与计算机视觉78

    计算机图形学代理系统进展:统一分类法与文献分析工具

    该报告针对计算机图形学中代理系统研究术语分散、难以系统理解的挑战,提出两项贡献:一是建立涵盖多样化任务的代理系统统一分类法;二是开发辅助人类研究者大规模分析现有及新发表论文的代理文献系统。基于此,报告分析了新兴研究趋势,并讨论了跨任务协调代理与工具、设计人机协作界面与表示、维持长程规划与细化以及可靠评估交互式图形系统等开放挑战。材料为预印本论文,未涉及具体产品发布或真实部署结果。

    推荐理由:报告提出计算机图形学代理系统统一分类法与文献分析工具,梳理多任务趋势并探讨人机协作、长程规划及评估等挑战。

  7. arXiv · 机器人与计算机视觉78

    RIFT:一种基于残差感知的单步生成式视频压缩框架

    针对预训练流匹配模型难以适配编解码器退化轨迹的问题,论文提出 RIFT 框架以解决压缩依赖的方向失配。该框架引入残差几何诱导器(RGI),利用解码器可见的编码线索将预训练流预测转化为内容自适应的恢复更新,并整合时间步条件、全频段残差强度估计及方向增益调制。在三个公开视频压缩基准上的实验表明,该方法优于现有的生成式视频压缩方法。代码已开源。

    推荐理由:提出 RIFT 框架,利用解码器可见的编码线索自适应修正流预测方向与幅度,在三个公开基准上优于现有生成式视频压缩方法。

  8. arXiv · 机器人与计算机视觉78

    SceneBound:流式三维重建模型应记住多少?

    论文提出 SceneBound,一种无需训练的规则,用于决定流式三维重建模型何时写入关键帧。该规则仅在预测相机位姿距离所有存储的关键帧超过固定半径时写入,使关键帧数量与访问位姿的覆盖数成常数倍关系。在 CUT3R 和 StreamVGGT 等模型的循环状态或 KV 缓存中,该方法实现了评估的训练免费规则中的最低平均轨迹误差,且关键帧增长仅占 3% 至 6%。

    推荐理由:提出无需训练的 SceneBound 规则,通过几何覆盖数控制流式三维重建模型的记忆量与漂移。

  9. arXiv · 机器人与计算机视觉78

    Roz:世界模型潜变量的味觉测试

    论文指出当前世界模型虽在图像相似度上表现优异,却忽略了质量、形变等关键物理细节。作者提出 Roz 评估框架,包含 10 个对比任务和 3 个连续任务共 1734 个场景,仅需静态帧或视频输入即可运行。该研究旨在推动基准测试的快速迭代与跨模型比较,并已在 NeurIPS 2026 相关研讨会接受。

    推荐理由:提出 Roz 评估框架,通过对比与连续任务验证世界模型是否编码物理属性,解决现有评测不透明问题。

  10. arXiv · 机器人与计算机视觉84

    低参数 regime 下视觉语言动作模型的行為引导

    论文研究了如何用极低容量(8 至 384 个可训练参数)的 TinyLoRA 适配器对预训练的 OpenVLA-OFT 7B 策略进行行为引导,使其在保持预训练能力的同时适应如“举高物体”等风格偏好。

    推荐理由:该文展示了仅用 256 个可训练参数即可通过微调改变 VLA 执行风格,同时保留大部分预训练能力。

  11. arXiv · 机器人与计算机视觉78

    生成的平面图止步何处:基于构建基准的校准样本级检查

    针对机器人生成的平面图缺乏建筑知识评估的问题,作者将行业生产软件中的接受规则编码为六项固定顺序的检查,并校准房间形状限制以匹配真实公寓的 5% 拒收率。研究在四项生成器和两个真实数据集上验证发现,仅凭比例检查即可拒绝 33.7% 的 House-GAN++ 平面图,而现有邻接关系指标无法反映这些缺陷。作者已开源校验工具 floorcheck v0.1.1,但指出通过检查并不等同于实际工程验收。

    推荐理由:作者将建筑规范编码为六项检查,揭示现有生成模型在比例与合规性上的缺陷,并开源了校验工具。

  12. Hugging Face Daily Papers78

    Harness-S:通过兄弟 Harness 学习实现可泛化智能体训练

    论文提出 Harness-S 方法,针对智能体训练中基座执行系统(harness)的局部性、互补性和非平稳性问题,引入方向性 Harness 演化构建可复用的兄弟 Harness 池。

    推荐理由:提出 Harness-S 框架,利用辅助 harness 修复基座执行失败并将能力迁移至策略,在 AppWorld 等基准显著优于纯策略训练。

11月2日周一
  1. arXiv · 机器人与计算机视觉82

    GUI-Lens:通过粗到细裁剪实现通用 VLM 的精确 GUI 定位

    该论文介绍 GUI-Lens 框架,旨在解决通用视觉语言模型(VLM)在高分辨率、高密度界面中难以精确定位目标的问题。方法从截图提取 OCR 文本和 UI 组件作为坐标参考,利用指令和当前视图让 VLM 选择并裁剪放大下一区域,通过多轮聚焦逐步确定目标位置,最后将局部坐标映射回原屏幕。

    推荐理由:提出粗到细裁剪框架,使通用 VLM 在高分屏 GUI 任务中定位精度提升显著。

  2. arXiv · 机器人与计算机视觉82

    ∇Mimic:利用可微仿真实现高效人形机器人控制

    针对传统零阶方法样本需求大、现有首阶方法在接触动力学中梯度爆炸的问题,论文提出∇Mimic框架与NablaEngine引擎。通过每步反向传播的梯度裁剪和多步回归技术,结合专为宇树G1优化的可微GPU仿真内核,该方法在单卡上40分钟即可达到世界模型方法的跟踪分数,显著优于基线且开源了相关基础设施。

    推荐理由:提出基于可微仿真的首阶策略学习方法,配合专用加速引擎将训练效率提升数倍并开源。

  3. arXiv · 机器人与计算机视觉76

    Coarse3D:面向图像转三维的可控且忠实稀疏结构生成

    论文提出 Coarse3D 模型,旨在从任意非定位图像中生成可控朝向且几何忠实的体素结构,以解决现有方法在方向控制和二维至三维映射上的不足。该模型采用首帧锚定规范空间、双塔 DiT 架构及空间先验引导注意力机制三项设计,能够直接替换现有流程中的粗粒度阶段。实验表明该方法显著提升了稀疏结构质量并持续增强最终三维生成效果,达到当前最先进水平。

    推荐理由:提出 Coarse3D 模型解决稀疏结构生成中的方向控制与几何一致性难题,可替换现有流程的粗粒度阶段。

  4. arXiv · 机器人与计算机视觉82

    MotorSense:首个大规模配对视频与肌电信号的动作理解数据集

    针对计算机视觉模型仅依赖视觉后果而缺乏本体运动信号的问题,该工作提出了 MotorSense,这是首个大规模的双手肌电(EMG)与第一人称视频配对数据集。数据包含 100 小时无脚本操作中的同步视频、双手 EMG、IMU 及音频。

    推荐理由:该工作提出首个大规模配对视频与肌电信号数据集,通过跨模态预训练实现视听对齐,在动作识别等任务上超越传统自监督方法。

  5. arXiv · 机器人与计算机视觉78

    CIMI:一种基于接触模仿的灵巧技能转移框架

    论文提出了 Contact Imitation Interface (CIMI) 框架,旨在通过无机器人的人体演示来规模化灵巧操作数据。该框架包含演示与学习两个接口:演示接口结合共享接触几何、指尖 RGB 视图及接触优先重定向技术;学习接口引入分层策略,由接触表面规划器预测相对轨迹并由控制器协调手腕与手指指令以优化对齐。

    推荐理由:提出 CIMI 框架,通过接触几何对齐与分层策略,在 LEAP 和 Wuji 数据集上使六组手部任务的最终成功率提升至少 50 个百分点。

  6. arXiv · 机器人与计算机视觉78

    FlapSim:一种可组合的 MuJoCo 扑翼仿真平台及降阶气动模型层级

    该论文提出了 FlapSim,一个模块化的开源 MuJoCo 仿真平台,用于解决扑翼飞行中高频气动动力学与低频飞行控制/强化学习动态之间的协调问题。研究在 48 个涵盖频率、舵机、风场等场景的独立测试集中,对比了五种降阶配置,发现结合多速率时钟同步、三维流入耦合及相位锁定谐波合成的五块模型架构,在保持 65.19 倍 CPU 加速的同时将平均力矩保真度提升至 0.9646。

    推荐理由:该工作提出了 FlapSim 模块化开源平台,在 MuJoCo 框架下实现了高频扑翼气动与飞行控制的确定性模拟,并量化了不同简化模型在精度与速度间的权衡。