InnerLogic-Surg:一种基于持续预训练的开源手术基础模型
InnerLogic-Surg 是一个由数百万张手术图像持续预训练得到的开源手术视觉编码器家族(参数量 21M--300M),数据源自约 2900 小时的互联网手术视频。
推荐理由:该工作通过持续预训练构建了开源手术视觉编码器家族,在多项基准任务中表现最优,为手术图像分析提供了可迁移的强基座。
内容形态
可复用的代码、工具链和版本发布;代码许可不等同于文章全文转载许可。
356 条精选近 30 天 209 条共收录 1,471 条
InnerLogic-Surg 是一个由数百万张手术图像持续预训练得到的开源手术视觉编码器家族(参数量 21M--300M),数据源自约 2900 小时的互联网手术视频。
推荐理由:该工作通过持续预训练构建了开源手术视觉编码器家族,在多项基准任务中表现最优,为手术图像分析提供了可迁移的强基座。
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
针对图像到图像(I2I)扩散模型在多任务学习中的参数干扰与伪影问题,本文提出了 OptIMerge 框架。该方法通过最小化多任务损失函数学习轻量级合并系数,利用架构感知的变换对齐注意力层与卷积层的特征,在冻结专家网络的前提下实现了媲美联合训练的多任务能力。
推荐理由:提出基于优化的多任务融合框架,解决图像修复类扩散模型直接平均导致的伪影问题。
戴盟近日公开了其从Daimon-Infinity中筛选出的TacClaw-Infinity触觉数据集,包含1万小时采集、100万条轨迹和10亿帧数据。该数据集支持无本体训练(Zero-Robot Transfer),在π0.5等模型上使花瓶擦拭任务成功率由50%提升至74%,且无需专用触觉架构即可利用现有策略。
推荐理由:戴盟公开TacClaw-Infinity触觉数据集及完整研究流程,验证了无本体数据在跨机器人迁移中的有效性。
该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。
推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。
论文 RegimeVGGT 针对多视图图像恢复稠密三维场景结构的 VGGT 模型,提出无需训练的层级压缩方案以解决二次交叉帧注意力带来的扩展性瓶颈。研究通过频谱、探测和因果分析发现浅层缺乏跨视角结构、中层驱动对齐、深层对几何冗余但保留姿态关键路径的规律。
推荐理由:该文提出无需训练的层级压缩方法,在保持重建质量的同时将 VGGT 推理速度提升 6.7 倍。
该研究提出了 Open-HumanScale-50K 数据集及 Open-HumanWAM 模型,这是首个将以第一人称视角的人类视频预训练规模扩展到 5 万小时的完全开放方案。
推荐理由:原文给出了基于5万小时人类视频预训练的开放配方与实验结果,相关团队可据此复现并验证纯人类数据在机器人策略学习中的缩放规律。
论文介绍 Feature Puzzles 框架,利用图像裁剪与几何变换构建多视角一致分割伪标签,结合预训练 3D 基础模型特征实现无需视频或标定数据的单图监督学习。该方法在 NVOS、SPIn-NeRF 和 ScanNet++ 上达到最佳 mIoU 并保持竞争力,同时支持零样本迁移至开放词汇 3D 分割任务。
推荐理由:提出仅用单图监督即可学习多视角一致分割的新框架,在 NVOS 等基准上表现优异且支持零样本开放词汇扩展。
物理世界模型创企 LiberAI 于 11 月 4 日发布基于超 220 万小时人类经验数据预训练的世界动作模型 Liber-0。该模型采用混合 Transformer 架构,结合 LiberSense Glove 采集的人手动作数据与互联网视频,旨在减少对真机数据的依赖并提升跨本体泛化能力。
推荐理由:LiberAI 发布基于超 220 万小时人类经验预训练的世界动作模型 Liber-0,在零样本真机测试中取得 36% 成功率并优于 GPT-6 Astra。
Luxonis DepthAI Core 发布 v3.12.0,新增 Multi-stream PointCloud 功能可合并任意数量的深度流(含可选对齐色彩)为单一数据;Stitching 节点正式转正并默认启用校准全景缝合;ImgDetectionsFilter 节点开放以过滤检测结果。
推荐理由:该版本开放了多流点云合并与拼接节点,并优化了深度算法性能。
论文提出了 Diffusion-DRF 框架,旨在解决视频扩散模型微调中依赖标量奖励导致的优化不稳定和奖励黑客问题。该方法利用冻结的预训练视觉语言模型作为评论器,将用户提示分解为多维度的自由形式 VQA 解释查询以获取丰富反馈,并通过直接可微分优化实现无需偏好数据集的稳定奖励基线调整。实验显示该框架在未见过的 VBench-2.0 基准上整体性能超越最先进方法 Flow-GRPO 4.74%。
推荐理由:该工作提出无需偏好数据集的差异化奖励框架,在视频扩散微调任务上实现稳定优化并超越现有基线。
论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。
推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。
论文提出 Aero-VPA 轻量级视觉预测动作架构,用于边缘硬件上的三维导航。该架构利用紧凑的 RGB-D Vision Transformer 和五头集成预测器在不进行像素重建的情况下预测下一潜状态,并通过条件流匹配求解器在两个欧拉步骤内生成速度和偏航率片段。
推荐理由:该工作提出 Aero-VPA 架构,在 PX4 仿真环境中实现四旋翼自主飞行闭环评估,公开代码、策略与基准数据集。
te-comp 是首个基于 MLIR 的编译器,可将标准 TFLite 或 Safetensors 模型编译为无运行时依赖的 C 代码,包含推理引擎与 RTOS 集成层。
推荐理由:te-comp 是首个基于 MLIR 的编译器,可将 TFLite/Safetensors 模型编译为无依赖的 C 代码,在 MCU 上实现 GPT-Neo 等模型的独立推理。
针对动态高斯泼溅(DGS)依赖完美时间同步的局限,本文提出 Phase-DGS 框架,用表征运动循环状态的语义相位替代传统时间戳,建立跨相机时空对应。该方法在丢帧、相机冻结及时间偏移场景下验证有效,相比基线提升 PSNR 最高达 8.5 dB,且能无缝集成 RealTime-4DGS 和 FreeTimeGS 等现有 DGS 骨干网络。论文已获 NeurIPS 2026 接收。
推荐理由:提出用语义相位替代时间戳解决多视角视频不同步问题,在丢帧和冻结场景下显著优于基线且兼容现有 DGS 骨干网络。
作者发布 RoboScope Kit 以解决仿真基准评估慢、接口不统一的问题。该工具通过 Python 类封装模型与基准适配器,实现并行调度与渲染优化;在 LIBERO-Long 和 RoboTwin Easy 等任务上,相比官方 StarVLA 评估器速度提升 4.45 至 6.16 倍,四 GPU 配置下比单卡基线快 25 倍以上。代码与项目页面已开源。
推荐理由:该工具通过统一接口与调度优化,将机器人策略评估速度提升数十倍,相关团队可据此加速现有训练流程。
AIRoA-0 是一个从 16,151 小时手持演示中学习的双臂操作系统,训练全程未采集任何机器人数据。该系统利用开源 YUBI 手持夹爪录制数据,仅需手腕摄像头即可在未见过的场景执行分类零件、更换扫地机配件、解拉链和折叠毛巾等任务。
推荐理由:作者基于纯手持演示数据训练出跨本体双臂操作模型,在未见过的机器人上实现 78% 成功率,并开源数据集与权重。
论文介绍 Micius-Flash 是一个拥有 270 亿参数的工程领域多模态模型,具备原生多模态输入、深度推理和 256K token 上下文窗口。研究团队构建了知识树驱动的数据飞轮,训练了半导体知识与推理、硬件编码等专家模型,并通过多教师同策略蒸馏整合能力。
推荐理由:该预印本介绍了面向工程领域的轻量级多模态模型 Micius-Flash,展示了其在硬件代码与半导体任务上的性能提升及工具执行反馈能力。
针对大语言模型智能体在处理多步交互时上下文开销过大且注意力分散的问题,本文提出了 Coca-Cola 模型,将工具观测结果压缩为连续潜在 token 并嵌入输入空间。
推荐理由:提出连续潜在上下文压缩方法,显著降低 Agent 推理成本并提升任务性能。
针对现有图像引导零样本风格迁移方法因自注意力机制导致语义信息从风格图泄露的问题,本文提出 SuRe 框架。该方法通过打乱价值向量以解耦风格键与值的原生对应关系,同时保留经验分布,并引入渐进式重耦合机制在风格化过程中逐步恢复对应性。
推荐理由:提出 SuRe 框架通过解耦与渐进恢复 KV 对应关系,在扩散模型风格迁移中有效抑制语义泄露并提升内容相似度。