ViT 的架构-Token-位宽多轴联合优化:面向半导体封装的部署研究
该论文提出首个联合优化架构、Token 压缩和位宽的 ViT 框架,通过 AutoFormer 搜索紧凑骨干网络、ToMe 合并 Token 以及 fp16 混合精度推理提升效率。在 ImageNet-1K 上验证后,将其应用于半导体 IC 封装的 3D X 射线缺陷分类任务,实现了超过 10 倍的吞吐量提升和参数、FLOPs 及能耗降低,同时保持所需准确率。
该论文提出首个联合优化架构、Token 压缩和位宽的 ViT 框架,通过 AutoFormer 搜索紧凑骨干网络、ToMe 合并 Token 以及 fp16 混合精度推理提升效率。在 ImageNet-1K 上验证后,将其应用于半导体 IC 封装的 3D X 射线缺陷分类任务,实现了超过 10 倍的吞吐量提升和参数、FLOPs 及能耗降低,同时保持所需准确率。
针对在部署冻结的学习技能(如 VLA 策略)到新环境时难以确定可靠执行初始配置的问题,作者提出 EVIS 框架。该框架利用历史执行经验优先筛选候选方案,并通过目标环境的行为验证其有效性,从而在有限的交互预算下减少查询次数并提高可靠候选的发现率。研究在单技能和两阶段操作任务上进行了评估,证明了结合历史引导与行为验证能有效降低部署成本。
论文 WAM-Cache 提出了一种无需训练的框架,旨在优化世界动作模型(WAMs)在闭环控制中的计算效率。该方法通过跨片段保留层间键值表示并仅重新计算稀疏刷新令牌集来减少预填充开销。
Jabil 指出人形机器人正从手工组装迈向万级规模量产,需通过优化成本结构提升可制造性与质量。该公司已与 Apptronik 合作将其 Apollo 机器人引入活跃制造环境,并强调 NVIDIA Jetson 系列是边缘计算的关键选择。尽管汽车合作伙伴能提供混合鲁棒性优势,但供应链多元化仍是当前主要挑战,消费者端应用预计需五年左右时间。
北京 Physical AI Infra 平台公司厘清智能宣布完成天使轮及天使 + 轮数亿元融资,蚂蚁集团连续两轮加码并领投。资金将用于物理世界数据管线、模型研发与训练、物理仿真、能力评测及跨本体适配部署系统。该公司已推出 T1 系列数采手套(含 T1 Lite、T1、T1 Pro)和 EgoDepth 设备,致力于构建 Physical AI 时代的智能基础设施。
清华系企业灵生科技近日完成由华方资本等联合投资的亿元级 A 轮融资。公司依托创始人杨洪兵及清华大学自动化系高飞飞教授团队,构建基于 PhiAgent 数据引擎与 RoboAgent 执行智能体的 RUDA 自进化架构。该技术已在光模块插拔、电池装配等高精密工业场景实现稳定落地,覆盖 3C 质检、物料转运等多类任务。
SS-QCQP 是一种保证每步可行且收敛率为 O(1/t) 的首阶光滑不等式约束非凸优化方法。其主动集变体 SS-QCQP-AS 通过选择性施加边界约束显著降低计算成本,同时保持理论保障。数值实验在多智能体非线性最优控制问题上证实,该方法在维持可行性与收敛行为的同时,解质量可与 SQP、IPOPT 等二阶求解器媲美。
针对基于流的策略在少步离散化时控制性能下降的问题,本文提出了 RFPO 框架。该方法通过奖励感知的在线重流(Reflow)修正传输路径,并利用冻结高斯 PPO 控制器提供监督,使部署策略仅需单步欧拉积分即可保持与多步执行相当的性能。
针对世界动作模型(WAM)高推理延迟限制机器人控制响应的问题,作者提出了 RealtimeWAM 这一无需重新训练的通用框架。该框架通过层间依赖重叠观测处理与预测、在视觉稳定区域缓存特征以及复用 Transformer 残差等策略协调并行执行与自适应计算。
推荐理由:该工作提出无需重新训练的通用框架,通过并行执行与自适应计算显著降低推理延迟,在真实任务中提升成功率。
论文针对 Visual Geometry Grounded Transformer (VGGT) 因联合推理导致的长序列全局注意力延迟瓶颈,提出块级聚类注意力(BC attention)以加速处理。
该研究利用 CBAA、ACBBA、PI 和 HIPC 四类分配器,在 AGX Orin 与 Pololu 3pi+ RP2040 硬件上完成了 3,000 次仿真及 96 次硬件在环实验。结果显示任务合并能在 48 个条件中降低 31 个场景的处理器工作量,但稀疏到达时四任务批处理会使在线目标平均延迟增加约 20-24 秒。结论表明该机制的有效性取决于到达强度、分配器行为及执行平台的计算成本权衡。
针对视觉语言动作模型依赖动作 Tokenizer 将离散序列映射为连续控制的问题,本文指出单纯的重建目标不足以保障下游策略成功。作者提出 ProAct 方法,在仅使用动作数据集训练时,通过增强预测性与鲁棒性来优化 Tokenization。
Anaximander 是一个开源系统,旨在解决遥感从业者在使用地理信息系统(GIS)时面临的模型格式不兼容和部署摩擦问题。该系统通过统一的推理服务器支持从多种常见来源加载模型,并可在本地工作站、无服务器云服务或远程 GPU 等任意计算后端运行。
优必选副总裁钟永近日获哈萨克斯坦总统托卡耶夫支持,将在阿拉木图建设面向教育和服务领域的机器人设备制造工厂,这是该公司在中国境外的首个生产基地。双方还就 Walker C1、优世界 U1 等商用服务人形机器人的海外订单及在采矿、油气和物流设施的部署交换了意见。
NVIDIA 通过让机器人自动组装 GB300 超级芯片测试托盘,验证了其在物理 AI、机械智能及传统工程领域的融合能力。该演示展示了如何利用先进硬件解决全球工厂中依赖熟练人工的精密装配难题。项目旨在揭示机器人学习与实体操作结合的新路径,为未来自动化制造提供技术参考。
Harmonic Drive 将于 10 月 20 日在加州圣克拉拉的 RoboBusiness 2026 展会展示 RSF-5B IDT Sumpermini 集成伺服驱动器,探讨组件级与集成架构的权衡。该方案旨在通过简化系统集成、减少布线复杂性及缩短测试周期来降低工程努力并加速上市时间。Marcel Almonte 将主持关于结合减速器、电机、驱动器和传感器以实现更智能运动的专题讨论。
论文提出 NeMo-DCR(Delta-Compressed Refit)方案,解决智能体强化学习中全量权重同步耗时过长的问题。该方法仅传输变化量且保证接收端比特位完全一致,利用仿射映射投影变化和可压缩 XOR 掩码处理残差,结合对象存储流式传输替代跨集群集体通信。
推荐理由:提出 NeMo-DCR 方案,通过位精确差分压缩将万亿参数模型跨集群重拟合时间从 87.5 分钟降至 150 秒。
该研究针对交互式视频世界模型中每块生成需多次昂贵去噪的问题,提出无需训练的 CtrlCache 框架。该方法利用控制信号提前到达的特性,分析相邻块在动作变化处的结构相似性差异,将块标记为初始、过渡、转向或稳态阶段。
推荐理由:提出无需训练的 CtrlCache 框架,通过控制感知调度与频率混合先验指导,在保持交互响应度的同时显著降低视频世界模型的推理成本。
本文提出微型神经策略(MNP),通过整合进化策略和基于统计模型检查的验证来搜索策略,显著减小了神经网络规模而不牺牲安全性与鲁棒性。研究在 Cartpole 和 Quadrotor 任务上进行了大规模训练与评估,验证了在仿真中的表现后实现了零样本迁移到物理系统。
该研究针对非线性动力学、执行限制及避障约束下的轨迹优化难题,提出 Pareto-Optimal Entropy-Regularized DDP (PER-DDP) 方法。该方法源自自由能/相对熵不等式,结合先验引导采样与帕累托过滤机制,在保持二阶结构的同时拓宽探索范围。实验表明,PER-DDP 在多个系统及数百个环境中均实现了比现有最先进采样增强方法更高的成功率,并能找到基线无法解决的可靠解。
针对自动化导引车(AGV)车队因局部故障导致全线紧急停车的问题,该方法提出形式化定义的“死区”作为额外失效运行机制。实验评估证实了理论保证,并量化了全系统停车、基础死区处理及带逃逸策略三种模式的吞吐量权衡。
针对视觉语言动作(VLA)策略频繁调用推理导致的高能耗问题,该研究提出 ActTune 框架,通过层间精度分配与基于负载的 GPU 工作点选择来优化能效。该方法利用轻量决策树从配置误差中学习,在每次策略调用前选择最佳精度,并异步应用校准后的 GPU 工作点以控制延迟预算。
推荐理由:ActTune 框架通过感知动作的量化敏感度与动态调整 GPU 工作点,在保持任务成功率的同时显著降低能耗并提升推理速度。
针对量化视觉 Transformer 在分布偏移下的脆弱性,本文提出无需反向传播或更新参数的 QuAR 方法。该方法仅对输入激活进行单次通道统计重校准,将测试流映射回源校准范围。实验显示,QuAR 在 ImageNet-C 上优于最强基线,且在多种精度、非独立同分布标签偏移及多个 out-of-distribution 套件中保持领先,同时显著降低延迟并减少内存开销。
论文提出 SufficientPlan 框架,旨在解决视觉世界模型因保守规划预算导致的部署效率问题。
针对 VLA 模型因处理长序列导致计算成本高、难以实时部署的问题,本文提出 VLA-ACL(Action Consistency Learning)方法。该方法通过动作级监督学习轻量级视觉 Token 剪枝策略,在保持基座 VLA 模型完全冻结的前提下,确保剪枝后的视觉上下文生成的动作与全量上下文教师保持一致。
论文提出了一种训练免费的令牌缩减策略,通过引入单参数延迟集中幂律调度来解决 ViT 模型在真实世界分布偏移下精度下降的问题。实验表明,该方案在 ImageNet-C 数据集上将 DeiT-S 模型的计算量减少 26% 的同时,消除了 83% 的精度差距;即使仅减少 7% 的计算量也能消除 99% 的差距。该方法在五种令牌缩减方法、九个骨干网络及多种模态上均有效,且无需针对每个输入或领域进行调优。
针对扩散或流匹配动作头在处理去噪轨迹时缺乏阶段感知的不足,该研究提出 StairVLA 框架,利用部分去噪动作作为高层长视界规划与局部精细化的接口。系统采用高层 VLA 进行早期去噪以生成可复用的长时序轨迹,同时由轻量级精炼器高频更新局部动作块。
推荐理由:该方法通过分层架构复用高层 VLA 计算并保留高频闭环修正,在 LIBERO 基准上提升成功率并降低推理延迟。
FireDome 推出完全自主的地面发射器系统,旨在火灾发生前为社区和关键基础设施铺设阻燃防火带并压制飞火。该系统射程可达 1000 英尺(304.8 米),单点覆盖面积约 70 英亩(28.3 公顷),以解决飞火引发的连锁燃烧问题。公司创始人 Gadi Benjamini 指出,当前技术多局限于检测而非主动反应,FireDome 致力于在消防员到达前切断火势蔓延的“多米诺效应”。
ROSCon Global 2026 于多伦多举办,吸引来自 40+ 国家的 1000+ 参会者,见证 Cognex 收购 RealSense 与 Qualcomm 收购 PickNik 等行业动态。
针对学习型驾驶规划器在闭环执行中易出现停滞或冲突的问题,本文提出 Closed-Loop Refinement and Execution (CLRE) 框架。
论文针对具身智能VLA模型在闭环执行中存在的运行时误差演化问题,提出DyQ-VLA框架。该方法根据执行步骤动态选择激活精度,并通过累积量化残差跟踪与补偿旋转误差。实验表明,该框架在保持任务成功率相当或更高的前提下,实现了1.88至1.93倍的推理速度提升,并将平均执行步数减少了17.7%至19.8%。代码已开源。
Autonomous Vehicle Storage (AVS) 是一种专为车载环境设计的分层数据存储系统,旨在将瞬态的多模态传感器流转化为紧凑、长周期且可查询的历史记录。
针对视觉语言动作(VLA)模型推理速率低与机器人执行速率高之间的时间差距,作者通过端到端延迟测量发现重复流匹配去噪贡献了主要成本。基于速度场分析,提出两阶段非均匀去噪策略,将去噪步数从 10 减至 2,推理耗时从 61.557ms 降至 21.956ms。
论文提出 Rolling-WAM,旨在解决标准世界动作模型(WAM)在每个重规划周期需完成完整联合视频 - 动作去噪导致的延迟问题。该方法在连续重规划周期间分布联合去噪过程,维护具有交错噪声水平的视频 - 动作块滑动窗口:每一步完全去噪即将执行的 imminent 动作块,同时部分细化更远未来的块;随着新相机观测更新窗口,保留的未来块继续其去噪过程。
论文提出将大语言模型嵌入贝叶斯优化循环,使其充当调优专家以解决 FDM 3D 打印配置选择问题。系统通过近似评估器返回结构化诊断,引导 LLM 生成自然语言调整建议并编译为机器可执行指令。
该研究针对配备流匹配(FM)动作头的视觉语言动作(VLA)模型存在的推理延迟问题,提出了一种无需训练的自适应推理框架 ProbeFlow。该方法通过评估初始与前瞻速度向量间的余弦相似度来量化几何轨迹复杂度,从而动态调度积分步数以剪枝冗余网络评估。
针对扩散 Transformer 重复去噪器评估带来的高计算成本,本文提出一种无需训练的框架,利用条件共模抑制效应构建固定模块复用调度。通过两阶段校准建立缓存簿,在推理时实现无需每输入估计策略的加速。实验显示该方法在图像模型上提升 1.66-1.72 倍,视频模型上提升 1.54-1.68 倍,并可结合 MagCache 或 SeaCache 进一步加速。
推荐理由:原文提出无需训练的微调框架,利用条件共模抑制效应构建固定缓存策略,在图像和视频生成模型上实现 1.54-1.72 倍加速。
该研究系统发现后训练量化的视觉语言动作模型在环境扰动下虽保留分布内性能,但鲁棒性与泛化性显著下降。为此提出 PIVOT-Q 框架,利用冻结的全精度策略作为教师,仅对量化学生策略在 rollout 中遇到的脆弱状态进行选择性干预。实验表明该方法在七种 LIBERO-Plus 环境变化下均能恢复泛化能力,且蒸馏预算仅为全状态蒸馏的 7.4%。
论文指出在多相机流式感知部署于共享异构边缘平台时,仅用孤立单流实验和平均流式平均精度(sAP)评估加速器放置会误导决策。研究通过 GPU-NPU 双管道实验发现,GPU 侧竞争引发的截止时间丢失会使检测过时,导致最佳放置策略从全 GPU 转向全 NPU。
该研究针对机器人操作中严格的推理截止时间问题,对四种代表性 VLA 模型在边缘 GPU 服务器和车载 SoC 上的运行行为进行了系统表征。实验通过 43,200 次闭环测试发现,动作张量维度决定计算或内存瓶颈,平台平衡可改变瓶颈位置,且 GPU 频率缩放存在依赖平台的能效甜点。
推荐理由:文章基于 4.3 万闭环实验,量化了边缘端 VLA 模型在 batch-1 控制场景下的瓶颈与能效权衡,为架构、硬件及运行时策略的联合设计提供数据支撑。