NVIDIA 开源 Nemotron 3 Nano Omni：30B-A3B MoE 全模态推理模型，吞吐较同档开源模型高 9 倍

ref

NVIDIA 于 4 月 28 日发布并开源 Nemotron 3 Nano Omni——一款 30B 总参数 / 3B 激活的混合 MoE 全模态推理模型，统一视觉、音频与语言三类输入（可处理文本、图像、音频、视频、文档、图表与图形界面，输出为文本），原生支持 256K 上下文。模型定位为 Agent 系统中"感知子 Agent"的角色，与同家族的 Nemotron 3 Super（高频执行）、Nemotron 3 Ultra（复杂规划）以及第三方专有模型协同。NVIDIA 称其在六个公开榜单上居于复杂文档智能、视频与音频理解任务首位，吞吐量比相同交互性下的其他开源全模态模型高 9 倍——核心收益来自把视觉与音频编码器内置进同一 MoE 架构、消除 Agent 系统中跨模型反复推理的延迟与上下文割裂。

模型已上线 Hugging Face、OpenRouter、build.nvidia.com 及 25+ 合作平台，权重、训练数据集与训练方法全部开放。三个明确目标场景：电脑使用 Agent（Holotron3 等已基于该模型在 1920×1080 原生分辨率下处理屏幕录制，OSWorld 评测有显著提升）、文档智能（跨视觉结构与文本内容统一推理 PDF、表格、截图等）、音视频理解（将"说了什么/展示了什么/记录了什么"绑定到单一推理流）。已采用方包括 Foxconn、Palantir、H Company、Aible、Eka Care、Pyler、ASI 等；Dell、Docusign、Infosys、Oracle、Zefr 等正在评估中。Nemotron 3 系列（Nano、Super、Ultra）过去一年累计下载量已超 5000 万次，Omni 是该家族首次扩展至全模态与 Agent 域；模型支持从 NVIDIA Jetson、DGX Spark、DGX Station 至数据中心与云端的全栈部署，可作为 NIM 微服务调用。

NVIDIA Blog | NVIDIA Developer Blog | HuggingFace