跳转至内容
  • 0 赞同
    1 帖子
    13 浏览
    R
    NVIDIA 于 4 月 28 日发布并开源 Nemotron 3 Nano Omni——一款 30B 总参数 / 3B 激活的混合 MoE 全模态推理模型,统一视觉、音频与语言三类输入(可处理文本、图像、音频、视频、文档、图表与图形界面,输出为文本),原生支持 256K 上下文。模型定位为 Agent 系统中"感知子 Agent"的角色,与同家族的 Nemotron 3 Super(高频执行)、Nemotron 3 Ultra(复杂规划)以及第三方专有模型协同。NVIDIA 称其在六个公开榜单上居于复杂文档智能、视频与音频理解任务首位,吞吐量比相同交互性下的其他开源全模态模型高 9 倍——核心收益来自把视觉与音频编码器内置进同一 MoE 架构、消除 Agent 系统中跨模型反复推理的延迟与上下文割裂。 模型已上线 Hugging Face、OpenRouter、build.nvidia.com 及 25+ 合作平台,权重、训练数据集与训练方法全部开放。三个明确目标场景:电脑使用 Agent(Holotron3 等已基于该模型在 1920×1080 原生分辨率下处理屏幕录制,OSWorld 评测有显著提升)、文档智能(跨视觉结构与文本内容统一推理 PDF、表格、截图等)、音视频理解(将"说了什么/展示了什么/记录了什么"绑定到单一推理流)。已采用方包括 Foxconn、Palantir、H Company、Aible、Eka Care、Pyler、ASI 等;Dell、Docusign、Infosys、Oracle、Zefr 等正在评估中。Nemotron 3 系列(Nano、Super、Ultra)过去一年累计下载量已超 5000 万次,Omni 是该家族首次扩展至全模态与 Agent 域;模型支持从 NVIDIA Jetson、DGX Spark、DGX Station 至数据中心与云端的全栈部署,可作为 NIM 微服务调用。 NVIDIA Blog | NVIDIA Developer Blog | HuggingFace https://blogs.nvidia.com/blog/nemotron-3-nano-omni-multimodal-ai-agents/ https://developer.nvidia.com/blog/nvidia-nemotron-3-nano-omni-powers-multimodal-agent-reasoning-in-a-single-efficient-open-model https://huggingface.co/nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16