面向开发者的 NVIDIA Cosmos

NVIDIA Cosmos™ 是一个平台,配备先进的生成式世界基础模型、配备先进的 tokenizer、护栏以及加速数据处理和管理工作流,可满足自动驾驶汽车(AV)以和机器人开发者的需求。

更快地构建、评估、部署和模拟物理 AI 模型,同时更大限度地降低现实世界中的测试和验证风险。

开始探索文档


查看 Cosmos 世界基础模型的实际应用

Cosmos 世界基础模型 (WFM) 通过简单的输入生成具有物理感知的高保真视频,模拟和预测机器人和自主系统的真实结果。


NVIDIA Cosmos 世界基础模型

用于生成物理感知视频和世界状态的预训练模型第一波现已向开发者开放。

NVIDIA Cosmos 内置护栏,可在 Cosmos 生成的输出中过滤品牌、不安全内容和有害提示。Cosmos 还提供用于模糊人脸的护栏、用于消除可疑场景的后期保护,以及由 NVIDIA NIM™ 微服务生成的合成视频上的数字水印。

Different types of NVIDIA Cosmos models

自回归

预测视频序列中的未来帧,利用时间依赖关系生成连贯一致的逼真运动。

Cosmos Super:

扩散

在习得的时间和空间模式的指导下进行迭代降噪,逐步将随机噪声优化为连贯的视频帧,从而创建视频。

Cosmos Super:

工作流引擎

在物理 AI 应用中简化世界模型开发和部署的基本模型。

Cosmos Super:

  • Cosmos-1.0 护栏
    先进的模型结合了前代和后代防护,可确保安全性和一致性。
    下载地址NGC或 Hugging Face
  • Cosmos-1.0-PromptUpsampler-12B-Text2World
    通过自动改进文本提示描述和详细信息,提高提示质量。
    下载地址 NGC 或 Hugging Face
  • Cosmos- 1.0-Diffusion-7B- 解码器
    为增强现实解码自回归视频序列。
    下载地址 NGC 或 Hugging Face

微调样本

  • Cosmos-1.0-Diffusion-7B-Text2World-Sample-MultiviewDriving
    针对 AV 多传感器驾驶视图进行了微调。即将推出。
Fine-tuned for AV multi-sensor driving views

隆重推出用于物理 AI 开发的 Cosmos

了解 Cosmos 平台的模型、工具和功能,以加速开发物理 - AI 体现的系统,如机器人和自动驾驶汽车。

使用 NVIDIA NeMo 构建自定义世界模型

新的 NVIDIA NeMo 功能可自定义视频基础模型,从数据管护和模型调优到推理工作流,应有尽有。

即将推出

Open Cosmos World 基础模型

Open Cosmos world foundation 模型和 tokenizer 使开发者能够在无需高昂入门成本的情况下构建物理 AI。


入门套件

通过访问开放模型、微调教程以及下游应用和物理 AI 开发各个阶段的更多操作方法,开始使用 Cosmos 开发世界模型。

入门套件 (按用例)

合成数据生成

为无限个特定领域的合成数据构建和部署世界模型。

策略模型开发

微调 Cosmos WFM,以构建策略模型,根据习得的行为或规则将物理 AI 系统的状态映射到最佳操作。

策略模型验证

基于验证数据微调的 Cosmos WFM 可以在实际部署之前加速策略模型的初始化、评估、验证和基准测试。

按模型开发阶段划分的入门套件

处理和整理视频数据

NeMo Curator 通过可扩展的工作流生成高质量的训练数据,可高效处理 100%的 PB 数据。NeMo Curator 提供开箱即用的优化性能,可将速度提高 35 倍,从而更大限度地降低处理成本,并加快上市时间。

标记化训练数据

与开放式标记器相比,用于图像和视频的 Cosmos 标记器可提供高达 8 倍的压缩效果和 12 倍的速度,从而降低计算成本。

训练和自定义

NVIDIA NeMo 利用 LoRA 和 SFT 等热门定制技术大规模高效训练和微调多模态模型,从而加速世界模型的开发。


NVIDIA Cosmos 学习库


更多资源

NVIDIA Developer Forums

注册以接收开发者时事通讯

NVIDIA Training and Certification

阅读 Cosmos 常见问题解答

NVIDIA Inception Program for Startups

加速您的初创公司


    伦理道德注意事项

    NVIDIA 认为值得信赖的 AI 是一项共同的责任,我们已制定相关政策和实践,以支持开发各种 AI 应用。根据我们的服务条款下载或使用时,开发者应与其内部模型团队合作,确保此模型满足相关行业和用例的要求,并解决不可预见的产品滥用问题。

    如需详细了解此模型的伦理道德考虑因素,请参阅系统卡模型卡 可解释性、偏差、安全性和隐私性子卡。请报告安全漏洞或 NVIDIA AI 问题单击此处

    立即开始使用 NVIDIA Cosmos

    开始探索