面向开发者的 NVIDIA Cosmos
NVIDIA Cosmos™ 是一个平台,配备先进的生成式世界基础模型、配备先进的 tokenizer、护栏以及加速数据处理和管理工作流,可满足自动驾驶汽车(AV)以和机器人开发者的需求。
更快地构建、评估、部署和模拟物理 AI 模型,同时更大限度地降低现实世界中的测试和验证风险。
查看 Cosmos 世界基础模型的实际应用
Cosmos 世界基础模型 (WFM) 通过简单的输入生成具有物理感知的高保真视频,模拟和预测机器人和自主系统的真实结果。
NVIDIA Cosmos 世界基础模型
用于生成物理感知视频和世界状态的预训练模型第一波现已向开发者开放。
NVIDIA Cosmos 内置护栏,可在 Cosmos 生成的输出中过滤品牌、不安全内容和有害提示。Cosmos 还提供用于模糊人脸的护栏、用于消除可疑场景的后期保护,以及由 NVIDIA NIM™ 微服务生成的合成视频上的数字水印。
自回归
预测视频序列中的未来帧,利用时间依赖关系生成连贯一致的逼真运动。
Cosmos Super:
扩散
在习得的时间和空间模式的指导下进行迭代降噪,逐步将随机噪声优化为连贯的视频帧,从而创建视频。
Cosmos Super:
工作流引擎
在物理 AI 应用中简化世界模型开发和部署的基本模型。
Cosmos Super:
微调样本
- Cosmos-1.0-Diffusion-7B-Text2World-Sample-MultiviewDriving
针对 AV 多传感器驾驶视图进行了微调。即将推出。
入门套件
通过访问开放模型、微调教程以及下游应用和物理 AI 开发各个阶段的更多操作方法,开始使用 Cosmos 开发世界模型。
入门套件 (按用例)
策略模型开发
微调 Cosmos WFM,以构建策略模型,根据习得的行为或规则将物理 AI 系统的状态映射到最佳操作。
体验 Cosmos WFMNGC
体验 Cosmos WFM Hugging Face
按模型开发阶段划分的入门套件
处理和整理视频数据
NeMo Curator 通过可扩展的工作流生成高质量的训练数据,可高效处理 100%的 PB 数据。NeMo Curator 提供开箱即用的优化性能,可将速度提高 35 倍,从而更大限度地降低处理成本,并加快上市时间。
NVIDIA Cosmos 学习库
更多资源
伦理道德注意事项
NVIDIA 认为值得信赖的 AI 是一项共同的责任,我们已制定相关政策和实践,以支持开发各种 AI 应用。根据我们的服务条款下载或使用时,开发者应与其内部模型团队合作,确保此模型满足相关行业和用例的要求,并解决不可预见的产品滥用问题。
如需详细了解此模型的伦理道德考虑因素,请参阅系统卡模型卡 可解释性、偏差、安全性和隐私性子卡。请报告安全漏洞或 NVIDIA AI 问题单击此处。
立即开始使用 NVIDIA Cosmos