Cloudera 被 The Forrester Wave™ 评为 2025 年第四季度数据架构平台的领导者

阅读报告

推动 AI 开发和部署,同时保护 AI 生命周期的所有阶段。

Cloudera AI 推理服务由 NVIDIA NIM 微服务提供支持,提供市场领先的性能——在 NVIDIA GPU 上实现高达 36 倍的推理速度,并在 CPU 上实现近 4 倍的吞吐量——无缝地简化了公共云和私有云中的 AI 管理和治理。

AI 推理服务示意图

一项服务满足您所有企业 AI 推理需求

一键部署:快速将您的模型从开发迁移到生产,无论环境如何。

一个安全的环境:获取涵盖您人工智能生命周期所有阶段的强大端到端安全保障。

一个平台:通过一个能够满足您所有 AI 需求的单一平台,您可以无缝管理所有模型。

一站式支持:通过 Cloudera 获得所有硬件和软件问题的统一支持。

AI Inference 服务的关键特性

混合云和多云支持

支持在本地部署*、公有云和混合环境中进行部署,以灵活满足多样化的企业基础设施需求。

详细数据和模型沿袭*

提供全面的数据转换和模型生命周期事件的跟踪和文档记录,以提高可重复性和可审计性。

企业级安全性

实施强有力的安全措施,包括身份验证、授权*和数据加密,以确保数据和模型在传输中和静止时均受到保护。

实时推理功能

获取低延迟的实时预测和大数据集的批处理,确保根据不同性能指标灵活地提供 AI 模型。

高可用与动态伸缩

高效处理不同负载,同时确保高可用配置和动态扩展能力,以实现持续服务。

灵活的集成

轻松将现有工作流程和应用程序与 Open Inference Protocol API 集成,以支持传统机器学习模型,并提供与 OpenAI 兼容的 API 用于大型语言模型(LLM)。

支持多种 AI 框架

轻松部署多种模型类型,集成流行的机器学习框架,如 TensorFlow、PyTorch、Scikit-learn 和 Hugging Face Transformers。

高级部署模式

通过采用金丝雀部署、蓝绿部署*等高级部署策略,以及 A/B 测试,安全且分阶段地推出模型的新版本。

开放 API

部署、管理和监控在线模型和应用程序*,并通过符合开放标准,促进与持续集成/持续交付(CI/CD)管道和其他机器学习运营(MLOps)工具的集成。

业务监控*

持续监控 GenAI 模型指标,如情感、用户反馈和漂移,这些对于保持模型质量和性能至关重要。

* 功能即将推出。如需更多信息,请联系我们

AI Inference 服务的关键特性

混合云和多云支持

支持在本地部署*、公有云和混合环境中进行部署,以灵活满足多样化的企业基础设施需求。

详细数据和模型沿袭*

提供全面的数据转换和模型生命周期事件的跟踪和文档记录,以提高可重复性和可审计性。

企业级安全性

实施强有力的安全措施,包括身份验证、授权*和数据加密,以确保数据和模型在传输中和静止时均受到保护。

实时推理功能

获取低延迟的实时预测和大数据集的批处理,确保根据不同性能指标灵活地提供 AI 模型。

高可用与动态伸缩

高效处理不同负载,同时确保高可用配置和动态扩展能力,以实现持续服务。

灵活的集成

轻松将现有工作流程和应用程序与 Open Inference Protocol API 集成,以支持传统机器学习模型,并提供与 OpenAI 兼容的 API 用于大型语言模型(LLM)。

支持多种 AI 框架

轻松部署多种模型类型,集成流行的机器学习框架,如 TensorFlow、PyTorch、Scikit-learn 和 Hugging Face Transformers。

高级部署模式

通过采用金丝雀部署、蓝绿部署*等复杂部署策略,以及 A/B 测试*等方法,安全且逐步地推出新版本的模型。

开放 API

部署、管理和监控模型和应用程序*,促进与 CI/CD 管道及其他 MLOps 工具通过符合开放标准的 API 进行集成。

业务监控*

持续监控关键的 GenAI 模型指标,例如情感、用户反馈和漂移,这些指标对于维持模型质量和性能至关重要。

* 功能即将推出。请联系我们以了解更多信息。

演示

亲自体验轻松的模型部署

了解如何轻松部署大型语言模型,并借助强大的 Cloudera 工具有效管理大规模AI应用。

模型注册表集成: 通过集中化的 Cloudera AI Registry 存储库,您可以无缝地访问、存储、版本化和管理模型。

简易配置与部署:在云环境中部署模型,设置端点,并调整自动缩放以提高效率。

性能监控:根据延迟、吞吐量、资源利用率和模型健康等关键指标进行故障排除和优化。

headshot of Sanjeev Mohan
Cloudera AI 推理让您能够利用 NVIDIA 的 AI 专业知识大规模释放数据的全部潜力,并使用企业级安全功能来保护数据,从而可以自信地保护数据并在本地或云端运行工作负载,同时以必要的灵活性和治理高效地部署 AI 模型。

—Sanjeev Mohan,SanjMo 首席分析师

欢迎参与

文档

入门资源和指南

Cloudera AI 推理服务文档提供了您所需的全部信息:从具体的功能介绍到实用的实施指南,便于您更快地启动工作。

准备好了吗?

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.