过去几年，AI 领域的讨论主要集中在访问权限上：将模型部署到团队面前，快速进行实验，验证用例。这一阶段即将结束。企业现在提出的问题有所不同：谁控制模型？数据会去哪里？模型出现故障时会发生什么？
想象一下，一家医院使用人工智能技术，通过胸部 X 光片辅助诊断肺炎。一位呼吸困难的病人被送来。医生上传了扫描图像并等待，但系统没有响应——诊断应用程序所依赖的模型托管在公有云上，而公有云暂时不可用。
在医疗保健领域，这种延迟会造成严重后果。这是一个值得认真思考的场景，因为它揭示了人工智能讨论中一个经常被忽略的问题：模型的运行位置与运行的模型本身同样重要。
可靠性设计
公有云使众多组织能够使用人工智能，这确实很有价值。与此同时，对于那些正常运行时间不容商榷的应用程序而言，引入外部依赖项就成为一个重要的架构考量因素。
一种思考方式是通过正常运行时间预期。99.9% 正常运行时间的服务级别协议 (SLA) 仍然允许每年近 9 小时的停机时间。对于消费类应用而言，这只是不便。但对于医院放射系统、执行数百万笔交易的交易平台或空中交通管理工具而言，即使是短暂的中断也可能需要额外的规划。
当外部服务包含在技术栈中时，可靠性的某些方面会在不同的提供商之间共享。随着人工智能在业务的关键环节中得到更广泛的应用，团队通常会考虑其他设计因素，例如回退策略和部署灵活性，以满足其特定需求。
解决方案：在数据所在位置运行人工智能
相比之下，如果在数据所在位置运行人工智能，您可以选择符合自身需求的环境，更重要的是，您可以掌控系统的可靠性。
借助 Cloudera AI 推理服务，模型可以部署在本地、私有云或混合环境中。这种灵活性使团队能够根据自身的数据、工作负载和风险状况调整推理策略，而无需强制所有操作都通过单一架构。
在实践中，这意味着：
运营连续性：无论外部环境如何变化，您的应用程序都能持续运行。
可预测的成本：摆脱可变定价（例如，按调用次数计费），转向可控且可规划的计算成本。
实时性能：如我们放射科演示所示，影像分析在不到一秒钟内完成，为临床医生提供即时结果
在此基础上，团队默认享有模型灵活性。精心策划的 AI 模型注册表（包括 NVIDIA、Cohere 和 Mistral AI 等供应商）让您可以轻松地为每个用例选择合适的模型。而且，由于没有供应商锁定，您无需依赖单一供应商的路线图，并且可以根据更优方案的出现随时更换 AI 模型。
一切从一开始就面向生产环境设计。自动扩展功能可应对需求高峰，高可用性可消除单点故障，性能优化可实现亚秒级响应时间。这些功能直接构建于部署之中，而非后期添加。
治理贯穿始终。AI 网关在请求到达模型之前强制执行访问控制和策略，而监控层则提供对延迟、吞吐量和资源使用情况的持续可见性。
最终，整个推理管道（从模型选择到生产执行）都处于您的控制之下，同时还能让您灵活地在任何最适合的地方运行 AI。
为何保持数据控制对受监管行业尤为重要
对于医疗保健、金融服务或国家安全领域，数据隐私是一项法律义务。当模型的输入、输出和提示信息传输到外部供应商进行推理时，这不仅仅是延迟的问题，而是关乎合规性和主权的问题。
想想在推理调用期间实际发送的是什么。在放射学领域，这可能是与医疗记录关联的患者扫描图像。在金融服务领域，这可能是用于标记欺诈的交易历史记录。在法律或国防领域，这可能是性质敏感的文件。每次调用都是一次数据传输，而使用外部 API 时，数据传输会跨越您无法完全控制的边界。
将推理过程保留在本地或私有云中意味着数据留在其应在的位置，专有模型完全归组织所有，审计跟踪也保留在内部。内置的可观测性使团队能够实时了解延迟和资源使用情况，而无需外部供应商参与，这对于合规性报告以及了解模型在生产环境中的实际运行情况都至关重要。
停止争论“云端 vs. 本地部署”，构建有意的混合架构
人工智能应该是提升系统可靠性的资产，而不是新的单点故障。医疗保健行业的风险显而易见，但同样的逻辑适用于任何停机影响巨大的领域：生产线、实时财务系统和物流网络。为了减少停机时间并充分利用人工智能的优势，组织需要有意构建混合架构，以便其最关键的工作负载在他们控制的基础设施上运行。
想知道这在实践中是如何实现的吗？观看完整的 Cloudera AI 推理演示。
