在过去两年中,企业对生成式和代理式人工智能的兴趣显著增加。各行各业的组织机构正在探索 AI 智能体、智能助理和自动化如何提高生产率、简化运营,并从不断增长的企业数据中获取洞察力。然而,随着热情的高涨,有关成本、安全性和运营复杂性的问题也随之而来。
一个现实越来越明显:并非所有 AI 工作负载都需要图形处理单元(GPU)或庞大的基础模型。事实上,许多高价值的企业用例可以通过使用中央处理器 (CPU) 和较小的、以任务为中心的语言模型来高效地实现,特别是当它们部署在它们所服务的数据附近时。
现在,越来越多的组织正在从这个角度重新评估其人工智能战略。与其不惜一切代价追求规模,他们更优先考虑智能回报:即以安全、经济和大规模的方式部署 AI 解决方案的能力。随着人工智能从实验走向生产,这一转变正在塑造企业对基础设施、数据架构和治理的思考方式。
Enterprise Strategy Group(现隶属于 Omdia)的研究表明,约有 80% 的企业将 AI 智能体视为业务的重中之重。这些智能体承诺通过自动化、更快的决策以及更好的员工和客户体验带来实实在在的好处。然而,许多组织仍在为以 GPU 为中心部署的成本和运营负担而苦恼。
GPU 基础设施可能带来显著的资本支出、功耗和供应链限制。对于许多实时推理和知识驱动工作负载,这种方法可能与业务需求不匹配。因此,企业越来越多地探索能够更好地匹配计算资源与工作负载需求的替代方案。
基于 CPU 的人工智能与较小的语言模型相结合,成为一种实用的选择。与其追求最大规模的模型,组织正在利用其现有资产来解决预算挑战,例如购买或访问 GPU。这关乎合理调整人工智能架构,强调效率、安全性和可扩展性。
小型语言模型(SLM)旨在执行特定的企业任务,如摘要、问答、内容生成和代码辅助。通常包含比大型语言模型更少的参数,SLM 可以在现代 CPU 上有效运行,同时为目标用例提供强大的性能。
这种方法具有多项优势。基于 CPU 的推理降低了基础设施成本,降低了功耗,并简化了部署。它还使组织能够在现有数据中心或私有云环境中运行人工智能工作负载,解决了数据主权和监管合规性方面的担忧。
在此背景下,Cloudera 将其私有 AI 战略定位为使企业能够完全在其受控环境中部署和运营 AI 系统。通过将开放数据湖仓架构与集成治理和 MLOps 功能相结合,Cloudera 支持 紧贴企业数据的 AI 开发。
基于 CPU 的人工智能的有效性在很大程度上取决于底层基础设施。现代处理器的进步显著提升了分析和推理工作负载的性价比。例如,AMD EPYC™ 处理器设计用于实现高核心密度、强内存带宽和内置安全功能,非常适合 AI 推理和数据密集型工作负载。
在 Dell Technologies 的企业级系统上部署时,组织可以可靠地扩展人工智能工作负载,同时利用针对数据和人工智能平台进行了优化的经过验证的架构。这种组合使企业能够在不重新构建整个基础设施架构的情况下实现人工智能功能的现代化。
从运营角度来看,这种模式使企业能够重复使用现有投资,加快部署时间,并减少对专用硬件的依赖。在这些场景中,重点不是模型大小,而是效率、响应速度和可信度。
许多当今最有价值的人工智能应用可以在 CPU 上高效运行,无需庞大的模型或 GPU 加速。示例包括:
内部知识助理
企业通常在文档、电子邮件和报告中存储关键知识。通过将 SLM 应用于这些数据,组织可实现以自然语言访问内部信息,从而在本地保存敏感数据的前提下改进决策。
员工和客服协助聊天机器人
人力资源、IT 和客户支持团队面临着反复出现的问题,这些问题可以通过安全的内部聊天机器人自动解决。基于 CPU 的人工智能可以实现随时提供帮助,而不会引入外部数据暴露。
内容与文档生成
营销、合规和工程团队经常制作重复的内容。AI 辅助生成和摘要可以在保持一致性和治理的同时加快工作流程。
软件开发支持
SLM 驱动的助手可以在企业防火墙内生成代码片段、测试和文档,帮助开发团队提升生产力,而无需将知识产权发送给公共 AI 服务。
预测性分析与优化
在制造和运营领域,基于 CPU 的人工智能模型会分析传感器和运营数据,以预测故障并优化性能,从而减少停机时间和运营成本。
尽管云已被广泛采用,但大量企业数据仍存储在本地。Omdia 的研究显示,许多组织将 26% 到 75% 的数据保存在本地或私有环境中。当人工智能处理需要将敏感信息转移到外部平台时,这种数据引力就会带来挑战。
私有 AI 架构通过将 AI 引入数据(而不是相反)来解决这一挑战。通过在现有环境中运行 AI 工作负载,组织可以减少延迟、提高性能并保持对 GDPR、HIPAA 和行业特定要求等法规的合规性。
Cloudera 的方法将数据摄取、治理、模型管理和服务整合到一个平台内。与基于 CPU 的基础架构相结合,可使企业更高效地从试点项目过渡到生产环境人工智能。
采用人工智能的最大障碍之一是概念验证与生产部署之间的差距。基于 CPU 的 AI 架构通过降低成本和操作复杂性来帮助缩小这一差距。
采用此方法的组织报告了以下几项成果:
这些优势强化了一种日益增长的共识,即企业人工智能的成功既取决于模型性能,也取决于经济和管理。
企业人工智能的下一个阶段不会由最大的模型或最强大的硬件来定义。相反,它将由能够安全、经济且大规模部署人工智能的组织塑造,采用符合真实业务需求的架构。
通过将 Cloudera 的数据和治理平台 与 AMD EPYC 处理器和 Dell Technologies 基础设施相结合,企业可以在自己的环境中实现 AI 的可操作路径。这种适度的做法使组织能够专注于成果,而非基础设施复杂性,并在数据已存在的地方释放人工智能价值。
随着企业将人工智能计划从实验阶段转向生产阶段,基于 CPU 的实用型私有人工智能架构可能会发挥越来越重要的作用。
想了解更多关于与 Cloudera、AMD 和 Dell Technologies 合作实现经济型人工智能的信息,请下载Omdia 展示简报。
This may have been caused by one of the following: