互操作性长期以来一直是一个流行词,而不是企业在实践中可以依赖的能力。相反,数据架构师常常被迫拼接碎片化的系统,首席数据官面临孤岛治理带来的巨大风险和供应商锁定,平台领导者也受限于为团队提供一致的数据视图。无论是由合并、多云战略,还是外部合作伙伴关系驱动,模式都在重复:成本上升、创新速度变慢,以及有限的能力以信心扩展人工智能。
在 Cloudera,我们帮助客户应对这些挑战——断开的元数据层、重复的数据管道以及无法跨工具扩展的治理模型——始终致力于实现开放的、AI 就绪的企业,实现大规模互作性。
要扩展人工智能工作负载,组织需要对推动它们的数据具有可见性和控制力。元数据智能在这个方程中起到至关重要的作用,使组织能够了解数据存储的位置、结构方式以及在团队和工具之间的使用情况。
通过 Apache Iceberg 和 Iceberg REST Catalog 等开放标准,企业获得了一个统一的元数据层,支持零 ETL 数据共享,实施治理,并在分析和 AI 引擎之间实现安全的互操作性。这个基础将碎片化的基础设施转变为一个互联的、AI 就绪的数据架构——在这个架构中,元数据成为加速访问洞察的关键,同时还能保持信任。
Cloudera Iceberg REST Catalog 为我们的开放数据湖仓提供支持,帮助组织简化架构、减少重复并将安全数据访问扩展到任何需要的地方。
它作为一个通用、互作的元数据层,提供跨工具、云和团队的 Iceberg 表零复制访问,使开源和第三方工具能够访问相同的数据。特点和优势包括:
图 1.Cloudera 的 Iceberg REST Catalog 提供了一个通用且可互作的元数据层,使开源和第三方工具能够访问相同的数据。
以下真实案例展示了组织如何利用 Iceberg REST Catalog 简化数据堆栈、降低总拥有成本(TCO)并加速价值实现时间——同时将数据保存在应有的位置。
这些例子共同展示了 Cloudera 开放且互作性的方法如何加速 AI 成果,推动企业规模的运营效率,并实现安全性与合规性。
一家豪华汽车制造商在使用 Databricks 与外部合作伙伴安全共享数据方面面临日益严峻的挑战。传统方法依赖数据复制,这带来了成本、复杂性,导致架构不灵活。
通过采用 Iceberg REST Catalog,客户实现了跨内部系统和外部平台的安全、零 ETL 数据共享。这种开放的、基于标准的方法使他们能够选择最适合这项工作的工具——使用 Spark 处理复杂的数据管道,使用 Impala 进行快速 SQL 分析。凭借这一基础,公司将 AI 应用程序扩展到 3,000 多个用户,同时保持对数据访问的完全治理和控制。
在一次合并活动之后,一家全球卫星公司在统一锁定于专有系统中的分散数据时遇到了重大障碍。由于缺乏一致且可互操作的数据层,他们的人工智能和分析项目扩展缓慢且难以管理。
Cloudera 的开放数据湖屋架构由 Iceberg REST Catalog 支持,帮助客户整合这些孤岛,并为所有 AI 和分析工作负载建立单一的真实来源。通过直接在 S3 中查询托管的 Iceberg 表,他们消除了冗余数据管道和重构工作的需求,导致数据移动成本降低了 74%。
该交互式演示通过金融服务场景将 Iceberg REST Catalog 变为现实。在虚构的 Parent Bank,不同的团队使用他们喜欢的工具——如 Snowflake 和 AWS Athena——来安全地访问一个受控的数据源,而无需复杂的 ETL 或昂贵的数据移动。
如需深入了解该产品及其如何为您的组织带来益处,请浏览这些资源:
This may have been caused by one of the following: