Cloudera 最新研究: 企业 AI 和现代数据架构现状

阅读报告
概览

以任意规模安全可靠地简化和操作数据管道。

CDP Data Engineering 是专为企业数据工程团队量身定制的云原生服务。Data Engineering 是基于 Apache Spark 构建的全包的数据工程工具集,可通过 Apache Airflow、高级管道监控、可视化故障排除和综合型管理工具实现业务流程自动化,以简化整个企业分析团队的 ETL 流程。

Data Engineering 与 Cloudera Data Platform 完全集成在一起,可通过 SDX 实现端到端的可见性和安全性,同时也可与CDP服务(如CDP Data WarehouseMachine Learning)无缝集成。基于 CDP 的 Data Engineering 可在任何地方的混合云平台上提供一致、可重复和自动化的数据工程工作流。

CDP Data Engineering使用案例

  • 可在任何地方自动化数据管道
  • 获得 ETL 可见性和控制权
  • 始终保持数据完整性

可在任何地方自动化数据管道


将高质量的数据集安全地交付到 CDP Data Warehouse、CDP Machine Learning 或任何其它分析工具。

Data Engineering 简化了通往分析团队的数据管道,包括从机器学习到数据仓库等等。通过编排和自动化数据管道来加速价值实现时间,并且以安全、透明的方式在任何地方提供精选的高质量数据集。

立即使用

获得 ETL 可见性和控制权


透明地全面管理数据生命周期。

当您希望大规模地运转整个企业的数据管道时,妥善地管理数据生命周期和控制好成本变得越来越复杂。

Data Engineering 提供了一整套操作控制和可见性功能,可用于跨业务用例进行容量规划、管道自动化、自动沿袭捕获以及故障排除。

阅读博客文章

CDP Data Engineering工具截图| Cloudera

始终保持数据完整性


提供完整的数据管道可见性以保护您的业务。

随着数据量和复杂性的不断增长,在确保持续的准确性和保真度的前提下扩展整个企业的分析工作负载是十分困难的。

Data Engineering 可提供本地数据管道监视和警报功能以及早发现问题,并提供可视化故障排除功能以在问题影响业务之前快速解决问题。

 

CDP Data Engineering-数据管道排除故障截图| Cloudera

CDP Data Engineering主要功能

编排复杂数据转换工作流(由 Apache Airflow 提供技术支撑),与数百名操作员一起满足关键任务分析要求。

Data Engineering 具备容器化、可扩展和可移植特性,提供了隔离的工作负载环境和护栏——凭借按需弹性计算实现安全的管道管理,从而经济高效地满足业务 SLA 要求。

可视化呈现 Spark 作业各个阶段中的性能指标,包括 CPU、内存和 I/O,以查明性能瓶颈并在进行故障排除时能够准确地找到症结。

通过 CLI 和 REST API 完成丰富的作业管理界面,轻松实现自动操作并与现有工作流集成,如 CI/CD 管道和第三方工具。

Data Engineering 提供了一种完全集成的 Spark on Kubernetes 服务,可自动执行并简化工件管理、安全和资源调度—利用 Apache Yunikorn 提供 FIFO 和 GANG 调度。

平台管理员可以通过一个集中式界面管理访问权限和安全性,然后快速调配新的工作负载,同时轻松地监控容量并可视化随时间使用资源的情况。SDX 还支持完整的生命周期沿袭跟踪,以了解数据的来源和去向。

愿意进行更深入的了解吗?


亲身体验 Cloudera Data Platform 上的 Data Engineering

Ebook

CDP Data Engineering:使数据生命周期更上一个台阶

Webinar

Cognilytica 网络研讨会:优化数据工程管道

Whitepaper

人工智能数据工程生命周期检查清单

Webinar

企业中的数据工程:如何加速和扩展数据管道

世界级的训练,技术支持和服务

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.