Cloudera助力上汽大众车辆数据实时监测

Cloudera助力上汽大众车辆数据实时监测，实现存算性能升级

上汽大众汽车有限公司（简称“上汽大众”）是一家中德合资企业，由上汽集团和大众汽车集团合资经营，是国内历史最悠久的汽车合资企业之一。近年来，上汽大众非常重视数字化市场需求，并持续在新能源汽车及车联网业务中探索新的大数据技术运用。

新能源车辆监控数据体量迅猛增长

近年来，随着网联化、智能化的行业发展趋势愈发明朗，上汽大众也紧跟市场步伐，在数字技术领域加大投入。然而，随着新能源汽车的迅猛增长，车辆监控信息呈现出指数级的增加，这对相关数据监控的计算能力、存储、传输和应用都提出了巨大的挑战。同时，伴随着国家对于新能源汽车监控信息共享的进一步号召，上汽大众原有的数据处理技术也无法满足海量数据的监管要求。

现代化大数据平台助力解决海量数据激增难题

在这样的背景下，上汽⼤众大数据平台团队在大数据库平台负责人谢聪的带领下，于2017年开始构建全新⻋辆数据监控平台，以赋能新能源⻋辆关键业务发展。2022年，上汽⼤众将数据平台升级至Cloudera Data Platform（CDP），数据存储及作业性能实现了进⼀步优化。

Cloudera Data Platform助力提升车辆数据存算能力

迁移至CDP之后，上汽大众大数据平台的车数据存算能力有了极为显著的提升。 ⾸先，HBase存储空间减少了约73TB，节约了67%的空间使⽤，这得以⼤⼤提升其⻋辆数据监控的作业效率；其次，总集群⽂件数减少约8千万，约优化原有⽂件数的75%。此外，在核⼼报表及跑批业务上也实现了明显的性能提升，批量作业性能平均提升2.5倍，最⾼可达6.6倍。这些性能升级，均保证了上汽⼤众对⻋辆监测数据链可以实现完整的存储和详细的分析，并且充分满⾜国家⻋辆数据管理相关法律法规的要求。除此以外，上汽⼤众还基于此数据平台搭建了⾯向⻋主的上汽⼤众APP，为⼴⼤⻋主带来更智能的汽⻋服务，包括远程查看⻋辆实时状态、智能导航服务等。该平台上线不到两年⽤户已达600万。

上汽大众数据库大数据平台负责人谢聪表示：“上汽大众从2017年起开始引入Cloudera的CDH，并在2018年构建了数据湖。在2022年，仅用了六个月的时间，上汽大众成功将数据平台升级至CDP，成为国内汽车行业中首批升级的企业。我们所搭建的车辆数据监测平台能轻松实现海量数据存储，完善车辆数据监测及分析；而这些数据也将进一步助力我们更好地服务车主，并推动上汽大众车联网业务的持续发展。CDP作为成熟的大数据平台，有效帮助我们解决了日益增长的实时数据存储、管理、计算等难题。未来，我们也将进一步解决存算分离问题以及计算和存储增速不一致问题，以实现基于工作负载的变化达到最佳的性能资源平衡。”

展望未来，上汽大众还将继续扩展采用CDP的更多功能，持续利用湖仓一体优势升级监测数据平台，为智能网联汽车服务创新打下坚实的数据基础。