MaxCompute在高德大数据上的应用

秒速五厘米 2022-03-07 13:48 290阅读 0赞

2019年1月18日，由阿里巴巴 MaxCompute 开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，高德数据技术专家苗翌辰为大家分享了高德如何应用MaxCompute来管理数据架构，开发易用、高效以及弹性的高德应用，为用户提供更优质的出行服务。

以下内容根据演讲视频以及PPT整理而成

一、高德的业务和数据

地图描绘需要很多支撑数据，包括现实中的道路信息、路形以及路况等。下面的轨迹热力图展示了高德地图显示的北京联合大学的周边路况，描绘了点、线和面三种信息。通过地图信息和轨迹数据叠加形成区域热力。其中，不同颜色的轨迹展示了该区域一天内不同时间段的路况。  
![图片描述][2351768218-5c6a57614ab44_articlex]

下面展示了高德的一些业务场景。第一个场景是大家日常使用的高德APP。高德地图是苹果中国的战略合作伙伴，第二个场景展示了高德为苹果提供的出行服务。高德向整个互联网行业开放了其生态能力，第三个场景是高德为APP应用开放者提供的位置服务接口，目前使用该接口进行开发的移动应用包括手机淘宝、今日头条和小米运动等。另外，第四个场景是高德为车载设备提供的完善的位置服务方案。

![图片描述][1362691753-5c6a578add570_articlex]

高德地图的业务架构可以用“442阵型”来形容，即分为客户端、中间层、服务引擎以及基础地理信息等4层，同时包含AppleMaps、高德App、第三方App以及车载设备等4个业务入口。另外，数字“2”是指高德地图依赖于两个数据源，即自采数据、行业合作数据组成的基础地理信息和轨迹数据、行车数据等服务引擎产生的数据。“442阵型”的业务架构给高德的发展带来了质的飞跃。

![图片描述][744281716-5c6a579dcc55b_articlex]

下图是高德总裁刘振飞先生正在庆祝高德十一DAU突破一个亿的历史时刻。十一期间，高德为全网用户提供导航的总里程超过135亿公里，相当于在太阳和地球之间往返45次。高德提供海量服务的背后是高德强大的大数据计算能力、超过数千台的高德集群节点和承载超过百 PB数据的集群存储容量。  
![图片描述][4067297708-5c6a57bbe48ad_articlex]

二、如何管好数据

SPA架构

高德的数据架构称为“SPA架构”。“S”指代Source，即数据源层，收容了高德内部所有的位置、地图和图像数据。“P”指代Platform，即数据平台，提供了数据仓库、数据适配和数据挖掘能力来支撑上层的数据应用层，也就是Application(“A”)。在“SPA架构”中，高德最关注获取数据的权限，即要求所有数据操作都应该符合安全规范。此外，高德还要求所有部门都明确其开发目标，并且使用统一的平台工具进行开发。

![图片描述][2342020966-5c6a57f569e99_articlex]

数据研发

数据研发的全链路过程包括数据集成、数据开发、运维中心、数据质量、数据地图、数据安全以及数据服务等。高德对数据平台的要求不仅仅是以上全链路都 All in One，还希望都能以可视化的方式进行用户交互，以提高开发效率。以运维中心为例，希望所使用的工具能够将调度节点可视化，并方便进行不同时间粒度的任务依赖。同时，我们还希望拥有可视化的数据地图用于管理元数据信息，方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。

![图片描述][2440004177-5c6a58344b8ff_articlex]

MaxCompute平台特点

高德使用的MaxCompute平台具有以下三个特点：  
第一， 易用性，具有零学习成本和完善的IDE等优势。  
第二， 效率，高德内部迄今为止最大的公共项目“魔方”就是运用阿里云和MaxCompute实现的。  
第三， 弹性，高德于十一期间的流量远远超出想象。

![图片描述][147764706-5c6a585099dc9_articlex]

易用-上云

2014年，高德的数据架构依赖Flume进行数据采集，依赖一个仅含几百台机器的hadoop集群和Hive等软件实现数据处理。2014年9月份高德内部提出“上云”，即将数据迁移到阿里云，使非流程化的作业得到流程化的管理。与其他复杂的数据迁移工作相比，2014年高德实现了“一键”上云，将源数据的同步从Flume切换成TimeTunnel，后续再可配置化地切换数据。此外，迁移还伴随着代码修改，2014年高德“上云”仅修改了非常少的代码，比如修改老版本M2中的接口等。上方的数据存储层将数据介质替换成OTS等云端产品，以支持更加稳定的前台应用。高德将所有集群数据都迁移到“云上”仅花了两个月时间。

![图片描述][3739875173-5c6a58715b505_articlex]

“上云”为高德带来的收益不可估量。图1展示了“上云”后由云端管理所有代码；图2展示了一键式运维管理；图3展示了可计量的计算资源管理，量化地显示各个任务的资源使用情况；图4展示了流程化的可视化安全审批操作。从2014年“上云”到如今2018年，高德经历了飞速的发展，同时也暴露出了一些问题。

![图片描述][3464037815-5c6a58f8c1974_articlex]

效率-魔方

烟囱过多是数据仓库中比较麻烦的问题，高德同样存在该问题。数据使用者可能需要花费一个月寻找数据所在部门、数据的相关产品负责人以及研发人员以索要数据。2017年高德盘点数据仓库时发现，高德内部存在二十个数据仓库项目，并且各个数据仓库间的数据冗余度高达百分之三十，严重影响了团队工作效率。此外，高德数据仓库还存在高时延缺点，核心数据无法保证每天“7点产出”。基于以上两个问题，高德发起了“魔方”项目，将二十个仓库合并成一个以实现全集团的数据治理。

![图片描述][1912533364-5c6a591930755_articlex]

显而易见，要实现全集团的数据治理项目存在严峻的挑战。首先，数据量非常大，“魔方”项目要求实现百PB级数据的全域数据治理。其次，参与人员众多，“魔方”项目涉及到高德全产线的所有数据开发人员，项目团队超过百人。最后，排期紧，为了使数据架构升级不影响正常业务，高德要求“魔方”项目的主体开发工作应在两个半月内完成。此外，数据迁移工作在越短时间内完成对企业的收益就越大，因此高德要求“魔方”项目应在尽量短的时间内完成。应对这几个挑战的主体思路就是引入高效率的研发工具，在规范化的流程中实现协同开发，提高团队的工作效率。

![图片描述][217757666-5c6a592e2c0cb_articlex]

为此，高德首先统一了工具平台，引入了MaxCompute，下图蓝色部分皆为MaxCompute 为我们带来的业务收益。在数百人的团队中统一规范无疑是困难的，而MaxCompute提供了代码编写规范、调度配置规范以及研发自测规范等规范化模块。其中，代码编写规范模块使用 SQL Scan 工具自动化地检查代码是否符合规范，调度配置规范模块提供了完善的用户手册及各种模板辅助开发人员完成配置。统一流程要求实现定制化地管理数据开发流程，包括研发测试、开发自测、调度测试、QA测试以及最后的上线部署等流程。此外，统一建模和语言、统一数据核定标准也非常重要。

![图片描述][2872620880-5c6a594e4872f_articlex]

阿里云提供了一些优秀工具以构建规范化流程。第一，提供了数据血缘可视化工具，帮助数据开发团队及时地跟踪源数据、数据的上游和下游等信息。第二，提供了开发/测试流程并行的能力，以支持完善的协同开发和高效运转的工作。第三，提供了代码云端版本管理工具，允许实时查看代码变更、代码管理状态并支持回滚。第四，提供了一键数据探查工具，允许数据开发人员通过简单的配置探查海量数据的字段空值率，有效值率，表重复率等信息，极大地提高了数据开发人员的工作效率。

![图片描述][2967058451-5c6a596059ad7_articlex]

在规范化的流程以及众多效率工具的帮助下，高德在规定时间内完成了“魔方”项目开发，得到了一致好评。高德最终统一了数据仓库，将内部所有百P级数据的月增速降低了40%，同时数据计算效率提升了30%。即使在2018年十一的流量轰炸时期，高德仍然实现了核心数据的“5点产出”目标（5点到7点需完成核心数据计算任务）。

![图片描述][3780608182-5c6a598e5c1cf_articlex]

弹性-十一

2018年十一期间，高德的数据处理量随业务快速增长，数据计算任务的性能和平台的稳定性都受到了极大的考验。

![图片描述][3615901273-5c6a59a377070_articlex]

数据血缘可视化工具允许数据开发人员可视化地查看系统资源配置，下图展示了高德在2018年9月2日的系统实际使用计算水位，其中，蓝线是系统配额水位，黄线是系统的实际计算水位。阿里云提供的弹性计算能力允许在一定弹性数据量范围内保证系统资源的正常计算和输出。此外，阿里云还提供了稳定的计算环境，保证计算任务高效地运转，同时避免资源竞争问题。另外，为了更好地利用系统计算资源，高德团队提出了“提高蓝线、打散黄线”方案，申请扩大集群资源配额提升算力空间，通过调度错峰打散实际资源水位。在扩容方面，MaxCompute为高德带来了一键资源扩容能力，使得集群扩容在小时级别的时间内完成。最后，高德还实现了计算优化，提供了人员在线值守等保障。下图同时展示了高德在2018年10月2日的系统计算水位，蓝线代表的“系统配额水位”远高于9月2日的，说明集群扩容工作已顺利完成。同时，黄色代表的“实际资源配额水位”已完全被蓝线cover，更好地保障了资源计算任务。此外，黄色高峰被明显打散，一些重要非核心数据被错峰调度到7点，说明计算资源的错峰调度工作也已顺利完成。阿里云提供的一键运维调度工具能够保证系统方便的进行调度错峰，节省人力。MaxCompute为高德带来的弹性能力使得高德于2018年10月2日实现了核心数据“3点产出”的骄人成果。

![图片描述][3424308234-5c6a59d76e004_articlex]

业务成果

下图展示了中国的路网覆盖图，华东、华北和华南地区基本实现了道路全网覆盖，西部等偏远地区的道路交通还不够发达，许多道路仍在建设。路网覆盖对高德而言非常重要，高德需要用尽可能少的成本自动地发掘新路和过期路。

![图片描述][63081784-5c6a59e273224_articlex]

高德将轨迹数据资产和地图建设能力结合起来构建轨迹热力图，辅以现有路网和数据挖掘算法以自动化地发现新路和过期路。此外，高德还结合区域通车流量和该区域相关的用户上报事件来动态地发现封路、交通事件，更好地实现路网挖掘。

![图片描述][3345078803-5c6a59f3c233c_articlex]

路况预测是高德的另一个重要业务，即实时预测道路的通车状况、道路是否拥堵等。左图展示了高德对右图路段从早到晚的平均车速预测，红线表示数据累计得到的历史均值，蓝线表示模型预测值，黑线表示真实数据值。蓝线和黑线基本重合，有力地说明了高德应用的数据挖掘能力和统一数据仓库建设取得的成果。

![图片描述][944813267-5c6a5a0f3bed6_articlex]

此外，高德还面向全网用户开放了一个城市级数据产品，允许用户随时查看城市的道路拥堵状况和城市拥堵指数等相关数据，该产品可在[http://report.amap.com/][http_report.amap.com] 页面访问。下图显示了该产品给出的北京北二环某路段一周内的拥堵状况。

![图片描述][1876670870-5c6a5a2486401_articlex]

三、未来展望

技“数”高德表达了高德的未来规划。作为一家数据公司，高德致力于丰富数据源、优化SPA数据结构，得到更强大的数据平台，为用户提供更优秀的出现工具。从企业责任出发，高德希望能通过自身努力，帮助社会智能化地解决交通拥堵问题。从应用生态出发，高德希望能够帮助生态建立更加场景化的LBS服务，共同打造更专业的位置服务应用。

![图片描述][1060753269-5c6a5a489f07b_articlex]

高德致力于在未来继续联手阿里云，实现“连接真实世界，让出行更美好！”的行业愿景。

[2351768218-5c6a57614ab44_articlex]: /images/20220307/c4ee1766053d49459080d065a1a9f060.png
[1362691753-5c6a578add570_articlex]: /images/20220307/4508ffce6029437081bb93490eab1862.png
[744281716-5c6a579dcc55b_articlex]: /images/20220307/8a388a885c694ed4a178c9a6f626c845.png
[4067297708-5c6a57bbe48ad_articlex]: /images/20220307/ca0ec401e66c41e2993b6a646af4f188.png
[2342020966-5c6a57f569e99_articlex]: /images/20220307/73b2b0dbdb344919830188347cd8d06b.png
[2440004177-5c6a58344b8ff_articlex]: /images/20220307/0788cdc9dcef4de1aaf8266afe99b9d8.png
[147764706-5c6a585099dc9_articlex]: /images/20220307/36a80d397c644561829a0d63aba41d23.png
[3739875173-5c6a58715b505_articlex]: /images/20220307/b949136596a34589979c5e5af528d7e4.png
[3464037815-5c6a58f8c1974_articlex]: /images/20220307/4d44c81ae1e84f8f9993ede9aecfea13.png
[1912533364-5c6a591930755_articlex]: /images/20220307/07e8ed3f7ab34f98a45f314ca844ab44.png
[217757666-5c6a592e2c0cb_articlex]: /images/20220307/1bb3fa26dcc942cc85fcf2fe9d4e0af9.png
[2872620880-5c6a594e4872f_articlex]: /images/20220307/c12576c6d9404dc4bdfaa4a0fa8af9fa.png
[2967058451-5c6a596059ad7_articlex]: /images/20220307/b330a4414cdd456f85d419fa9426b5c8.png
[3780608182-5c6a598e5c1cf_articlex]: /images/20220307/4e4f1f1426754cc799b239a35904c572.png
[3615901273-5c6a59a377070_articlex]: /images/20220307/276d20be2a0e4497aa64906bc217e65f.png
[3424308234-5c6a59d76e004_articlex]: /images/20220307/41d0a1621bc84c1ab3172f757566b47d.png
[63081784-5c6a59e273224_articlex]: /images/20220307/63812c4655f34995b7c516bd3ec2a984.png
[3345078803-5c6a59f3c233c_articlex]: /images/20220307/b5489eb5c6774c819f7547124dbcd63e.png
[944813267-5c6a5a0f3bed6_articlex]: /images/20220307/a00076b86b5f4d4d82ef60a692a7bb6e.png
[http_report.amap.com]: http://report.amap.com/
[1876670870-5c6a5a2486401_articlex]: /images/20220307/91846d2fbd0a41868a6d4131c16961db.png
[1060753269-5c6a5a489f07b_articlex]: /images/20220307/0c35eebcf79f4f5e9edae8fad653fbe3.png