高德地圖基於阿里雲MaxCompute的最佳實踐

摘要： 雲計算帶來的變革不言而喻，做爲一種新型的IT交付模式，切實爲企業節省IT成本、加快IT與企業業務結合效率、提高創新能力、增強管理水平以及加強系統自己的可靠性等方面提供巨大支持，是企業實現新發展的重要途徑，它已然成爲全球IT產業的主流聲音。

點此查看原文：http://click.aliyun.com/m/42757/

雲計算帶來的變革不言而喻，做爲一種新型的IT交付模式，切實爲企業節省IT成本、加快IT與企業業務結合效率、提高創新能力、增強管理水平以及加強系統自己的可靠性等方面提供巨大支持，是企業實現新發展的重要途徑，它已然成爲全球IT產業的主流聲音。

爲此，CSDN記者日前採訪了國內最先一批提供地圖API互聯網服務商高德的高級運維專家曾偉，從運維的角度分享了高德上雲的背後故事和帶來的好處、雲上架構、運維核心價值的變化等，最終實現了應用服務可用性上升到99.99%，同比提高了5倍，以及運維人員從原先的45人降到16人。他也表示，企業應當及時抓住雲計算技術帶來的新機遇，針對自身不足，實施相應的技術和業務變革，擁抱雲計算，充分發揮雲計算技術在企業管理中的做用，從而加強企業的競爭能力。

高德的IT化信息化之路

高德於2002年成立，這十幾年的發展使得高德產品從簡單的車載導航產品應用至整個互聯網，目前提供的產品或服務主要有基礎服務：定位、搜索、線路規劃、導航、步行、公交；O2O：酒店、美食、景點等；車聯網：AMAP AUTO車機版本、無人駕駛；高德大數據：實時路況，躲避擁堵等。

可是現在強大的產品或服務也經歷了一個漫長的IT信息化成長過程，從運維角度的來講有如下幾個階段：
沒有運維團隊的渾沌階段。2002 - 2007年是初級的IT階段，數據生產的服務器由IT部門負責，IDC的服務器是研發人員負責，主要用於地圖數據的生產，線上的地圖只有一小部分；
開始創建運維團隊，專業化運做。2007 - 2014年IT信息化主要分爲IT和運維，IT則負責辦公網的產品業務，包括辦公電腦、打印機、辦公流程的軟件；而運維全面負責公司IDC機房、服務器、業務，運維總體還處於人肉時代，運維服務效率較低；
2014年7月 - 至今，雲上的高德實現自動化運維。此階段高德開始上雲，運維逐步邁向自動化的時代，運維人員的故障處理能力、性能等進一步提高等。

高德的數據採集、加工、整合過程

從最初的數據採集、合成、地理等變化到今天的車輛定位系統，高德的數據加工與整合主要分爲這幾個階段：

初級階段：採集車安裝攝像頭和GPS、實景採集、郵寄視頻光盤等原始的方式；而內部做業員再經過看錄像、軌跡進行數據分析和數據製做，從而實現3個月一次的數據更新。在這一階段是全手工模式，互聯網化較低；

系統階段：採集車開始使用採集系統軟件，再在晚上經過網絡回傳，脫離光盤做業的形式；以後，經過完善的編輯工具、檢查工具，實現了高的質量控制和快的流水線速度，從而進入到數據加工廠階段；

平臺化階段：上線高精采集車採集全景、分米級高精軌跡，以及衆包的形式進行社會化採集；內業工做平臺化，數據流轉任務流轉平臺化，並且全流程有監控，最終進入到流水線生產階段；

自動化階段：將來的採集將全面轉向衆包化，實現自動回傳，而內業的自動化水平高度提高，經過影像識別、大數據分析、自動數據融合等技術提高自動化生產的水平，這也是高德當下努力的方向。

目前，高德主要有地圖、導航兩個App產品，以及PC地圖，同時還開放了API服務，方便移動開發者更好地爲用戶提供高質量基於位置的服務。

運維之痛

在上雲前，高德在運維方面經歷了不少的痛苦，好比自建機房帶來的運維之痛，高德以前有7個小機房零散分佈在全國各個地方，但隨着業務的快速增加自建小機房模式帶來不少問題，包括IDC電力、空調、網絡都很容易故障，也使得當時的運維達到40多人；同時也面臨大量的運維需求，由於運維須要負責IDC、電力、網絡、服務器、OS、數據庫（MySQL、Redis、Oracle、Memcache、PG、MongoDB）、各類應用軟件（Nginx、Apache）、開源工具（Jenkins、Puppet），大量的需求使得運維人員的經歷分散，產生很是大的壓力。另外，有時候因用戶激增帶來的大流量，加上本來吃緊的帶寬等問題，甚至會形成重大活動/節日時的宕機。

基於阿里雲的最佳運維實踐

曾偉表示，高德在運維方面經歷的痛和負重在上雲後都獲得了根本性的改變，首先基於阿里雲實現了統一基礎設施的運維，讓運維人員再也不運維基礎設施；同時，阿里雲提供的各類雲服務有負載均衡、彈性計算ECS、雲數據庫RDS、對象存儲OSS、雲數據庫Redis版、大數據計算服務MaxCompute（原ODPS）等，運維人員只須要使用好這些服務就能夠了，不須要去維護具體的組件。另外，高德常常有大型活動，用戶訪問量會在某個階段激增，這時就需基於阿里雲的彈性伸縮服務，就能實現快速擴展的基礎設施。最後，運維人員只須要專一於業務的性能、架構、故障等核心價值便可。

可是，高德在剛開始上雲時，對於熟悉傳統數據中心的運維人員有可能不熟悉各類雲服務組件，以及高德IDC和阿里雲併網運行期間，日誌實時傳輸延遲致使實時數據分析會出現延遲的狀況。而經過阿里雲提供的完善技術、及時的響應、培訓支持，快速地解決了遇到的問題，最終運維人員能夠很熟練的使用雲服務。好比，在高德MySQL數據庫轉阿里雲RDS的過程當中，遇到了數據遷雲的問題——數據格式、寫的方式、導出/導入方式，最後利用阿里雲強大的RDS直接經過中轉區搭建了DTS系統，實現了跨網數據庫遷移的無縫切換和數據一致性。另外，阿里雲技術專家毛一鳴也介紹稱，高德也用到了阿里自研的DRC產品（Data Replication Center)，支持異構數據庫實時同步，數據記錄變動訂閱服務，爲跨域實時同步、實時增量分發、異地雙活、分佈式數據庫等場景提供解決方案。

在遷到雲上以後，高德地圖的應用服務可用性上升到99.99%，比以前的7個小機房提供的服務可用性提高了5倍。另外，從之前的每次大型活動系統常崩潰，到國慶出行高峯的運維人員淡定、系統穩若磐石，充分體現了阿里雲計算的穩定性。再者，之前高德的新應用上線和擴容，至少得提早2個月開始採購服務器、上架、裝機、人肉擴容、發佈，上阿里雲以後，彈性擴縮容基本上在20分鐘內就完成，新應用上線10到20分鐘內就能夠完成資源申請到應用發佈上線。

現在，高德全部核心業務系統已經所有放在雲上，由阿里雲提供計算服務。在具體的運維人員事情方面，他們不用再運維基礎設施——IDC、網絡、服務器等；各類數據庫、緩存、負載均衡、發佈工具都不用本身去維護，使用阿里雲的服務便可；異地容災只須要申請不一樣地域的雲服務就行了，不須要本身去建設機房。安全面方面，阿里雲提供了不少服務，好比防攻擊（DDos）、流量清洗、防病毒、防欺詐、代碼掃描等；毛一鳴總結阿里云爲高德提供的服務大概有這幾方面，首先是IaaS （Infrastructure-as-a-Service，基礎設施即服務）：包含多地機房，網絡，巡檢等；其次是PaaS（Platform-as-a-Service，平臺即服務）：高德使用到的雲產品包含彈性計算ECS、雲數據庫RDS、對象存儲OSS、負載均衡、內容分發網絡（CDN）、大數據計算服務MaxCompute(原ODPS)等；最後是SaaS（Software-as-a-Service，軟件即服務）：高德自身的系統提供的服務（如上圖所示）。

總體來講，對於高德運維變化最大的就是運維模式的變化，從原來的IDC到網絡到數據庫等基礎服務都要本身維護，變化爲使用阿里雲的各類雲服務，運維人員能夠專一於架構、故障、性能等核心能力上，員工的成就感獲得了很大的提高，同時運維人員從原先的45個降到16個。也就是說，全面雲化後，是運維核心價值的轉變和變革。

最後，曾偉也介紹說，高德除了常規導航服務，在上雲後，利用阿里雲「數加」平臺強大的計算處理能力，好比阿里雲的大數據計算服務MaxCompute(原ODPS)、流計算StreamCompute等服務，高德能夠作出行線路選擇、擁堵大數據、躲避擁堵、城市熱點分佈、景區推薦、商圈熱度，主要是根據用戶的定位數據，進行實時的數據挖掘，從而跑出預測模型，實時獲得現對用戶有用的結果。

若是預測某天下午四點的路況，就是先拿到歷史數據，天天訓練作一個離線的歷史迴歸、預測模型，再加上當天的出行、天氣、節假日、突發狀況等實時信息，再對線上模型進行調整優化，從而達到最優的預測。而在面對將來的智能交通和車聯網，高德基於車聯網推出了AMAP AUTO車機版本，解決了傳統車載系統的數據更新慢、用戶體驗差、實時路況缺失、不夠智能化的問題，長期來講無人駕駛也是一個很是重要的方向，但在車聯網的背後，也是高德充分利用了雲計算大數據的能力。
掃碼獲取更多資訊：