佰騰科技：專利大數據的雲上裂變之路

公司簡介

咱們江蘇佰騰科技有限公司是一家從事專利信息應用、專利諮詢服務的企業，是國內知名的知識產權服務公司，以佰騰網和專利巴巴爲網絡平臺，面向國內外用戶提供知識產權、科技創新總體解決方案。2014年起，咱們公司積極推動互聯網轉型，實施「互聯網+專利」計劃，開發了國內首家專利電商平臺—專利巴巴，經過專利巴巴項目的實施，使公司轉型爲知識產權領域內的互聯網公司，並採用B2B、O2O線上線下相結合的模式爲客戶提供全方位的、全流程的知識產權一體化服務。

業務痛點

• 急需大數據的處理能力。

  • 上百項數據維度的高效存儲和高效處理是咱們公司目前急需解決的問題。提高了大數據的處理能力，才能加快專利信息應用的步伐、知足客戶更多的需求。
  • 如今的數據維度比較多，處理環節很是多，須要實現數據處理流程的自動化編排。
• 數據平臺的可擴展問題。

  咱們公司的專利巴巴產品架構中幾十個組件都要維護，每有一個客戶需求都須要作組件，須要解決數據平臺的擴展性，以便快速支撐各類需求的應用。

解決方案

圖 1.專利巴巴業務架構

• 數據處理能力：

  • 使用MaxCompute平臺代替數據庫。咱們上雲以前的原始數據處理和數據維度分析都使用了數據庫集羣，如今將這兩部分放入了MaxCompute，大幅提高整個數據存儲和處理的效率。
  • 經過使用MaxCompute的任務平臺，來編排處理任務。數據都存在MaxCompute表裏，所以能夠定義MaxCompute函數，訪問表裏的內容，並進行相應處理。Shell任務對原始數據進行數據包拆解，拆包後把數據放到MaxCompute，而後經過SQL任務對數據維度進行拆解和分析，這時會用到定義的MaxCompute函數，最後還能夠調用一個Shell任務，對數據維度索引，供上層應用使用。

• 數據應用需求：

  • 平臺架構分層化設計。按照專利大數據的處理流程和職責明確作了設計，核心是數據維度數據庫。

    • 數據獲取層：負責從數據源拉取數據，檢驗數據的完整性。
    • 數據處理層：對原始數據進行數據維度的挖掘。
    • 數據應用層：對數據維度進行各種索引以便應用。
    • 數據服務層：負責對外提供統一的數據服務接口，保障服務質量。
    • 數據管控層：負責對整個數據平臺進行運行監控。

  • 數據維度規範化處理。

    咱們對於數據維度作了大量的規範性要求：

    • 爲每一個數據維度明確其應用目標。
    • 明確數據維度的數據樣式規範。
    • 明確數據維度的質量標準。

  • 數據維度規範化應用。

    • 引擎組件：各種引擎組件用不一樣的方式對數據維度進行編碼索引，並提供各類特性的數據應用功能。
    • 模型系統：對引擎組件的能力進行編排，實現可重用的數據分析能力，提升數據分析應用的複雜度。

上雲價值

• 數據的測算以前基於RDS的數據存儲，一個維度的數據處理須要2-3天，如今處理時間縮短到3-6個小時，整個性能提高很是之大；並且，在大量數據處理時，不少時候是處理到80%的時候纔會發現數據處理有問題，若處理時間過長，當發現問題時會一切從新開始，浪費的時間很是長。因此在這個場景下，MaxCompute的性能很是可靠。
• 上雲以後的大數據處理流程比以前的流程簡單不少。全部數據處理流程都實現了自動化編排，一鍵式處理就能夠徹底編排，很是高效。

相關產品

• 大數據計算服務 · MaxCompute

  MaxCompute（原ODPS）是一項大數據計算服務，它能提供快速、徹底託管的PB級數據倉庫解決方案，使您能夠經濟並高效的分析處理海量數據。

  更多關於阿里雲MaxCompute的介紹，參見MaxCompute產品詳情頁。

• 雲服務器ECS

  雲服務器（Elastic Compute Service，簡稱ECS）是阿里雲提供的性能卓越、穩定可靠、彈性擴展的IaaS（Infrastructure as a Service）級別雲計算服務。雲服務器ECS免去了您採購IT硬件的前期準備，讓您像使用水、電、自然氣等公共資源同樣便捷、高效地使用服務器，實現計算資源的即開即用和彈性伸縮。阿里雲ECS持續提供創新型服務器，解決多種業務需求，助力您的業務發展。

  更多關於雲服務器ECS的介紹，參見雲服務器ECS產品詳情頁。

• 雲數據庫RDS MySQL版

  MySQL 是全球最受歡迎的開源數據庫之一，做爲開源軟件組合 LAMP（Linux + Apache + MySQL + Perl/PHP/Python）中的重要一環，普遍應用於各種應用場景。

  更多關於雲數據庫RDS MySQL版的介紹，參見雲數據庫RDS MySQL版產品詳情頁。

• 數據傳輸服務DTS

  數據傳輸服務（Data Transmission Service） DTS支持關係型數據庫、NoSQL、大數據（OLAP）等數據源間的數據傳輸。它是一種集數據遷移、數據訂閱及數據實時同步於一體的數據傳輸服務。

  更多關於數據傳輸服務DTS的介紹，參見數據傳輸服務DTS產品詳情頁。

• 對象存儲OSS

  阿里雲對象存儲服務（Object Storage Service，簡稱 OSS），是阿里雲提供的海量、安全、低成本、高可靠的雲存儲服務。其數據設計持久性不低於 99.9999999999%（12 個 9），服務設計可用性（或業務連續性）不低於 99.995%。

  更多關於對象存儲OSS的介紹，參見對象存儲OSS產品詳情頁。