伴隨消費新理念的不斷升級和技術創新發展,零售業逐漸被推到風口浪尖,對此京東曾表示,推進「無界零售」時代的到來理念,倡導實現成本、效率、體驗的升級纔是終極目標。算法
此概念一出,零售行業的側重點開始由銷售端向技術端傾斜,趁着一年一度618來臨之際,京東雲特別在上海舉辦了主題爲"從高併發架構到企業級區塊鏈,探索無界零售的數字化創新"的技術沙龍活動。數據庫
本次活動以京東雲在零售業以及社交電商方面的核心技術以及成功解決方案爲出發點,例如探求大促高併發流量數據庫保障經驗、社交電商的創新思路以及技術架構等細節,並結合京東雲在零售領域的諸多落地實踐,詳解無界零售數字化創新的方方面面,並與在場的開發者們展開深刻探討。小程序
*從高併發架構到企業級區塊鏈
— 探索無界零售的數字化創新—*微信小程序
01郭理靖
京東數據庫服務如何應對「大促活動」安全
衆所周知,京東商城流量業務多。不少業務在研發設計初期並不想選用太多種類的數據庫,由於並不知道着手的業務規模大小,因此在開始使用MySQL有時候會把日誌和大數據字段也寫入數據庫,隨着數據積累量增多,用戶規模擴大,將來會涉及數據切換的問題。服務器
——郭理靖 京東雲產品研發部高級總監
一直以來每逢大促,與剁手黨們共同忙活到「天荒地老」的當屬各大電商網站了。爲了及時釋放各種商品的「殺豬價格」,積極鼓勵用戶參與琳琅滿目的搶購與秒殺環節,電商們可真是十八般武藝樣樣精通。微信
此時一門心思「買買買」的你能否想到,面對瞬間爆發的訪問壓力以及海量的交易數據,TA們如何作到「臨高不亂」場景呢?很顯然,位於底層架構的數據庫實在功不可沒。對此京東雲產品研發部高級總監郭理靖現場帶來了「京東數據庫服務如何應對「大促活動」的技術分享。網絡
做爲在數據庫領域有豐富經驗的技術專家,郭理靖分別從京東商城如何運做618的大促實踐以及京東雲怎樣支撐商城以及商城ISV等共同應對高流量大促等角度入手詳細加以闡明。架構
對於一些複雜離線的查詢,能夠遷移到Elasticsearch或者Hadoop,經過定義一些結轉策略,把數據庫的數據按期或者實時同步到Elasticsearch、Hadoop中去。併發
京東商城的訂單以及商品庫存量較大衆所共知。若是選擇在一個表單上讀寫幾十億的數據集,單機確定沒法承受這樣的工做量,要是選擇拆分爲64個表或者128個表單的話,再加上有工具支撐就能夠高效解決上述問題,京東內部的分佈式數據庫服務Jproxy就能派上用場。
關於智能分析,京東雲在助力電商的過程當中,很是重視SQL慢日誌分析以及容量分析,同時也對會運行狀態進行詳細的監控,好比鏈接數是否是一直在增加、IO壓力、CPU壓力等;也嘗試作一些故障自愈以及磁盤自動化清理等。
在」京東雲的服務實踐」方面,在雲端提供數據庫服務,例如MySQL、Percona、MariaDB、MongoDB、SQl Server等等。另外京東雲還在數據庫安全、審計、日誌等諸多方面提供了豐富的管理功能,也支持Binlog的自動備份和下載。
在監控方面,京東雲的嘗試也是比較細緻的,其中包括監控服務、報警服務等。值得說起的是,其中全部監控項均可以設置規則,好比能夠設置CPU及內存使用量超過70%,就進行短信報警。而全部的指標都是對接到雲監控系統。「若是用戶流量較大,須要進行讀寫分離的話,咱們也支持只讀實例建立,最大支持建立8個只讀實例,每一個只讀實例均可以分配一個獨立域名,能夠直接用域名進行訪問。」他補充道。
分享以後,開發者還針對Binlog格式的修改、分佈式分表的高可用性等問題展開了細緻探討。
02鄭永寬
企業級監控系統設計與實踐
結合運維知識庫,咱們能夠真正把故障和報警聯動起來,對於相關的報警,監控系統能夠自動調度對應的預案,從而達到系統的故障自愈。
——鄭永寬 京東雲產品研發部總監
有人說,作運維,若是從傳統部署到大規模自動化,對Coding的能力要求勢必愈來愈高;也有人說,不少IT企業走在「重研發輕運維」的老路上,現在雲計算大勢所趨確定要大改;還有人說,如今都聊場景化,高併發下的運維監控要到處「到位」,必須突破原有思惟模式……
監控是什麼?監控是運維的生命線。
監控解決什麼問題?遠遠不止發現問題,還需解決發現問題之後的定位,和定位後的止損。從而總體下降故障MTTR,即持續時間。畢竟針對京東這種體量的電商,是不容許長時間宕機的狀況發生的。鄭永寬總結道:不管是發現問題、定位問題仍是解決問題,瞭解系統狀態十分重要,都須要監控系統作及時的反饋。接下來鄭永寬談到了京東雲如何作好監控以及如何作好對應的監控系統的問題。
據瞭解,京東雲會針對每一個系統作專門的監控梳理,同時對各類異常準備相應的預案,來保證系統的高效運轉;首先咱們定義了一套統一的監控標準:即監控須要覆蓋基礎-存活-性能-業務四個層面,從而保證了採集數據的全面,進而避免監控遺漏。具體來講,基礎監控涵蓋了機器的基本指標,好比CPU、內存、硬盤等;存活監控則聚焦機器和服務進程的存活性;性能監控關注服務對外表現的性能指標,好比PV、平響、錯誤碼等;業務監控則是從用戶角度,監控系統是否提供正常服務。進一步,根據不一樣的報警,咱們能夠定位到相應的問題,再輔以對應的預案,從而確保了故障的第一時間定位與恢復。
對於監控系統的設計,鄭永寬則首先強調了系統設計要以監控業務需求爲基礎,同時要結合京東雲的實際狀況。鄭永寬接下來介紹了京東雲監控系統架構,進一步分析了數據抽象、監控數據採集、數據匯聚與計算、數據存儲與查詢、異常檢查、報警通路等監控系統設計中的關鍵問題,另外還分享了對日誌數據處理和挖掘的相關經驗。
據悉,將來京東雲還會着手配置化管理,同時作故障自動恢復。"結合運維知識庫,咱們能夠真正把故障和報警聯動起來,對於相關的報警,監控系統能夠自動調度對應的預案,從而達到系統的故障自愈。
03趙金勇
社交電商SaaS產品技術架構
不管是寶寶樹仍是小紅書的場景化社交,這種勢頭的興起是有目共睹的;如今的消費羣體更注重設計感及品牌的內在價值等,面對電商發展的四化,傳統電商羣體遇到了史無前例的瓶頸。
——趙金勇 京東雲應用研發部社交電商負責人
你瞭解社交電商嗎?
你知道微信小程序SAAS化嗎?
實力強大並有口皆碑的京東電商雲在社交電商領域究竟有哪些技術優點呢?
有關這些問題的答案,京東雲應用研發部社交電商負責人趙金勇表示,從整個電商發展來看能夠被總結爲「四化」,分別是去中心化、場景化、碎片化以及個性化。逐一說明,咱們發現流量成本愈來愈高,「帶領着」獲客成本、品牌商運營成本也一路居高不下,這恐怕就是品牌商本身不作運營選擇其餘途徑的緣由,正所謂「品牌形象宣傳去中心化」 就是這個道理。
「一樣,不管是寶寶樹仍是小紅書的場景化社交,這種勢頭的興起是有目共睹的;如今的消費羣體更注重設計感及品牌的內在價值等,面對電商發展的四化,傳統電商 羣體遇到了史無前例的瓶頸。」他補充道。
所謂社交電商,必然與」社交」關係密切,進而社交工具天然必不可少。除了憑藉五花八門的推送工具,京東雲社交電商還憑藉京東與生俱來的海量商品以及優點供應鏈屢獲成績。基於京東大數據營銷的能力,海量用戶的精準畫像以及商品推銷、智能選品等這些穩定可靠的基礎服務來打造系統。
據瞭解,京東社交電商分三端,分別是買家端、供應商端和PC端。將來社交電商的系統會接入到京東龐大的商品池,你們能夠在總體的商品池中挑選本身的產品,共同的良性生態就此構建。
04張做義
基於企業級區塊鏈框架系統JD Chain的技術實踐
京東區塊鏈品牌名叫京東智臻鏈,京東區塊鏈的架構體系分爲JD Chain和JD BaaS(Blockchain as a Service)兩部分。在今年發佈的《2019京東區塊鏈技術實踐白皮書》中,5大類、14個應用案例的信息都在列。
——張做義 京東數科區塊鏈產品創新負責人
一直以來,商品的防僞溯源被認爲是當今最有前景的區塊鏈落地領域之一,也被戲稱爲讓零售行業創新發展的「無上法寶」。
與傳統溯源比較而言,區塊鏈溯源究竟有怎樣的技術、產業優點?可以幫助解決零售業務中怎樣的痛點?現在還有哪些相關技術創新應用在傳統零售行業中?
對此京東數科區塊鏈產品創新負責人,區塊鏈聯合實驗室創新生態負責人張做義特別在現場聊了聊京東區塊鏈防僞追溯的實踐經驗。從京東區塊鏈技術與應用着手,詳細解析了京東區塊鏈技術的總體技術架構、演進過程以及在零售業落地的應用案例與寶貴經驗等內容。
從京東區塊鏈總體架構出發,張做義介紹到,京東區塊鏈品牌名叫京東智臻鏈,京東區塊鏈的架構體系分爲JD Chain和JD BaaS(Blockchain as a Service)兩部分。JD Chain做爲核心引擎,在數據帳本、共識協議、密碼算法、存儲等方面引入新的研究成果和工程架構,解決處理性能、伸縮性、擴展性、安全性等基礎和關鍵的技術問題,創建創新性的技術架構和應用方案。JD BaaS是服務平臺,提供靈活易用和可伸縮的區塊鏈系統管理能力,無縫融合包括JD Chain、Fabric在內多種區塊鏈系統的部署管理,向企業級用戶提供公有云、私有云及混合雲環境快速部署能力,下降企業使用成本,加快應用落地。「在今年發佈的《2019京東區塊鏈技術實踐白皮書》中,5大類、14個應用案例的信息都在列。」他說。
據瞭解,京東自主知識產權的區塊鏈底層框架JD Chain於2019年3月正式宣佈開源,在「萬級交易處理、秒級交易確認、海量帳戶和交易、動態伸縮、帳戶存儲、多核並行、密碼算法」等方面符合經典區塊鏈對存儲、技術等定義及要求,同時還將Key Value結構用於現有的數據存儲中,極大地提升了處理效率,這也是JD Chain可以支持更高速度的緣由。
衆所周知,京東擅長零售、物流與數字科技領域,這同時也是京東區塊鏈主要服務的方向。例如參與廣州互聯網法院「網通法鏈「建設、區塊鏈增值稅專用發票試點、與宿遷的電子證照打通試點等,實際賦能數字存證、電子發票、電子證照等方面的諸多實際應用。
舉個例子來講,區塊鏈的數字存證。咱們參與了北京互聯網法院和廣州互聯網法院的區塊鏈項目,須要把使用司法服務的內容搭載一條司法聯盟鏈,主要能夠實現什麼做用?好比說簽署一個合同,去公證處公證是必要流程之一,若是有了這個聯盟鏈,全部的操做均可以在企業「朋友圈」實現,能夠被理解爲是數字簽名的技術,以此判斷合同簽署的合法性,同時簽完的合同會及時備份到這條聯盟鏈中,如此法院、公證處以及司法鑑定部門,還包括合同雙方的簽署人都及時獲知該信息。
此外,京東區塊鏈在防僞追溯方面作得最多,分享幾個數據來證實這點。例如已經受四五次大促考驗,用戶復購率、用戶轉化率明顯提升等,說明如今京東目標客羣對消費升級對這個品質的高度承認。
//////////
儘管京東雲針對零售場景的創新技術分享已暫時告一段落,但關於大促數據庫、智能運維、社交電商以及區塊鏈品質溯源等技術探討依舊在火熱進行中,敬請關注京東雲技術沙龍的後續活動。
關注微信公衆號"京東雲開發者社區"
回覆「PPT0526」獲取課程視頻&PPT。
轉載:請微信後臺回覆「轉載」
合做或投稿:jdclouddeveloper@jd.com
點擊"服務器與網絡監控服務"瞭解更多詳情