方興未艾的雲計算：SoCC 2015大會

時間 2019-12-09

原文原文鏈接

ACM 雲計算研討會（ACM Symposium on Cloud Computing，如下簡稱SoCC）是由SIGMOD（Special Interest Group on Management of Data，數據管理專業組）和SIGOPS（Special Interest Group on Operating Systems操做系統專業組）共同舉辦的旨在討論雲計算相關領域研究的學術會議。雲計算本就是一個新興領域，而SoCC也是一個年輕的會議，雖然至今只舉辦了6屆，可是已經發展成爲雲計算領域的頂級會議。在雲計算的學術界研究和工業界應用不斷升溫的今天， SoCC討論的問題既包括學術界的科研前沿，也包括工業界的生產實踐，所以SoCC大會也受到愈來愈多的關注。今年的SoCC來到了美國夏威夷，這個以火山聞名於世的大島。html

跟SOSP（ACM Symposium on Operating Systems Principles）和OSDI（OperatingSystems Design and Implementation）這樣的系統領域盛會不一樣，SoCC至今還是一個「小而精」的會議，本屆SoCC僅有三十幾篇論文和約130位參會者。這其中有62個參會者是學生，會議資助的學生有35個，超過半數，這都給這些雲計算領域研究的先鋒者們提供了更多相互交流的機會。值得一提的是，在會議的次日，主辦委員會還安排了一次Student/MentorLuncheon，一個研究員和4個學生坐在同一張桌上吃飯，讓學生們能夠和這些學術圈大牛們近距離搭訕，討論一些除了大會paper以外的的學術以及人生問題。算法

腦力激盪的特邀報告

本屆SoCC大會共設有2個特邀報告（KeynoteTalks）。一個是MIT的Sam Madden的Interactive Data Analytics: the New Frontier。在數據爆炸的大數據時代，最大的挑戰莫過於作到理解大規模數據，而交互式分析的技術則是其中的關鍵，報告介紹了MapD，SeeDB，Scorpion三個系統。MapD是一個採用GPU做爲查詢處理器的SQL數據庫，提供了毫秒級的快速查詢相應；SeeDB採用交互式方法爲用戶推薦可視化數據展現效果；Scorption經過分析用戶的查詢和對應的數據找出其中的異常值（Outlier）從而幫助發現緣由所在。這三個系統從數據處理，可視化，異常緣由挖掘等方面給出了交互式環境下的解決方案。數據庫

另外一個特邀報告來自Google負責基礎架構方向的VP，Eric Brewer，也是著名的CAP理論的提出者。他此次的報告主要是關於Kubernetes，即Google使用多年的大規模容器（Container）管理技術。他的報告糾正了現下對於容器使用的誤解，指出容器不該該是雲端應用的邊界，而應該被認爲是雲端環境裏新的「類」（Class）。在Kubernetes下，Google採用Pods進行容器的組合和協調調度，使得存在於容器中的雲端獨立的服務能夠更好的組合、封裝，而且各自獨立的擴展和升級。容器技術不斷地走向成熟，大大簡化了雲部署的難度，從而能夠方便的爲雲計算用戶提供隔離的、高性能的、易擴展和維護的雲端應用部署方法，這使得雲計算更加「接地氣」。編程

潛力無限的最佳論文

此次會議收錄的34篇論文的涵蓋範圍很廣，既有研究存儲、網絡、數據庫、性能測試等經典的數據庫和系統研究方向的工做，也有任務調度、彈性擴容、遷移等隨雲計算和數據中心的發展持續火爆的研究課題，還有采用新硬件架構的系統或者跨領域研究等另闢蹊徑、別具一格的文章。服務器

在這其中，有兩篇文章摘得了此次大會的Best Paper Award（最佳論文獎）。其中之一是來自CMU的Managed Communication and Consistency for Fast Data-Parallel Iterative Analytics，針對當前很是火爆的大規模分佈式機器學習領域進行了研究。目前機器學習在愈來愈多的領域獲得了普遍的應用，如何讓機器學習算法在分佈式環境下更好地並行成爲你們關注的焦點。這個分佈式系統採用參數服務器（Parameter Server）架構，經過提升影響算法收斂速度最顯著的參數在網絡傳輸時的優先級，達到了更高效利用帶寬的效果，是一個很好的機器學習和分佈式系統相結合的工做。實驗代表，對於MF、LDA、MLR這三個算法，分別在Netflix，NYTimes，ImageNet這三個數據集上，該系統均能取得了2到3倍的性能提高。微信

另一篇Best Paper是來自Waterloo大學的Database High Availability Using SHADOW Systems。熱備數據庫系統是數據庫領域研究的經典問題。這個工做充分利用可靠的分佈式底層存儲，使得提供服務的數據庫管理系統（Active DBMS）能夠採用writeoffloading技術，即只須要極少的磁盤IO來記錄日誌，將真正的持久化數據庫和checkpoint等磁盤IO較多的操做交由備份數據庫管理系統（Standby DBMS）完成，從而使得整個系統在提供高性能服務的同時仍然保持高可用性。網絡

可圈可點的微軟研究院成果

本屆大會上，微軟研究院繼續在雲計算這個重要的基礎設施研究領域大放異彩，一共有6篇Oral Paper，以及若干篇Poster被大會錄取，這些研究多圍繞微軟的數據中心、Azure雲平臺、Bing服務等展開。其中有2篇Paper是來自微軟亞洲研究院系統組的工做。架構

衆所周知，數據中心是雲計算技術的物理載體，而數據中心在提供穩定、可靠、高性能服務的同時，也是名副其實的用電大戶。如何儘量的爲數據中心節約能源成爲了當下重要的研究課題。此次在SoCC上展現的，微軟亞洲研究院系統組的研究工做之一的DSwitch，就是針對這個問題的新穎工做。在傳統計算機架構中，磁盤是安裝在主機上的，可是在數據中心不忙時，不少的機器會進入休眠狀態，以節約電源，可是這樣的話會致使磁盤上的數據沒法訪問。爲了解決這個問題，DSwitch設計了一個自動切換系統，可讓磁盤在主機鏈接和網絡鏈接間自由切換，從而在主機正常使用場景下保持磁盤訪問的高性能，在主機休眠時保持磁盤數據的可訪問性。採用這個系統，能夠在節電模式下節約91.9%to 97.5%的用電量，與此同時繼續保持磁盤的可訪問。機器學習

另一篇論文GraM: Scaling Graph Computation to the Trillions就是咱們團隊的工做了。在大數據時代下，現實生活中的圖愈來愈多，好比說Facebook，高達10億量級的用戶，用戶之間的好友關係就能夠構建成很大的圖，在這樣大規模的圖上作計算能夠發現不少的信息，好比說PageRank相似的算法就能夠挖掘這裏面的人的影響力，進而研究信息傳播速度、廣告投放效果等現實問題。固然，這只是個例子，除此以外的不少問題也均可以抽象成爲圖的表達形式，進而把相應的算法用圖計算算法來表達。GraM是一個通用高效可擴展的圖計算引擎，提供以圖節點爲中心（vertex-centric）的編程接口，從而支持多種圖計算算法。它充分利用了當前服務器多核的架構，以及數據中心中即將普遍應用的支持遠程內存直接訪問（RDMA）的網絡，使其既能夠在單機多核的服務器上縱向擴展也能夠在分佈式環境下實現多機的橫向擴展。相比於現有的圖計算引擎，GraM更是帶來高達一到兩個數量級以上的速度提高。實驗測試中，咱們在64臺機器上僅僅花了140秒就完成了對於1.2 兆（trillion）條邊的圖的一次PageRank迭代，這是迄今已知最大的圖上最快的計算速度，能夠說是圖計算引擎研究領域新的一個里程碑。分佈式

爲期三天的SoCC 2015大會，給參會者提供了一個充分地展現和交流研究成果的機會。現在雲計算的理念漸漸深刻人心，雲計算的將來更是大有可爲。在這樣一個蓬勃發展的現實背景下，我相信如今學術界的研究會和工業界的實踐相互啓發、相互印證；在將來，真正將雲變成互聯網領域的基礎架構，從而改變整個互聯網的應用環境。

做者簡介

我叫肖文聰，是微軟亞洲研究院的一名實習生，本科畢業於北京航空航天大學。我從本科大三暑期開始經過微軟創新人才學院（Pre-PhD）項目來MSRA系統組實習，至今已有整整兩年，目前是北京航空航天大學和微軟亞洲研究院聯合培養博士生，導師是北航的李未院士和微軟研究院的周禮棟首席研究員。個人研究領域爲分佈式系統，研究方向是大規模分佈式圖計算和機器學習系統。

微軟亞洲研究院的實習，讓我以爲天天都特別的充實。從最開始的接觸實際生產環境中的大規模分佈式系統，研究架構分析性能，到現在親手搭建系統，設計實驗去驗證本身的想法，這些都是不斷的自我挑戰和突破極限。在縱向的科研方向以外，研究院衆多的講座也使得我得已橫向地拓寬本身的眼界，去了解其餘研究領域，相互去借鑑和啓發。在研究院的實習還讓我認識了不少志趣相投的小夥伴，你們用青春的努力和汗水共同構成了咱們豐富多彩的實習生活~

瞭解微軟亞洲研究院實習生項目，歡迎關注「明日之星」實習生項目介紹。更多實習機會請見： http://www.msra.cn/zh-cn/jobs/interns/internopenings.aspx

或者拿起手機掃描二維碼：