雲計算技術的產生、概念、原理和前景

        2006年穀歌推出了「Google 101計劃」，並正式提出「雲」的概念和理論。隨後亞馬遜、微軟、惠普、雅虎、英特爾、IBM等公司都宣佈了本身的「雲計劃」，雲安全、雲存儲、內部雲、外部雲、公共雲、私有云……一堆讓人眼花繚亂的概念在不斷衝擊人們的神經。那麼到底什麼是雲計算技術呢？對雲計算技術的產生、概念、原理、應用和前景又在哪裏？ 

　　1、雲計算思想的產生

　　傳統模式下，企業創建一套IT系統不只僅須要購買硬件等基礎設施，還有買軟件的許可證，須要專門的人員維護。當企業的規模擴大時還要繼續升級各類軟硬件設施以知足須要。對於企業來講，計算機等硬件和軟件自己並不是他們真正須要的，它們僅僅是完成工做、提供效率的工具而已。對我的來講，咱們想正常使用電腦須要安裝許多軟件，而許多軟件是收費的，對不常用該軟件的用戶來講購買是很是不划算的。可不能夠有這樣的服務，可以提供咱們須要的全部軟件供咱們租用？這樣咱們只須要在用時付少許「租金」便可「租用」到這些軟件服務，爲咱們節省許多購買軟硬件的資金。

　　咱們天天都要用電，但咱們不是每家自備發電機，它由電廠集中提供；咱們天天都要用自來水，但咱們不是每家都有井，它由自來水廠集中提供。這種模式極大得節約了資源，方便了咱們的生活。面對計算機給咱們帶來的困擾，咱們可不能夠像使用水和電同樣使用計算機資源？這些想法最終致使了雲計算的產生。

　　雲計算的最終目標是將計算、服務和應用做爲一種公共設施提供給公衆，令人們可以像使用水、電、煤氣和電話那樣使用計算機資源。

　　雲計算模式即爲電廠集中供電模式。在雲計算模式下，用戶的計算機會變的十分簡單，或許不大的內存、不須要硬盤和各類應用軟件，就能夠知足咱們的需求，由於用戶的計算機除了經過瀏覽器給「雲」發送指令和接受數據外基本上什麼都不用作即可以使用雲服務提供商的計算資源、存儲空間和各類應用軟件。這就像鏈接「顯示器」 和「主機」的電線無限長，從而能夠把顯示器放在使用者的面前，而主機放在遠到甚至計算機使用者本人也不知道的地方。雲計算把鏈接「顯示器」和「主機」的電線變成了網絡，把「主機」變成雲服務提供商的服務器集羣。

　　在雲計算環境下，用戶的使用觀念也會發生完全的變化：從「購買產品」到「購買服務」轉變，由於他們直接面對的將再也不是複雜的硬件和軟件，而是最終的服務。用戶不須要擁有看得見、摸得着的硬件設施，也不須要爲機房支付設備供電、空調製冷、專人維護等等費用，而且不須要等待漫長的供貨週期、項目實施等冗長的時間，只須要把錢匯給雲計算服務提供商，咱們將會立刻獲得須要的服務。

　　2、雲計算的概念

　　雲計算（Cloud Computing）是由分佈式計算（Distributed Computing）、並行處理（Parallel Computing）、網格計算（Grid Computing）發展來的，是一種新興的商業計算模型。目前，對於雲計算的認識在不斷的發展變化，雲計算沒仍沒有廣泛一致的定義。

　　中國網格計算、雲計算專家劉鵬給出以下定義 ：「雲計算將計算任務分佈在大量計算機構成的資源池上，使各類應用系統可以根據須要獲取計算力、存儲空間和各類軟件服務」。

　　狹義的雲計算指的是廠商經過分佈式計算和虛擬化技術搭建數據中心或超級計算機，以避免費或按需租用方式向技術開發者或者企業客戶提供數據存儲、分析以及科學計算等服務，好比亞馬遜數據倉庫出租生意。

　　廣義的雲計算指廠商經過創建網絡服務器集羣，向各類不一樣類型客戶提供在線軟件服務、硬件租借、數據存儲、計算分析等不一樣類型的服務。廣義的雲計算包括了更多的廠商和服務類型，例如國內用友、金蝶等管理軟件廠商推出的在線財務軟件，谷歌發佈的Google應用程序套裝等。

　　通俗的理解是，雲計算的「雲「就是存在於互聯網上的服務器集羣上的資源，它包括硬件資源（服務器、存儲器、CPU等）和軟件資源（如應用軟件、集成開發環境等），本地計算機只須要經過互聯網發送一個需求信息，遠端就會有成千上萬的計算機爲你提供須要的資源並將結果返回到本地計算機，這樣，本地計算機幾乎不須要作什麼，全部的處理都在雲計算提供商所提供的計算機羣來完成。

　　3、雲計算的主要服務形式和典型應用

　　雲計算還處於萌芽階段，有龐雜的各種廠商在開發不一樣的雲計算服務。雲計算的表現形式多種多樣，簡單的雲計算在人們平常網絡應用中隨處可見，好比騰訊QQ空間提供的在線製做Flash圖片，Google的搜索服務，Google Doc, Google Apps等。目前，雲計算的主要服務形式有：SaaS(Software as a Service)， PaaS(Platform as a Service)， IaaS(Infrastructure as a Service)。

　　(1)軟件即服務(SaaS)

　　SaaS服務提供商將應用軟件統一部署在本身的服務器上，用戶根據需求經過互聯網向廠商訂購應用軟件服務，服務提供商根據客戶所定軟件的數量、時間的長短等因素收費，而且經過瀏覽器向客戶提供軟件的模式。這種服務模式的優點是，由服務提供商維護和管理軟件、提供軟件運行的硬件設施，用戶只需擁有可以接入互聯網的終端，便可隨時隨地使用軟件。這種模式下，客戶再也不像傳統模式那樣花費大量資金在硬件、軟件、維護人員，只須要支出必定的租賃服務費用，經過互聯網就能夠享受到相應的硬件、軟件和維護服務，這是網絡應用最具效益的營運模式。對於小型企業來講，SaaS是採用先進技術的最好途徑。

　　以企業管理軟件來講，SaaS模式的雲計算ERP可讓客戶根據併發用戶數量、所用功能多少、數據存儲容量、使用時間長短等因素不一樣組合按需支付服務費用，既不用支付軟件許可費用，也不須要支付採購服務器等硬件設備費用，也不須要支付購買操做系統、數據庫等平臺軟件費用，也不用承擔軟件項目定製、開發、實施費用，也不須要承擔IT維護部門開支費用，實際上雲計算ERP正是繼承了開源ERP免許可費用只收服務費用的最重要特徵，是突出了服務的ERP產品。

　　目前，Salesforce.com是提供這類服務最有名的公司，Google Doc, Google Apps和Zoho Office也屬於這類服務。

　　(2)平臺即服務(PaaS)

　　把開發環境做爲一種服務來提供。這是一種分佈式平臺服務，廠商提供開發環境、服務器平臺、硬件資源等服務給客戶，用戶在其平臺基礎上定製開發本身的應用程序並經過其服務器和互聯網傳遞給其餘客戶。PaaS可以給企業或我的提供研發的中間件平臺，提供應用程序開發、數據庫、應用服務器、試驗、託管及應用服務。

　　Google App Engine, Salesforce的force.com平臺，八百客的800APP是PaaS的表明產品。以Google App Engine爲例，它是一個由python應用服務器羣、BigTable數據庫及GFS組成的平臺，爲開發者提供一體化主機服務器及可自動升級的在線應用服務。用戶編寫應用程序並在Google的基礎架構上運行就能夠爲互聯網用戶提供服務，Google提供應用運行及維護所須要的平臺資源。

　　(3)基礎設施服務(IaaS)

　　IaaS即把廠商的由多臺服務器組成的「雲端」基礎設施，做爲計量服務提供給客戶。它將內存、I/O設備、存儲和計算能力整合成一個虛擬的資源池爲整個業界提供所須要的存儲資源和虛擬化服務器等服務。這是一種託管型硬件方式，用戶付費使用廠商的硬件設施。例如Amazon Web服務（AWS）， IBM的BlueCloud等均是將基礎設施做爲服務出租。

　　IaaS的優勢是用戶只需低成本硬件，按需租用相應計算能力和存儲能力，大大下降了用戶在硬件上的開銷。

　　目前，以Google雲應用最具表明性，例如GoogleDocs、GoogleApps、Googlesites，雲計算應用平臺GoogleApp Engine。

　　GoogleDocs是最先推出的雲計算應用，是軟件即服務思想的典型應用。它是相似於微軟的Office的在線辦公軟件。它能夠處理和搜索文檔、表格、幻燈片，並能夠經過網絡和他人分享並設置共享權限。Google文件是基於網絡的文字處理和電子表格程序，可提升協做效率，多名用戶可同時在線更改文件，並能夠實時看到其餘成員所做的編輯。用戶只需一臺接入互聯網的計算機和可使用Google文件的標準瀏覽器便可在線建立和管理、實時協做、權限管理、共享、搜索能力、修訂歷史記錄功能，以及隨時隨地訪問的特性，大大提升了文件操做的共享和協同能力。

　　GoogleAPPs是Google企業應用套件，使用戶可以處理日漸龐大的信息量，隨時隨地保持聯繫，並可與其餘同事、客戶和合做夥伴進行溝通、共享和協做。它集成了Cmail、GoogleTalk、Google日曆、GoogleDocs、以及最新推出的雲應用GoogleSites、API擴展以及一些管理功能，包含了通訊、協做與發佈、管理服務三方面的應用，而且擁有着雲計算的特性，可以更好的實現隨時隨地協同共享。另外，它還具備低成本的優點和託管的便捷，用戶無需本身維護和管理搭建的協同共享平臺。

　　Googlesites是Google最新發布的雲計算應用，做爲GoogleApps的一個組件出現。它是一個側重於團隊協做的網站編輯工具，可利用它建立一個各類類型的團隊網站，經過Googlesites可將全部類型的文件包括文檔、視頻、相片、日曆及附件等與好友、團隊或整個網絡分享。

　　Google AppEngine是Google在2008年4月發佈的一個平臺，使用戶能夠在Google的基礎架構上開發和部署運行本身的應用程序。目前，Google AppEngine支持Python語言和Java語言，每一個Google AppEngine應用程序可使用達到500MB的持久存儲空間及可支持每個月500萬綜合瀏覽量的帶寬和CPU。而且，Google AppEngine應用程序易於構建和維護，並可根據用戶的訪問量和數據存儲須要的增加輕鬆擴展。同時，用戶的應用能夠和Google的應用程序集成，Google AppEngine還推出了軟件開發套件(SDK)，包括能夠在用戶本地計算機上模擬全部Google AppEngine服務的網絡服務器應用程序。

　　4、雲計算的核心技術

　　雲計算系統運用了許多技術，其中以編程模型、數據管理技術、數據存儲技術、虛擬化技術、雲計算平臺管理技術最爲關鍵。

　　(1)編程模型

　　MapReduce是Google開發的java、Python、C++編程模型，它是一種簡化的分佈式編程模型和高效的任務調度模型，用於大規模數據集（大於1TB）的並行運算。嚴格的編程模型使雲計算環境下的編程十分簡單。MapReduce模式的思想是將要執行的問題分解成Map(映射)和Reduce(化簡)的方式，先經過Map程序將數據切割成不相關的區塊，分配（調度）給大量計算機處理，達到分佈式運算的效果，再經過Reduce程序將結果彙整輸出。 

　　(2) 海量數據分佈存儲技術

　　雲計算系統由大量服務器組成，同時爲大量用戶服務，所以雲計算系統採用分佈式存儲的方式存儲數據，用冗餘存儲的方式保證數據的可靠性。雲計算系統中普遍使用的數據存儲系統是Google的GFS和Hadoop團隊開發的GFS的開源實現HDFS。

　　GFS即Google文件系統（Google File System），是一個可擴展的分佈式文件系統，用於大型的、分佈式的、對大量數據進行訪問的應用。GFS的設計思想不一樣於傳統的文件系統，是針對大規模數據處理和Google應用特性而設計的。它運行於廉價的普通硬件上，但能夠提供容錯功能。它能夠給大量的用戶提供整體性能較高的服務。

　　一個GFS集羣由一個主服務器（master）和大量的塊服務器(chunkserver)構成，並被許多客戶（Client）訪問。主服務器存儲文件系統因此的元數據，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當前位置。它也控制系統範圍的活動，如塊租約（lease）管理，孤兒塊的垃圾收集，塊服務器間的塊遷移。主服務器按期經過HeartBeat消息與每個塊服務器通訊，給塊服務器傳遞指令並收集它的狀態。GFS中的文件被切分爲64MB的塊並以冗餘存儲，每份數據在系統中保存3個以上備份。

　　客戶與主服務器的交換隻限於對元數據的操做，全部數據方面的通訊都直接和塊服務器聯繫，這大大提升了系統的效率，防止主服務器負載太重。

　　(3) 海量數據管理技術

　　雲計算須要對分佈的、海量的數據進行處理、分析，所以，數據管理技術必需可以高效的管理大量的數據。雲計算系統中的數據管理技術主要是Google的BT(BigTable)數據管理技術和Hadoop團隊開發的開源數據管理模塊HBase。

　　BT是創建在GFS, Scheduler, Lock Service和MapReduce之上的一個大型的分佈式數據庫，與傳統的關係數據庫不一樣，它把全部數據都做爲對象來處理，造成一個巨大的表格，用來分佈存儲大規模結構化數據。

　　Google的不少項目使用BT來存儲數據，包括網頁查詢，Google earth和Google金融。這些應用程序對BT的要求各不相同：數據大小（從URL到網頁到衛星圖象）不一樣，反應速度不一樣（從後端的大批處理到實時數據服務）。對於不一樣的要求，BT都成功的提供了靈活高效的服務。

　　（4）虛擬化技術

　　經過虛擬化技術可實現軟件應用與底層硬件相隔離，它包括將單個資源劃分紅多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術根據對象可分紅存儲虛擬化、計算虛擬化、網絡虛擬化等，計算虛擬化又分爲系統級虛擬化、應用級虛擬化和桌面虛擬化。

　　（5）雲計算平臺管理技術

　　雲計算資源規模龐大，服務器數量衆多並分佈在不一樣的地點，同時運行着數百種應用，如何有效的管理這些服務器，保證整個系統提供不間斷的服務是巨大的挑戰。

　　雲計算系統的平臺管理技術可以使大量的服務器協同工做，方便的進行業務部署和開通，快速發現和恢復系統故障，經過自動化、智能化的手段實現大規模系統的可靠運營。

　　5、典型雲計算平臺介紹

　　因爲雲計算技術範圍很廣，目前各大IT企業提供的雲計算服務主要根據自身的特色和優點實現的。下面以Google、IBM、Amazon爲例說明：

　　（1）Google 的雲計算平臺

　　Google的硬件條件優點，大型的數據中心、搜索引擎的支柱應用，促進Google雲計算迅速發展。Google的雲計算主要由MapReduce、Google文件系統(GFS)、BigTable組成。它們是Google內部雲計算基礎平臺的3個主要部分。Google 還構建其餘雲計算組件，包括一個領域描述語言以及分佈式鎖服務機制等。Sawzall是一種創建在MapReduce基礎上的領域語言，專門用於大規模的信息處理。Chubby是一個高可用、分佈式數據鎖服務，當有機器失效時，Chubby使用Paxos算法來保證備份。

　　（2）IBM「藍雲」計算平臺

　　「藍雲」解決方案是由IBM雲計算中心開發的企業級雲計算解決方案。該解決方案能夠對企業現有的基礎架構進行整合，經過虛擬化技術和自動化技術，構建企業本身擁有的雲計算中心，實現企業硬件資源和軟件資源的統一管理、統一分配、統一部署、統一監控和統一備份，打破應用對資源的獨佔，從而幫助企業實現雲計算理念。

　　IBM 的「藍雲」計算平臺是一套軟、硬件平臺，將Internet上使用的技術擴展到企業平臺上，使得數據中心使用相似於互聯網的計算環境。「藍雲」大量使用了IBM先進的大規模計算技術，結合了IBM自身的軟、硬件系統以及服務技術，支持開放標準與開放源代碼軟件。

　　「藍雲」基於IBM Almaden研究中心的雲基礎架構，採用了Xen和PowerVM虛擬化軟件，Linux操做系統映像以及Hadoop軟件(Google File System以及MapReduce的開源實現)。IBM已經正式推出了基於x86芯片服務器系統的「藍雲」產品。下圖爲IBM 「藍雲」的架構：

　　由圖可知，「藍雲」計算平臺由一個數據中心、IBM Tivoli部署管理軟件(Tivoli provisioning manager)、IBM Tivoli監控軟件(IBM Tivoli monitoring)、IBM WebSphere應用服務器、IBM DB2數據庫以及一些開源信息處理軟件和開源虛擬化軟件共同組成。「藍雲」的硬件平臺環境與通常的x86服務器集羣相似，使用刀片的方式增長了計算密度。「藍雲」軟件平臺的特色主要體如今虛擬機以及對於大規模數據處理軟件Apache Hadoop的使用上。

　　「藍雲」平臺的一個重要特色是虛擬化技術的使用。虛擬化的方式在「藍雲」中有兩個級別，一個是在硬件級別上實現虛擬化，另外一個是經過開源軟件實現虛擬化。硬件級別的虛擬化可使用IBM p系列的服務器，得到硬件的邏輯分區LPAR(logic partition)。邏輯分區的CPU資源可以經過IBM Enterprise Workload Manager來管理。經過這樣的方式加上在實際使用過程當中的資源分配策略，可以使相應的資源合理地分配到各個邏輯分區。p系列系統的邏輯分區最小粒度是1/10顆CPU。Xen則是軟件級別上的虛擬化，可以在Linux基礎上運行另一個操做系統。

　　虛擬機是一類特殊的軟件，可以徹底模擬硬件的執行，運行不經修改的完整的操做系統，保留了一整套運行環境語義。經過虛擬機的方式，在雲計算平臺上得到以下一些優勢 ：

　　1)雲計算的管理平臺可以動態地將計算平臺定位到所須要的物理節點上， 而無須中止運行在虛擬機平臺上的應用程序，進程遷移方法更加靈活；

　　2)下降集羣電能消耗，將多個負載不是很重的虛擬機計算節點合併到同一個物理節點上，從而可以關閉空閒的物理節點，達到節約電能的目的；

　　3)經過虛擬機在不一樣物理節點上的動態遷移，遷移了總體的虛擬運行環境，可以得到與應用無關的負載平衡性能；

　　4)在部署上也更加靈活，便可以將虛擬機直接部署到物理計算平臺上，而虛擬機自己就包括了相應的操做系統以及相應的應用軟件，直接將大量的虛擬機映像複製到對應的物理節點便可。

　　「藍雲」計算平臺中的存儲體系結構：「藍雲」計算平臺中的存儲體系結構對於雲計算來講也是很是重要的，不管是操做系統、服務程序仍是用戶的應用程序的數據都保存在存儲體系中。「藍雲」存儲體系結構包含相似於Google File System 的集羣文件系統以及基於塊設備方式的存儲區域網絡SAN。

　　在設計雲計算平臺的存儲體系結構時，能夠經過組合多個磁盤得到很大的磁盤容量。相對於磁盤的容量，在雲計算平臺的存儲中，磁盤數據的讀寫速度是一個更重要的問題，所以須要對多個磁盤進行同時讀寫。這種方式要求將數據分配到多個節點的多個磁盤當中。爲達到這一目的，存儲技術有兩個選擇，一個是使用相似於Google File System的集羣文件系統，另外一個是基於塊設備的存儲區域網絡SAN系統。

　　在藍雲計算平臺上，SAN 系統與分佈式文件系統(例如Google File System)並非相互對立的系統，SAN提供的是塊設備接口，須要在此基礎上構建文件系統，才能被上層應用程序所使用。而Google File System正好是一個分佈式的文件系統，可以創建在SAN之上。二者都能提供可靠性、可擴展性，至於如何使用還須要由創建在雲計算平臺上的應用程序來決定，這也體現了計算平臺與上層應用相互協做的關係。

　　（3）Amazon的彈性計算雲

　　Amazon是互聯網上最大的在線零售商，爲了應付交易高峯，不得不購買了大量的服務器。而在大多數時間，大部分服務器閒置，形成了很大的浪費，爲了合理利用空閒服務器，Amazon創建了本身的雲計算平臺彈性計算雲EC2（elastic compute cloud），而且是第一家將基礎設施做爲服務出售的公司。

　　Amazon將本身的彈性計算雲創建在公司內部的大規模集羣計算的平臺上，而用戶能夠經過彈性計算雲的網絡界面去操做在雲計算平臺上運行的各個實例(instance)。用戶使用實例的付費方式由用戶的使用情況決定，即用戶只需爲本身所使用的計算平臺實例付費，運行結束後計費也隨之結束。這裏所說的實例便是由用戶控制的完整的虛擬機運行實例。經過這種方式，用戶沒必要本身去創建雲計算平臺，節省了設備與維護費用。

　　上圖爲EC2系統的使用模式。從圖中能夠看出，彈性計算雲用戶使用客戶端經過SOAP over HTTPS協議與Amazon彈性計算雲內部的實例進行交互。這樣，彈性計算雲平臺爲用戶或者開發人員提供了一個虛擬的集羣環境，在用戶具備充分靈活性的同時，也減輕了雲計算平臺擁有者(Amazon公司)的管理負擔。彈性計算雲中的每個實例表明一個運行中的虛擬機。用戶對本身的虛擬機具備完整的訪問權限，包括針對此虛擬機操做系統的管理員權限。虛擬機的收費也是根據虛擬機的能力進行費用計算的，實際上，用戶租用的是虛擬的計算能力。

　　總而言之，Amazon經過提供彈性計算雲，知足了小規模軟件開發人員對集羣系統的需求，減少了維護負擔。其收費方式相對簡單明瞭：用戶使用多少資源，只需爲這一部分資源付費便可。

　　爲了彈性計算雲的進一步發展，Amazon規劃瞭如何在雲計算平臺基礎上幫助用戶開發網絡化的應用程序。除了網絡零售業務之外，雲計算也是Amazon公司的核心價值所在。Amazon未來會在彈性計算雲的平臺基礎上添加更多的網絡服務組件模塊，爲用戶構建雲計算應用提供方便。

　　6、雲計算技術發展面臨的主要問題

　　儘管雲計算模式具備許多優勢，可是也存在的一些問題，如數據隱私問題、安全問題、軟件許可證問題、網絡傳輸問題等。

　　· 數據隱私問題：如何保證存放在雲服務提供商的數據隱私，不被非法利用，不只須要技術的改進，也須要法律的進一步完善。

　　· 數據安全性：有些數據是企業的商業機密，數據的安全性關係到企業的生存和發展。雲計算數據的安全性問題解決不了會影響雲計算在企業中的應用。

　　· 用戶使用習慣：如何改變用戶的使用習慣，使用戶適應網絡化的軟硬件應用是長期而艱鉅的挑戰。

　　· 網絡傳輸問題：雲計算服務依賴網絡，目前網速低且不穩定，使雲應用的性能不高。雲計算的普及依賴網絡技術的發展。