談談我作的雲計算項目

    這些年，作了很多分佈計算、並行計算、大數據處理的項目，按照如今的稱呼這些都屬於雲計算範疇。今天說說我作過的其中三個項目，只三個。

    第一個是咱們接到的視頻分享網站的視頻轉碼的訂單，網站名字就不說了，有替人宣傳嫌疑。他們狀況是這樣，視頻網站的內容用MP4格式在網頁上播放，可是上傳的格式多種多樣，咱們必須把這些視頻統一轉換成MP4格式，視頻轉碼的工做想必你們都在本身的電腦上試過，一般一個100M左右的視頻轉碼須要20分鐘以上。爲了提升轉碼效率，讓用戶以接近實時獲得結果，必須在收完視頻後，當即將一個視頻拆分紅多個單元，分散到多臺計算機上進行轉碼，而後回收全部轉碼視頻，按照順序再次組合成一個新視頻。咱們這個團隊最先作流媒體起家的，工做沒什麼難度，輕車熟路，很快就完成了。只要機器足夠多，視頻差很少能夠以接近實時的狀態完成轉碼。後來又再一次改進，從用戶上傳視頻開始當即進行轉碼，收到一段轉碼一段，用戶的視頻上傳完畢，咱們的轉碼工做也完成，用戶能夠立刻看到本身上傳的轉碼後視頻，基本上是零延時，而且穩定性、效率都高於對方提出的要求。作完這個，對方老闆很滿意，接着又給了一個CDN的項目。如今咱們仍保持着合做的關係。

    第二個有點玄乎，項目能夠寫一篇論文，題目是《關於空中移動目標運行軌跡和落點的問題》。這個項目是XXX發下來的，實質就是炮彈打導彈，大概是想看看能不能打着，論證技術可行性。當時人還在科研單位，由於研究領域和空氣動力學絕不相關，因此這方面的知識基本屬於文盲，知道的也就是那麼幾個有限的名詞和數學公式，可是這正好符合XXX的要求，不須要咱們懂這些高深的理論，他們派人和咱們合做這個項目。咱們的工做就是把不少傳感器（XXX人說的，我想這東西應該是雷達）接收的數據，包括當前多少千米範圍內的空氣的風速、風向、地表的曲面率，還有其它一些指標在收集後（這些瞬間的三維數據量很是大），分散到一大堆計算機上去執行（咱們準備了100個節點），而且要很快計算出結果（必須比空中那個運動的目標快）。這個項目花了很長時間，主要是與合做方的溝通改進，而後是再溝通再改進，循環往復，周而復始。後來終於完成了，聽說作了試驗，可行性很高，上面領導很滿意，還擺了慶功酒。反正我沒見着也沒喝着。其實他們怎麼計算的，我到最後也沒有搞明白，問過一次，說是祕密。

    第三個和兩桶油有關。他們要經過採集頁岩中的油氣樣本，分析某個地區地下有沒有油氣資源，是否是具備開採價值。這套程序本來已是有的，艾克森.美孚石油公司開發的，跑在CARY-1向量機上。可是那套機器是上世紀八十年代初的超級計算機，已經趕不上時代要求，而且有些數據分析理論已通過時，須要調整。兩桶油不滿意的關鍵仍是速度太慢，一次計算常常幾天才能出結果。這一次又是合做，兩桶油出採油的技術專家，咱們出並行計算的碼農，前先後後合做弄了大半年，算是完成了。此次咱們用了新的並行算法。和上次炮彈打導彈同樣，整個項目靜悄悄開始，靜悄悄結束，後面是否是發現新的油氣田就不知道了。