【真的很先進】阿里雲在2018-KVM Forum上分享的動態遷移實踐

信息來源：https://segmentfault.com/a/1190000017103830

【如文中所說：如何解決實際生產環境中碰見的現實問題，正受到業界愈來愈多的重視。

確實啊，一線雲計算大廠造成的技術壁壘，爲其將來的寡頭局面奠基了基礎。】

 

《Cloudatlas: Ways to Make Live Migration Easy and Expectable》

如何平衡熱遷移資源佔用與性能開銷，同時最小化熱遷移對客戶的業務影響，是全部公有云廠商都面臨的挑戰。

阿里雲創新性地利用機器學習的方法來預測熱遷移的代價以及虛擬機的負載，從而肯定一個合理的熱遷移的時機和策略，最終提高遷移成功率以及下降熱遷移對用戶的影響。

阿里雲虛擬化團隊設計了一個完備的系統來執行熱遷移任務的執行。

在演講中，提到了機器學習算法部分，阿里雲使用FFT來判斷是不是週期性負載VM，並對週期性負載VM算出週期而後進行預測，對於沒有明顯週期性負載的VM，團隊採用ARIMA和LSTM兩個時間序列模型來作迴歸預測，經過以上三種算法的結合能夠快速並準確地預測出95%以上VM在將來24小時的負載趨勢，從而找到一個最優的遷移時間。

本次演講涉及了大量的算法研究，現場聽衆對使用案例、方案原理、預測效果等很是細節的實現問題進行了進一步的提問。有一位行業專家現場說：這是真正在解決公有云廠商關心的問題。

【ppt下載】

 

 

《A Perfect Solution for Live Migration with Pass-through Devices》
演講者：阿里雲技術專家 徐權

該演講直擊了現有直通設備熱遷移的問題：即如何傳輸設備DMA的內存和如何保存和恢復設備的狀態。

演講深刻分析了現有的一些方法和存在的問題。好比Intel在82599網卡上，在虛擬機內部設備驅動引入self emulation layer，模擬設備DMA寫操做，和恢復保存設備狀態。

但因爲特定的設備驅動才能工做，並且設備自己設計的缺陷（寄存器只讀，在恢復中沒法100%恢復），並不能很好地解決問題。而若是重新的硬件和設備驅動的角度切入，在成本投入上是巨大的，並且增長了軟件的維護成本。

解決方案：

阿里雲擴展了virtio硬件的功能，如感知虛擬機熱遷移，提供設備bitmap記錄設備DMA訪問內存，以及設備全部的寄存器可以動態地保存和恢復，同時修改現有的熱遷移和VFIO軟件框架。

這樣能最大限度地利用現有設備驅動，很好地支持Windows和Linux虛擬機，並不須要單獨維護各個版本的設備驅動，大大下降了成本。

【ppt下載】

【在youtube上看了下演講視頻，講解的比較模糊，重點工做在於DMA的bitmap和VFIO】

 

 

《Live Migration Support for GPU with SRIOV: Challenges and Solution》
阿里雲與AMD聯合演講，阿里雲演講者：阿里雲高級技術專家 鄭曉

GPU的熱遷移支持是業界的難點。首先，GPU硬件的調度與上下文切換是以millisecond 爲單位的，是CPU的好幾個數量級，由此會引起GPU任務的搶佔問題。再者，GPU在雲計算領域的拓展是最近幾年出現的熱點，而GPU硬件自己對於虛擬化熱遷移的支持還沒有完善，好比GPU對local memory的dirty track，對non local memory的dirty track的硬件支持等。這些都爲GPU的熱遷移帶來不少挑戰。

演講中提到了GPU 任務在遷移途中的時效性，搶佔問題，好比GPU硬件自己在還沒有支持framebuffer dirty track的時候，如何經過hypervisor的措施，經過系統軟件的方法來彌補，以及GPU自己上下文的切換須要處理的細節等等。

全部上面提到的問題在阿里雲與AMD聯合開發的第一天就開始考慮與設計。其中有衆多獨有的創新點。例如，在某些型號GPU硬件不支持dirty track的時候，經過軟件的方式來跟蹤GPU的Framebuffer dirty page；在Service downtime等關鍵性能指標不符合預期的時候，如何把數據從6秒優化到了0.35秒左右；功能方面，從單機遷移完善到多機多卡遷移；在穩定性方面，從一開始的作一次就宕機，到後續連續上千次的壓力測試……

此外，演講還加入了現場的Live Demo，從使用體驗上面來講，已經能夠作到GPU渲染任務的流暢遷移。

【ppt下載】