物聯網高併發編程之C10K問題原理和解決方案

C10K問題思惟導圖

C10K問題出現前期

你們都知道互聯網的基礎就是網絡通訊，早期的互聯網能夠說是一個小羣體的集合。

互聯網還不夠普及，用戶也很少。一臺服務器同時在線100個用戶估計在當時已經算是大型應用了。因此並不存在什麼C10K的難題。互聯網的爆發期應該是在www網站，瀏覽器，雅虎出現後。最先的互聯網稱之爲Web1.0，互聯網大部分的使用場景是下載一個Html頁面，用戶在瀏覽器中查看網頁上的信息。這個時期也不存在C10K問題。

Web2.0時代到來後就不一樣了，一方面是普及率大大提升了，用戶羣體幾何倍增加。另外一方面是互聯網再也不是單純的瀏覽萬維網網頁，逐漸開始進行交互，並且應用程序的邏輯也變的更復雜，從簡單的表單提交，到即時通訊和在線實時互動。

C10K的問題才體現出來了。每個用戶都必須與服務器保持TCP鏈接才能進行實時的數據交互。

Facebook這樣的網站同一時間的併發TCP鏈接可能會過億。

騰訊QQ也是有C10K問題的，只不過他們是用了UDP這種原始的包交換協議來實現的，繞開了這個難題。固然過程確定是痛苦的。若是當時有epoll技術，他們確定會用TCP。後來的手機QQ，微信都採用TCP協議。

C10K問題出現和本質

這時候問題就來了，最初的服務器都是基於進程/線程模型的，新到來一個TCP鏈接，就須要分配1個進程（或者線程）。

而進程又是操做系統最昂貴的資源，一臺機器沒法建立不少進程。

若是是C10K就要建立1萬個進程，那麼操做系統是沒法承受的。

若是是採用分佈式系統，維持1億用戶在線須要10萬臺服務器，成本巨大，也只有Facebook，Google，雅虎纔有財力購買如此多的服務器。這就是C10K問題的本質。

實際上當時也有異步模式，如：select/poll模型，這些技術都有必定的缺點，如selelct最大不能超過1024，poll沒有限制，但每次收到數據須要遍歷每個鏈接查看哪一個鏈接有數據請求。

C10K解決方案C10K解決方案

解決這一問題，主要思路有兩個：

1. 一個是對於每一個鏈接處理分配一個獨立的進程/線程；
2. 另外一個思路是用同一進程/線程來同時處理若干鏈接。

每一個進程/線程處理一個鏈接

這一思路最爲直接。可是因爲申請進程/線程會佔用至關可觀的系統資源，同時對於多進程/線程的管理會對系統形成壓力，所以這種方案不具有良好的可擴展性。

所以，這一思路在服務器資源尚未富裕到足夠程度的時候，是不可行的；即使資源足夠富裕，效率也不夠高。

問題：資源佔用過多，可擴展性差

每一個進程/線程同時處理多個鏈接（IO多路複用）

傳統思路

最簡單的方法是循環挨個處理各個鏈接，每一個鏈接對應一個 socket，當全部 socket 都有數據的時候，這種方法是可行的。

可是當應用讀取某個 socket 的文件數據不 ready 的時候，整個應用會阻塞在這裏等待該文件句柄，即便別的文件句柄 ready，也沒法往下處理。

思路：直接循環處理多個鏈接。

問題：任一文件句柄的不成功會阻塞住整個應用。

select

要解決上面阻塞的問題，思路很簡單，若是我在讀取文件句柄以前，先查下它的狀態，ready 了就進行處理，不 ready 就不進行處理，這不就解決了這個問題了嘛？

因而有了 select 方案。用一個 fd_set 結構體來告訴內核同時監控多個文件句柄，當其中有文件句柄的狀態發生指定變化（例如某句柄由不可用變爲可用）或超時，則調用返回。以後應用可使用 FD_ISSET 來逐個查看是哪一個文件句柄的狀態發生了變化。

這樣作，小規模的鏈接問題不大，但當鏈接數不少（文件句柄個數不少）的時候，逐個檢查狀態就很慢了。

所以，select 每每存在管理的句柄上限（FD_SETSIZE）。同時，在使用上，由於只有一個字段記錄關注和發生事件，每次調用以前要從新初始化 fd_set 結構體。

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

思路：有鏈接請求抵達了再檢查處理。

問題：句柄上限+重複初始化+逐個排查全部文件句柄狀態效率不高。

poll

poll 主要解決 select 的前兩個問題：經過一個 pollfd 數組向內核傳遞須要關注的事件消除文件句柄上限，同時使用不一樣字段分別標註關注事件和發生事件，來避免重複初始化。

int poll(struct pollfd *fds, nfds_t nfds, int timeout);

思路：設計新的數據結構提供使用效率。

問題：逐個排查全部文件句柄狀態效率不高。

epoll

既然逐個排查全部文件句柄狀態效率不高，很天然的，若是調用返回的時候只給應用提供發生了狀態變化（極可能是數據 ready）的文件句柄，進行排查的效率不就高多了麼。

epoll 採用了這種設計，適用於大規模的應用場景。

實驗代表，當文件句柄數目超過 10 以後，epoll 性能將優於 select 和 poll；當文件句柄數目達到 10K 的時候，epoll 已經超過 select 和 poll 兩個數量級。

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

思路：只返回狀態變化的文件句柄。

問題：依賴特定平臺（Linux）。

由於Linux是互聯網企業中使用率最高的操做系統，Epoll就成爲C10K killer、高併發、高性能、異步非阻塞這些技術的代名詞了。

這些操做系統提供的功能就是爲了解決C10K問題:

• FreeBSD推出了kqueue，
• Linux推出了epoll
• Windows推出了IOCP，
• Solaris推出了/dev/poll。

這些操做系統提供的功能就是爲了解決C10K問題。

epoll技術的編程模型就是異步非阻塞回調，也能夠叫作Reactor，事件驅動，事件輪循（EventLoop）。Nginx，libevent，node.js這些就是Epoll時代的產物。

select、poll、epoll具體原理詳解，

libevent

因爲epoll, kqueue, IOCP每一個接口都有本身的特色，程序移植很是困難，因而須要對這些接口進行封裝，以讓它們易於使用和移植，其中libevent庫就是其中之一。

跨平臺，封裝底層平臺的調用，提供統一的 API，但底層在不一樣平臺上自動選擇合適的調用。

按照libevent的官方網站，libevent庫提供瞭如下功能：

當一個文件描述符的特定事件（如可讀，可寫或出錯）發生了，或一個定時事件發生了，libevent就會自動執行用戶指定的回調函數，來處理事件。

目前，libevent已支持如下接口/dev/poll, kqueue, event ports, select, poll 和 epoll。

Libevent的內部事件機制徹底是基於所使用的接口的。所以libevent很是容易移植，也使它的擴展性很是容易。

目前，libevent已在如下操做系統中編譯經過：Linux，BSD，Mac OS X，Solaris和Windows。

使用libevent庫進行開發很是簡單，也很容易在各類unix平臺上移植。