lwIP分析

功能:

LwIP的特性以下：

(1)支持多網絡接口下的IP轉發

(2)支持ICMP協議

(3)包括實驗性擴展的的UDP（用戶數據報協議）

(4)包括阻塞控制，RTT估算和快速恢復和快速轉發的TCP（傳輸控制協議）

(5)提供專門的內部回調接口（Raw API）用於提升應用程序性能

(6)可選擇的Berkeley接口API（多線程狀況下）

(7)在最新的版本中支持ppp

(8)新版本中增長了的IP fragment的支持.

(9)支持DHCP協議,動態分配ip地址.

 

 

要點：

一、層次結構

tcp/ip協議的每一層是一個單獨進程.鏈路層是一個進程,ip層是一個進程,tcp層是一個進程.

這樣的好處是網絡協 議的每一層都很是清晰,代碼的調試和理解都很是容易.可是最大的壞處數據跨層傳遞時會引發上下文切換(context switch).

對於接收一個TCP segment要引發3次context switch(從網卡驅動程序到鏈路層進程,從鏈路層進程到ip層進程,從ip層進程 到TCP進程).

一般對於操做系統來講,任務切換是要浪費時間的.過頻的context swich是不可取的. 

另一種方式是TCP/IP協議棧在操做系統內核當中.

應用程序經過操做系統的系統調用(system call)和協議棧來進行通信.這樣TCP/IP的協議棧就限定於特定的操做系統內核了.如windows就是這種方式.

 

lwip的process model:全部tcp/ip協議棧都在一個進程當中,這樣tcp/ip協議棧就和操做系統內核分開了.而應用層程序既能夠是單獨的進程也能夠駐留在tcp/ip進程中.若是應用程序是單獨的進程能夠經過操做系統的郵箱,消息隊列等和tcp/ip進程進行通信.

 

  若是應用層程序駐留tcp/ip進程中,那應用層程序就利用內部回調函數口(Raw API)和tcp/ip協議棧通信.對於ucos來講進程就是一個系統任務.lwip的process model請參看下圖.在圖中能夠看到整個tcp/ip協議棧都在同一個任務(tcpip_thread)中.應用層程序既能夠是獨立的任務(如圖中的tftp_thread,tcpecho_thread),也能夠在tcpip_thread中(如圖左上角)中利用內部回調函數口(Raw API)和tcp/ip協議棧通信 

 

 

（上圖：lwIP的層次模型）

 

2 Port Lwip to uCos

 

在這個項目中我用的硬件平臺是s3c44b0x+rtl8019.ucos在44b0上的移植在網上有不少大俠很是詳盡的講解和移植代碼.我就不敢羅嗦了.須要說明的一點是lwip會爲每一個網絡鏈接動態分配一些信號量(semaphone)和消息隊列(Message Queue),當鏈接斷開時會刪掉這些semaphone和Queue.而Ucos-2.0不支持semaphone和Queue的刪除,因此要選擇一些較高版本的ucos.我用的是ucos-2.51.

 

三、Lwip的操做系統封裝層(operating system.emulation layer)

 

Lwip爲了適應不一樣的操做系統,在代碼中沒有使用和某一個操做系統相關的系統調用和數據結構.而是在lwip和操做系統之間增長了一個操做系統封裝層.操做系統封裝層爲操做系統服務(定時,進程同步,消息傳遞)提供了一個統一的接口.在lwip中進程同步使用semaphone和消息傳遞採用"mbox"(其實在ucos的實現中咱們使用的是Message Queue來實現lwip中的"mbox",下面你們能夠看到這一點)

 

Operating system emulation layer的原代碼在…/lwip/src/core/sys.c中.而和具體的操做系統相關的代碼在../lwip/src/arch/sys_arch.c中.

操做系統封裝層的主要函數以下:

void sys_init(void)//系統初始化

sys_thread_t sys_thread_new(void (* function)(void *arg), void *arg,int prio)//建立一個新進程

  sys_mbox_t sys_mbox_new(void)//建立一個郵箱

  void  sys_mbox_free(sys_mbox_t mbox)//釋放並刪除一個郵箱

  void  sys_mbox_post(sys_mbox_t mbox, void *data) //發送一個消息到郵箱

  void sys_mbox_fetch(sys_mbox_t mbox, void **msg)//等待郵箱中的消息

  sys_sem_t sys_sem_new(u8_t count)//建立一個信號量

void sys_sem_free(sys_sem_t sem)//釋放並刪除一個信號量

void sys_sem_signal(sys_sem_t sem)//發送一個信號量

void sys_sem_wait(sys_sem_t sem)//等待一個信號量

  void sys_timeout(u32_t msecs, sys_timeout_handler h, void *arg)//設置一個超時事件

  void sys_untimeout(sys_timeout_handler h, void *arg)//刪除一個超時事件

  …

關於操做系統封裝層的信息能夠閱讀lwip的doc目錄下面的sys_arch.txt.文件.

 

四、Lwip在ucos上的移植.

 

4.1 系統初始化

 

sys_int必須在tcpip協議棧任務tcpip_thread建立前被調用.

/* sys_init() must be called before anthing else. */

void sys_init(void);

 

#define MAX_QUEUES        20

#define MAX_QUEUE_ENTRIES   20

typedef struct {

OS_EVENT*   pQ;//ucos中指向事件控制塊的指針

       void*  pvQEntries[MAX_QUEUE_ENTRIES];//消息隊列

//MAX_QUEUE_ENTRIES消息隊列中最多消息數

} TQ_DESCR, *PQ_DESCR;

typedef PQ_DESCR  sys_mbox_t;//可見lwip中的mbox實際上是ucos的消息隊列

static char pcQueueMemoryPool[MAX_QUEUES * sizeof(TQ_DESCR) ];

void sys_init(void)

{

u8_t i;

    s8_t   ucErr;        

    pQueueMem = OSMemCreate( (void*)pcQueueMemoryPool, MAX_QUEUES, sizeof(TQ_DESCR), &ucErr );//爲消息隊列建立內存分區

 

//init lwip task prio offset

curr_prio_offset = 0;

 

//init lwip_timeouts for every lwip task

//初始化lwip定時事件表,具體實現參考下面章節

    for(i=0;i<LWIP_TASK_MAX;i++){

        lwip_timeouts[i].next = NULL;

    }

}

 

 

4.2 建立一個和tcp/ip相關新進程:

lwip中的進程就是ucos中的任務,建立一個新進程的代碼以下:

#define LWIP_STK_SIZE      10*1024//和tcp/ip相關任務的堆棧大小.能夠根據狀況自

//己設置,44b0開發板上有8M的sdram,因此設大

//一點也沒有關係:)

//max number of lwip tasks

#define LWIP_TASK_MAX    5 //和tcp/ip相關的任務最多數目

//first prio of lwip tasks

#define LWIP_START_PRIO   5 //和tcp/ip相關任務的起始優先級,在本例中優先級可

//以從(5-9).注意tcpip_thread在全部tcp/ip相關進程中//應該是優先級最高的.在本例中就是優先級5 

//若是用戶須要建立和tcp/ip無關任務,如uart任務等,

//不要使用5-9的優先級

 OS_STK LWIP_TASK_STK[LWIP_TASK_MAX][LWIP_STK_SIZE];//和tcp/ip相關進程的堆棧區

     u8_t curr_prio_offset ;

     sys_thread_t sys_thread_new(void (* function)(void *arg), void *arg,int prio)

{

if(curr_prio_offset < LWIP_TASK_MAX){

 OSTaskCreate(function,(void*)0x1111, &LWIP_TASK_STK[curr_prio_offset][LWIP_STK_SIZE-1],

LWIP_START_PRIO+curr_prio_offset );

curr_prio_offset++;

    return 1;

  } else {

    // PRINT(" lwip task prio out of range ! error! ");

  }

}

從代碼中能夠看出tcpip_thread應該是最早建立的.

 

4.3 Lwip中的定時事件

 

在tcp/ip協議中不少時候都要用到定時,定時的實現也是tcp/ip協議棧中一個重要的部分.lwip中定時事件的數據結構以下.

struct sys_timeout {

struct sys_timeout *next;//指向下一個定時結構

  u32_t time;//定時時間

  sys_timeout_handler h;//定時時間到後執行的函數

  void *arg;//定時時間到後執行函數的參數.

};

struct sys_timeouts {

struct sys_timeout *next;

};

struct sys_timeouts lwip_timeouts[LWIP_TASK_MAX];

Lwip中的定時事件表的結構以下圖,每一個和tcp/ip相關的任務的一系列定時事件組成一個單向鏈表.每一個鏈表的起始指針存在lwip_timeouts的對應表項中.

 

函數sys_arch_timeouts返回對應於當前任務的指向定時事件鏈表的起始指針.該指針存在lwip_timeouts[MAX_LWIP_TASKS]中.

struct sys_timeouts null_timeouts;

struct sys_timeouts * sys_arch_timeouts(void)

{

u8_t curr_prio;

  s16_t err,offset;

OS_TCB curr_task_pcb;

null_timeouts.next = NULL;

  //獲取當前任務的優先級

  err = OSTaskQuery(OS_PRIO_SELF,&curr_task_pcb);

  curr_prio = curr_task_pcb.OSTCBPrio;  

  offset = curr_prio - LWIP_START_PRIO;

  //判斷當前任務優先級是否是tcp/ip相關任務,優先級5-9

  if(offset < 0 || offset >= LWIP_TASK_MAX)

  {

    return &null_timeouts;

  }

  return &lwip_timeouts[offset];

}

注意:楊曄大俠移植的代碼在本函數有一個bug.楊曄大俠的移植把上面函數中的OS_TCB curr_task_tcb定義成了全局變量,使本函數成爲了一個不可重入函數.我也是在進行以下測試時發現了這個bug.個人開發板上設置的ip地址是192.168.1.95.我在windows的dos窗口內運行

     ping 192.168.1.95 –l 2000 –t,不間斷用長度爲2000的數據報進行ping測試,同時使用tftp客戶端軟件給192.168.1.95下載一個十幾兆程序,同時再使用telnet鏈接192.168.1.95端口7(echo端口),往該端口寫數測試echo功能.

在運行一段時間之後,開發板進入再也不響應.我當時也是通過長時間的分析才發現是由於在低優先級任務運行ys_arch_timeouts()時被高優先級任務打斷改寫了curr_task_tcb的值,從而使sys_arch_timeouts返回的指針錯誤,進而致使系統死鎖.函數sys_timeout給當前任務增長一個定時事件:

void sys_timeout(u32_t msecs, sys_timeout_handler h, void *arg)

{

struct sys_timeouts *timeouts;

  struct sys_timeout *timeout, *t;

  timeout = memp_malloc(MEMP_SYS_TIMEOUT);//爲定時事件分配內存

  if (timeout == NULL) {

    return;

  }

  timeout->next = NULL;

  timeout->h = h;

  timeout->arg = arg;

  timeout->time = msecs;

  timeouts = sys_arch_timeouts();//返回當前任務定時事件鏈表起始指針

  if (timeouts->next == NULL) {//若是鏈表爲空直接增長該定時事件

    timeouts->next = timeout;

    return;

  }

   //若是鏈表不爲空,對定時事件進行排序.注意定時事件中的time存儲的是本事件

//時間相對於前一事件的時間的差值

  if (timeouts->next->time > msecs) {    

timeouts->next->time -= msecs;

timeout->next = timeouts->next;

    timeouts->next = timeout;

  } else {

    for(t = timeouts->next; t != NULL; t = t->next) {

      timeout->time -= t->time;

      if (t->next == NULL ||

   t->next->time > timeout->time) {

  if (t->next != NULL) {

    t->next->time -= timeout->time;

  }

  timeout->next = t->next;

  t->next = timeout;

  break;

      }

    }

  }

}

函數sys_untimeout從當前任務定時事件鏈表中刪除一個定時事件

void sys_untimeout(sys_timeout_handler h, void *arg)

{

struct sys_timeouts *timeouts;

    struct sys_timeout *prev_t, *t;

    timeouts = sys_arch_timeouts();//返回當前任務定時事件鏈表起始指針

    if (timeouts->next == NULL)//若是鏈表爲空直接返回

        {

        return;

        }

    //查找對應定時事件並從鏈表中刪除.

    for (t = timeouts->next, prev_t = NULL; t != NULL; prev_t = t, t = t->next)

    {

        if ((t->h == h) && (t->arg == arg))

        {

            /* We have a match */

            /* Unlink from previous in list */

            if (prev_t == NULL)

                timeouts->next = t->next;

            else

                prev_t->next = t->next;

            /* If not the last one, add time of this one back to next */

            if (t->next != NULL)

                t->next->time += t->time;

            memp_free(MEMP_SYS_TIMEOUT, t);

            return;

        }

    }

    return;

}

4.3  "mbox"的實現:

         (1)mbox的建立

      sys_mbox_t sys_mbox_new(void)

{

u8_t       ucErr;

        PQ_DESCR    pQDesc;    

//從消息隊列內存分區中獲得一個內存塊

        pQDesc = OSMemGet( pQueueMem, &ucErr );  

     if( ucErr == OS_NO_ERR ) {   

         //建立一個消息隊列

        pQDesc->pQ=OSQCreate(&(pQDesc->pvQEntries[0]), MAX_QUEUE_ENTRIES );       

               if( pQDesc->pQ != NULL ) {

            return pQDesc;

        }

     } 

    return SYS_MBOX_NULL;

}

(2)發一條消息給"mbox"

  const void * const pvNullPointer = 0xffffffff;

void sys_mbox_post(sys_mbox_t mbox, void *data)

{

INT8U err;

    if( !data ) 

     data = (void*)&pvNullPointer;

   err= OSQPost( mbox->pQ, data);

}

在ucos中,若是OSQPost (OS_EVENT *pevent, void *msg)中的msg==NULL 會返回一條OS_ERR_POST_NULL_PTR錯誤.而在lwip中會調用sys_mbox_post(mbox,NULL)發送一條空消息,咱們在本函數中把NULL變成一個常量指針0xffffffff.

(3)從"mbox"中讀取一條消息

#define SYS_ARCH_TIMEOUT 0xffffffff

void sys_mbox_fetch(sys_mbox_t mbox, void **msg)

{

u32_t time;

  struct sys_timeouts *timeouts;

  struct sys_timeout *tmptimeout;

  sys_timeout_handler h;

  void *arg;

again:

timeouts = sys_arch_timeouts();////返回當前任務定時事件鏈表起始指針

  if (!timeouts || !timeouts->next) {//若是定時事件鏈表爲空

    sys_arch_mbox_fetch(mbox, msg, 0);//無超時等待消息

  } else {

    if (timeouts->next->time > 0) {

   //若是超時事件鏈表不爲空,並且第一個超時事件的time !=0

//帶超時等待消息隊列,超時時間等於超時事件鏈表中第一個超時事件的time,

      time = sys_arch_mbox_fetch(mbox, msg, timeouts->next->time);

     //在後面分析中能夠看到sys_arch_mbox_fetch調用了ucos中的OSQPend系統調

//用從消息隊列中讀取消息.

//若是"mbox"消息隊列不爲空,任務馬上返回,不然任務進入阻塞態.

//須要重點說明的是sys_arch_mbox_fetch的返回值time:若是sys_arch_mbox_fetch

//由於超時返回,time=SYS_ARCH_TIMEOUT,

//若是sys_arch_mbox_fetch由於收到消息而返回,

//time = 收到消息時刻的時間-執行sys_arch_mbox_fetch時刻的時間,單位是毫秒

//因爲在ucos中任務調用OSQPend系統調用進入阻塞態,到收到消息從新開始執行

//這段時間沒有記錄下來,因此咱們要簡單修改ucos的源代碼.(後面咱們會看到).

    } else {

      //若是定時事件鏈表不爲空,並且第一個定時事件的time ==0,表示該事件的定時

//時間到

      time = SYS_ARCH_TIMEOUT;

    }

    if (time == SYS_ARCH_TIMEOUT) {

     //一個定時事件的定時時間到

      tmptimeout = timeouts->next;

      timeouts->next = tmptimeout->next;

      h = tmptimeout->h;

      arg = tmptimeout->arg;

      memp_free(MEMP_SYS_TIMEOUT, tmptimeout);

      //從內存中釋放該定時事件,並執行該定時事件中的函數

      if (h != NULL) {

          h(arg);

     }

      //由於定時事件中的定時時間到或者是由於sys_arch_mbo_fetch超時到而執行到

//這裏,返回本函數開頭從新等待mbox的消息

      goto again;

    } else {

    //若是sys_arch_mbox_fetch無超時收到消息返回

//則刷新定時事件鏈表中定時事件的time值.

      if (time <= timeouts->next->time) {

  timeouts->next->time -= time;

      } else {

  timeouts->next->time = 0;

      }

    }

 

}

}

 

u32_t  sys_arch_mbox_fetch(sys_mbox_t mbox, void **data, u32_t timeout)

{

u32_t     ucErr;

    u16_t ucos_timeout;

  //在 lwip中 ,timeout的單位是ms  

  // 在ucosII ,timeout 的單位是timer tick 

   ucos_timeout = 0;

  if(timeout != 0){

  ucos_timeout = (timeout )*( OS_TICKS_PER_SEC/1000);

  if(ucos_timeout < 1)

      ucos_timeout = 1;

  else if(ucos_timeout > 65535)

      ucos_timeout = 65535;

  }        

  //若是data!=NULL就返回消息指針,

  if(data != NULL){

    *data = OSQPend( mbox->pQ, (u16_t)ucos_timeout, &ucErr );        

  }else{

    OSQPend(mbox->pQ,(u16_t)ucos_timeout,&ucErr);

  }

//這裏修改了ucos中的OSQPend系統調用, 

//原來的void  *OSQPend (OS_EVENT *pevent, INT16U timeout, INT8U *err)

// err的返回值只有兩種:收到消息就返回OS_NO_ERR,超時則返回OS_TIMEOUT

//這裏先將err從8位數據改變成了16位數據 OSQPend(*pevent,timeout, INT16U *err)

//從新定義了OS_TIMEOUT

//在ucos中原有#define OS_TIMEOUT 20

//改成 #define  OS_TIMEOUT  -1

//err返回值的意義也改變了,若是超時返回OS_TIMEOUT

// 若是收到消息,則返回OSTCBCur->OSTCBDly修改部分代碼以下

//if (msg != (void *)0) { /* Did we get a message?  */

// OSTCBCur->OSTCBMsg = (void *)0;

// OSTCBCur->OSTCBStat     = OS_STAT_RDY;

// OSTCBCur->OSTCBEventPtr = (OS_EVENT *)0;

// *err = OSTCBCur->OSTCBDly;// zhangzs @2003.12.12

//    OS_EXIT_CRITICAL();

// return (msg);     /* Return message received */

//    }

//關於ucos的OSTBCur->OSTCBDly的含義請查閱ucos的書籍

  if( ucErr == OS_TIMEOUT ) {

       timeout = SYS_ARCH_TIMEOUT;

    } else {

      if(*data == (void*)&pvNullPointer ) 

      *data = NULL;

      //單位轉換,從ucos tick->ms

      timeout = (ucos_timeout -ucErr)*(1000/ OS_TICKS_PER_SEC);

    }

  return timeout;

}

semaphone的實現和mbox相似,這裏就再也不重複了.

主要有C/C++，Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒體，CDN，P2P，K8S，Docker，TCP/IP，協程，DPDK技術，面試技巧方面的資料技術討論。

感興趣的朋友戳這裏：更多資料乾貨