【轉】基於V4L2的視頻驅動開發

時間  2019-12-01
標籤 基於 v4l2 視頻 驅動 開發 简体版
原文   原文鏈接

編寫基於V4L2視頻驅動主要涉及到如下幾個知識點：
1> 攝像頭方面的知識
　　要了解選用的攝像頭的特性，包括訪問控制方法、各類參數的配置方法、信號輸出類型等。
2> Camera解碼器、控制器
　　若是攝像頭是模擬量輸出的，要熟悉解碼器的配置。最後數字視頻信號進入camera控制器後，還要熟悉camera控制器的操做。
3> V4L2的API和數據結構
　　編寫驅動前要熟悉應用程序訪問V4L2的方法及設計到的數據結構。
4> V4L2的驅動架構
　　最後編寫出符合V4L2規範的視頻驅動。node

本文介紹基於S3C2440硬件平臺的V4L2視頻驅動開發。攝像頭採用OmniVision公司的OV9650和OV9655。主要包含如下幾個方面的內容：
1> 視頻驅動的總體驅動框架
2> S3C2440 camera控制器+ov9650（ov9655）
3> V4L2 API及數據結構
4> V4L2驅動框架
5> ov9650（ov9655）+s3c2440+V4L2實例linux

1、視頻驅動的總體框架
視頻驅動的總體框架見下圖：數組

2、S3C2440 camera控制器+ov9650（ov9655）
（1）S3C2440 camera控制器介紹
S3C2440支持ITU-R BT601/656格式的數字圖像輸入，支持的2個通道的DMA，Preview通道和Codec通道，參見下圖。緩存


　　Preview通道能夠將YCbCr4:2:2格式的圖像轉換爲RGB（16bit或24bit）格式的數據，並存放於爲Preview DMA分配的內存中，最大分辨率爲640*480。主要用於本地液晶屏顯示。若是將Preview DMA的內存和Framebuffer內存重疊的話，就能夠實現採集直接輸出到液晶屏上了。
　　Codec通道能夠輸出YCbCr4:2:0或YCbCr4:2:2格式到爲Codec DMA分配的內存中。最大分辨率爲4096*4096。主要用於圖像的編解碼處理。數據結構

　　上圖中的window cut功能是指在圖像能夠先作一個裁剪。經過設置CIWDOFST完成此功能，見下圖。圖像進入P、C通道後，各自的scaler單元還能夠對其進行縮放、旋轉等處理。架構

　　S3C2440 camera控制器支持乒乓存儲。爲了防止採集和輸出之間的衝突，採用了乒乓存儲方式。每次採集一幀後，自動轉到下一個存儲區。若是你由於內存空間不足，不想使用此功能的話，能夠將四個區域設置到同一塊空間。
在作圖像處理時，須要關注到最後存儲區中的圖像格式，如codec通道硬件自動把Y、Cb、Cr分離存儲。框架

　　S3C2440 camera 控制器Last IRQ功能的使用，也是須要掌握的。若是處理很差，輸出的圖像效果會受影響。ide

　　控制器會在每一個VSYNC降低沿判斷ImgCptEn信號等命令。若是在降低沿發現ImgCptEn信號有效，則產生IRQ中斷。而後纔開始一幀圖像的真正採集。而若是在VSYNC降低沿判斷到ImgCptEn爲低電平且以前LastIRQEn沒有使能，則不會產生任何中斷，且不會再進行下一幀的採集。若是你想在ImgCptEn關閉後，一幀採集完後產生一箇中斷通知你，那麼就須要在最後一次中斷產生前（stop capturing後的vysnc下將沿）使能lastirq就能夠了。
我在移植linux驅動時就遇到了一個Last IRQ的問題。現象是輸出圖像上面老是有一條比其它部分反應慢。採集運動圖像，就能看出現象。查看代碼是由於沒有設立lastirq，由於每次若是不在lastirq產生的狀況下讀取，圖像緩衝中的數據是不穩定的，可能照成圖像不完整。修改代碼支持lastirq後，問題解決。
　　Camera控制器時鐘設置也是須要注意的，ov9650須要Camera控制器爲其提供時鐘。函數

　　提供給外部攝像頭的時鐘是由UPLL輸出時鐘分頻獲得的。而CAMIF的時鐘是由HCLK提供的。本例中，提供給ov9650的時鐘爲24M。測試

（2）ov9650（ov9655）設置方法
　　OV9650是OmniVision公司的COMS攝像頭，130萬像素，支持SXVGA、VGA、QVGA、CIF等圖像輸出格式。 最大速率在SXVGA時爲15fps，在VGA時爲30fps。
　　OV9650攝像頭時序以下圖：

　　上圖中D[9:2]用於8-bitYUV或者RGB565/RGB555(D[9]MSB、D[2]LSB)。D[9:0]用於10-bit RGB。本例中使用8-bit YUV模式。
　　我手邊開發板的Camera和S3C2440的接線原理圖以下（對應camera中具體的信號名稱參見前文的驅動總體架構圖）。
　　注：GPG12用於PWEN信號

（3）編寫ARM測試代碼測試camera功能
　　在Keil環境下編寫一個測試代碼完成從攝像頭採集圖像輸出到液晶屏。下面列出程序的流程。

（4）編寫測試代碼過程當中常見的問題
　　1> 攝像頭寄存器的配置
 　　由於攝像頭有不少寄存器，可能一下沒法理解裏面全部的配置含義，因此開始時但願獲得一份可用的配置。但每每從別人的測試代碼中拿到配置後，仍然沒法使用。我這裏列出幾個可能的緣由：
 　　（1）攝像頭中的圖像輸出格式和你在camera控制器中設置的不一致，同一個攝像頭能夠設置多種輸入格式，如：YCbYCr或CbYCrY。
 　　（2）圖像輸出的一些時序和你的camera控制器設置不一致，攝像頭能夠設置一些時序，如：圖像數據在CAMPCLK的上升沿有效仍是降低沿有效。
 　　（3）注意輸出圖像的格式和Framebuffer控制器的匹配，如字節順序等問題。
　　2> Ov9650和ov9655的使用區別
 　　這裏主要列出二者之間在復位信號上有差異，ov9650是高電平復位，而ov9655是低電平復位。

3、V4L2 API及數據結構
　　V4L2是V4L的升級版本，爲linux下視頻設備程序提供了一套接口規範。包括一套數據結構和底層V4L2驅動接口。
　　一、經常使用的結構體在內核目錄include/linux/videodev2.h中定義

   struct v4l2_requestbuffers //申請幀緩衝，對應命令VIDIOC_REQBUFS 
   struct v4l2_capability //視頻設備的功能，對應命令VIDIOC_QUERYCAP 
   struct v4l2_input   //視頻輸入信息，對應命令VIDIOC_ENUMINPUT
   struct v4l2_standard //視頻的制式，好比PAL，NTSC，對應命令VIDIOC_ENUMSTD 
   struct v4l2_format    //幀的格式，對應命令VIDIOC_G_FMT、VIDIOC_S_FMT等
   struct v4l2_buffer   //驅動中的一幀圖像緩存，對應命令VIDIOC_QUERYBUF 

   struct v4l2_crop   //視頻信號矩形邊框

      v4l2_std_id   //視頻制式

　　二、經常使用的IOCTL接口命令也在include/linux/videodev2.h中定義

VIDIOC_REQBUFS //分配內存  

VIDIOC_QUERYBUF //把VIDIOC_REQBUFS中分配的數據緩存轉換成物理地址 

VIDIOC_QUERYCAP //查詢驅動功能 

VIDIOC_ENUM_FMT //獲取當前驅動支持的視頻格式 

VIDIOC_S_FMT //設置當前驅動的頻捕獲格式 

VIDIOC_G_FMT //讀取當前驅動的頻捕獲格式 

VIDIOC_TRY_FMT //驗證當前驅動的顯示格式 

VIDIOC_CROPCAP //查詢驅動的修剪能力 

VIDIOC_S_CROP //設置視頻信號的矩形邊框 

VIDIOC_G_CROP //讀取視頻信號的矩形邊框

VIDIOC_QBUF //把數據從緩存中讀取出來 

VIDIOC_DQBUF //把數據放回緩存隊列 

VIDIOC_STREAMON //開始視頻顯示函數 

VIDIOC_STREAMOFF //結束視頻顯示函數 

VIDIOC_QUERYSTD //檢查當前視頻設備支持的標準，例如PAL或NTSC。

　　三、操做流程
　　V4L2提供了不少訪問接口，你能夠根據具體須要選擇操做方法。須要注意的是，不多有驅動徹底實現了全部的接口功能。因此在使用時須要參考驅動源碼，或仔細閱讀驅動提供者的使用說明。
　　下面列舉出一種操做的流程，供參考。
　　（1）打開設備文件

int fd = open(Devicename,mode);

    Devicename：/dev/video0、/dev/video1 ……

     Mode：O_RDWR [| O_NONBLOCK]

　　若是使用非阻塞模式調用視頻設備，則當沒有可用的視頻數據時，不會阻塞，而馬上返回。
　　（2）取得設備的capability  

struct v4l2_capability capability；

int ret = ioctl(fd, VIDIOC_QUERYCAP, &capability);

　　看看設備具備什麼功能，好比是否具備視頻輸入特性。
　　（3）選擇視頻輸入

struct v4l2_input input；

……初始化input

int ret = ioctl(fd, VIDIOC_QUERYCAP, &input);

　　一個視頻設備能夠有多個視頻輸入。若是隻有一路輸入，這個功能能夠沒有。
　　（4）檢測視頻支持的制式

 v4l2_std_id std;
　　do {
　　 　　ret = ioctl(fd, VIDIOC_QUERYSTD, &std);
　　} while (ret == -1 && errno == EAGAIN);

    switch (std) {
                case V4L2_STD_NTSC:  
                     //……
         　　　　　case V4L2_STD_PAL:
                     //……
   }

　　（5）設置視頻捕獲格式

struct v4l2_format fmt;

fmt.type = V4L2_BUF_TYPE_VIDEO_OUTPUT;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_UYVY;
fmt.fmt.pix.height = height;
fmt.fmt.pix.width = width;
fmt.fmt.pix.field = V4L2_FIELD_INTERLACED;

ret = ioctl(fd, VIDIOC_S_FMT, &fmt);
if(ret) {
　　perror("VIDIOC_S_FMT/n");
　　close(fd);

　　return -1;
}

　　（6）向驅動申請幀緩存

struct v4l2_requestbuffers  req;

if (ioctl(fd, VIDIOC_REQBUFS, &req) == -1) {

           return -1;

}

　　 v4l2_requestbuffers結構中定義了緩存的數量，驅動會據此申請對應數量的視頻緩存。多個緩存能夠用於創建FIFO，來提升視頻採集的效率。
　　（7）獲取每一個緩存的信息，並mmap到用戶空間

typedef struct VideoBuffer {
    void   *start;
    size_t  length;
} VideoBuffer;

VideoBuffer* buffers = calloc( req.count, sizeof(*buffers) );
struct v4l2_buffer    buf;

for (numBufs = 0; numBufs < req.count; numBufs++) {//映射全部的緩存
    memset( &buf, 0, sizeof(buf) );
   buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
   buf.memory = V4L2_MEMORY_MMAP;
   buf.index = numBufs;

   if (ioctl(fd, VIDIOC_QUERYBUF, &buf) == -1) {//獲取到對應index的緩存信息，此處主要利用length信息及offset信息來完成後面的mmap操做。
        return -1;
   }

    buffers[numBufs].length = buf.length;

    // 轉換成相對地址
    buffers[numBufs].start = mmap(NULL, buf.length,
        PROT_READ | PROT_WRITE,
        MAP_SHARED,
        fd, buf.m.offset);

     if (buffers[numBufs].start == MAP_FAILED) {
        return -1;
    }

　　（8）開始採集視頻

int buf_type= V4L2_BUF_TYPE_VIDEO_CAPTURE；

int ret = ioctl(fd, VIDIOC_STREAMON, &buf_type);

　　（9）取出FIFO緩存中已經採樣的幀緩存struct v4l2_buffer buf;

struct v4l2_buffer buf;

memset(&buf,0,sizeof(buf));

buf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory=V4L2_MEMORY_MMAP;
buf.index=0;//此值由下面的ioctl返回

if (ioctl(fd, VIDIOC_DQBUF, &buf) == -1)
{
    return -1;
}

　　 根據返回的buf.index找到對應的mmap映射好的緩存，取出視頻數據。
　　（10）將剛剛處理完的緩衝從新入隊列尾，這樣能夠循環採集　

if (ioctl(fd, VIDIOC_QBUF, &buf) == -1) {
    return -1;
}

　　（11）中止視頻的採集

int ret = ioctl(fd, VIDIOC_STREAMOFF, &buf_type);

　　（12）關閉視頻設備

close(fd);

4、V4L2驅動框架
上述流程的各個操做都須要有底層V4L2驅動的支持。內核中有一些很是完善的例子。
好比：linux-2.6.26內核目錄/drivers/media/video//zc301/zc301_core.c 中的ZC301視頻驅動代碼。上面的V4L2操做流程涉及的功能在其中都有實現。
　　一、V4L2驅動註冊、註銷函數
 　　Video核心層（drivers/media/video/videodev.c）提供了註冊函數

int video_register_device(struct video_device *vfd, int type, int nr)
   video_device:  要構建的核心數據結構
   Type:  表示設備類型，此設備號的基地址受此變量的影響
   Nr:    若是end-base>nr>0 ：次設備號=base（基準值，受type影響）+nr；
   不然：系統自動分配合適的次設備號

　　具體驅動只須要構建video_device結構，而後調用註冊函數既可。
     Video核心層（drivers/media/video/videodev.c）提供了註銷函數

void video_unregister_device(struct video_device *vfd)

　　二、struct video_device 的構建
 　　video_device結構包含了視頻設備的屬性和操做方法。參見zc301_core.c

strcpy(cam->v4ldev->name, "ZC0301[P] PC Camera");
cam->v4ldev->owner = THIS_MODULE;
cam->v4ldev->type = VID_TYPE_CAPTURE | VID_TYPE_SCALES;
cam->v4ldev->fops = &zc0301_fops;
cam->v4ldev->minor = video_nr[dev_nr];
cam->v4ldev->release = video_device_release;
video_set_drvdata(cam->v4ldev, cam);

　　你們發如今這個zc301的驅動中並無實現struct video_device中的不少操做函數，如：vidioc_querycap、vidioc_g_fmt_cap等。主要緣由是struct file_operations zc0301_fops中的zc0301_ioctl實現了前面的全部ioctl操做。因此就不須要在struct video_device再實現struct video_device中的那些操做了。
 　　另外一種實現方法以下：

static struct video_device camif_dev =
{
       .name             = "s3c2440 camif",
       .type              = VID_TYPE_CAPTURE|VID_TYPE_SCALES|VID_TYPE_SUBCAPTURE,
       .fops              = &camif_fops,
       .minor            = -1,
       .release    = camif_dev_release,
       .vidioc_querycap      = vidioc_querycap,
       .vidioc_enum_fmt_cap  = vidioc_enum_fmt_cap,
       .vidioc_g_fmt_cap     = vidioc_g_fmt_cap,
       .vidioc_s_fmt_cap     = vidioc_s_fmt_cap,
       .vidioc_queryctrl = vidioc_queryctrl,
       .vidioc_g_ctrl = vidioc_g_ctrl,
       .vidioc_s_ctrl = vidioc_s_ctrl,
};

static struct file_operations camif_fops =
{
      .owner           = THIS_MODULE,
      .open             = camif_open,
      .release    = camif_release,
      .read              = camif_read,
      .poll        = camif_poll,
      .ioctl              = video_ioctl2, /* V4L2 ioctl handler */
      .mmap           = camif_mmap,
      .llseek            = no_llseek,
};

　　注意：video_ioctl2是videodev.c中是實現的。video_ioctl2中會根據ioctl不一樣的cmd來調用video_device中的操做方法。
　　三、Video核心層的實現
 　 參見內核/drivers/media/videodev.c
　 （1）註冊256個視頻設備

static int __init videodev_init(void)
{
           int ret;

           if (register_chrdev(VIDEO_MAJOR, VIDEO_NAME, &video_fops)) {
                  return -EIO;
           }

           ret = class_register(&video_class);
           ……
}

　　上面的代碼註冊了256個視頻設備，並註冊了video_class類。video_fops爲這256個設備共同的操做方法。
　　（2）V4L2驅動註冊函數的實現

int video_register_device(struct video_device *vfd, int type, int nr)
{
      int i=0;
      int base;
      int end;
      int ret;
      char *name_base;

       switch(type) //根據不一樣的type肯定設備名稱、次設備號
      {
              case VFL_TYPE_GRABBER:
                     base=MINOR_VFL_TYPE_GRABBER_MIN;
                     end=MINOR_VFL_TYPE_GRABBER_MAX+1;
                     name_base = "video";
                     break;

              case VFL_TYPE_VTX:
                     base=MINOR_VFL_TYPE_VTX_MIN;
                     end=MINOR_VFL_TYPE_VTX_MAX+1;
                     name_base = "vtx";
                     break;

              case VFL_TYPE_VBI:
                     base=MINOR_VFL_TYPE_VBI_MIN;
                     end=MINOR_VFL_TYPE_VBI_MAX+1;
                     name_base = "vbi";
                     break;

              case VFL_TYPE_RADIO:
                     base=MINOR_VFL_TYPE_RADIO_MIN;
                     end=MINOR_VFL_TYPE_RADIO_MAX+1;
                     name_base = "radio";
                     break;

              default:
                     printk(KERN_ERR "%s called with unknown type: %d/n", __func__, type);

                     return -1;

       }

       /* 計算出次設備號 */
       mutex_lock(&videodev_lock);
       if (nr >= 0  &&  nr < end-base) {
              /* use the one the driver asked for */
              i = base+nr;
              if (NULL != video_device[i]) {
                     mutex_unlock(&videodev_lock);
                     return -ENFILE;
              }
       } else {
              /* use first free */
              for(i=base;i<end;i++)
                     if (NULL == video_device[i])
                            break;
              if (i == end) {
                     mutex_unlock(&videodev_lock);
                     return -ENFILE;
              }
       }

       video_device[i]=vfd; //保存video_device結構指針到系統的結構數組中，最終的次設備號和i相關。
      vfd->minor=i;
       mutex_unlock(&videodev_lock);
       mutex_init(&vfd->lock);
 
       /* sysfs class */
       memset(&vfd->class_dev, 0x00, sizeof(vfd->class_dev));
       if (vfd->dev)
              vfd->class_dev.parent = vfd->dev;
       vfd->class_dev.class       = &video_class;
       vfd->class_dev.devt       = MKDEV(VIDEO_MAJOR, vfd->minor);

       sprintf(vfd->class_dev.bus_id, "%s%d", name_base, i - base);//最後在/dev目錄下的名稱

       ret = device_register(&vfd->class_dev);//結合udev或mdev能夠實現自動在/dev下建立設備節點
       ……
}

　　從上面的註冊函數中能夠看出V4L2驅動的註冊事實上只是完成了設備節點的建立，如：/dev/video0。和video_device結構指針的保存。
　　（3）視頻驅動的打開過程
 　　當用戶空間調用open打開對應的視頻文件時，如：

int fd = open(/dev/video0, O_RDWR);

　　 對應/dev/video0的文件操做結構是/drivers/media/videodev.c中定義的video_fops。

static const struct file_operations video_fops=
{
       .owner           = THIS_MODULE,
       .llseek            = no_llseek,
       .open             = video_open,
};

　　奇怪吧，這裏只實現了open操做。那麼後面的其它操做呢？仍是先看看video_open吧。

static int video_open(struct inode *inode, struct file *file)
{
       unsigned int minor = iminor(inode);
       int err = 0;
       struct video_device *vfl;
       const struct file_operations *old_fops; 

       if(minor>=VIDEO_NUM_DEVICES)
              return -ENODEV;

       mutex_lock(&videodev_lock);

       vfl=video_device[minor];
       if(vfl==NULL) {
              mutex_unlock(&videodev_lock);
              request_module("char-major-%d-%d", VIDEO_MAJOR, minor);
              mutex_lock(&videodev_lock);

              vfl=video_device[minor]; //根據次設備號取出video_device結構
           if (vfl==NULL) {
                     mutex_unlock(&videodev_lock);
                     return -ENODEV;
              }
       }

       old_fops = file->f_op;

       file->f_op = fops_get(vfl->fops);//替換此打開文件的file_operation結構。後面的其它針對此文件的操做都由新的結構來負責了。也就是由每一個具體的video_device的fops負責。

       if(file->f_op->open)
              err = file->f_op->open(inode,file);

        if (err) {
              fops_put(file->f_op);
              file->f_op = fops_get(old_fops);
        }
         ……
}

　　以上是我對V4L2的一些理解，但願能對你們瞭解V4L2有一些幫助。

　　轉載：http://blog.csdn.net/hongtao_liu/article/details/5867351

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程