Linux V4L2之camera

時間 2019-12-01

標籤 linux v4l2 camera 欄目 Linux 简体版

原文原文鏈接

1、硬件知識

1. 攝像頭硬件結構和工做原理，如圖1&圖2　

　　外部光線穿過lens鏡頭，通過紅外濾光片後光學圖像投射到傳感器上，而後光學圖像被轉換成電信號，電信號再通過模數轉換變爲數字信號，數字信號通過DSP加工處理，php

再被送到接收端進行處理，最終轉換成屏幕上可以看到的圖像。其中：node

1）濾光片做用：

　　a. 濾除紅外線，濾除對可見光有干擾的紅外光，使成像效果更清晰。linux

　　b. 修整進來的光線，感光芯片由感光體(CELL)構成,最好的光線是直射進來，但爲了怕干擾到鄰近感光體算法

就須要對光線加以修整，所以那片濾光片不是玻璃，而是石英片，利用石英的物理偏光特性，把進來緩存

的光線保留直射部份，反射掉斜射部份，避免去影響旁邊的感光點。cookie

2）常見的sensor傳感器主要有兩種：

　　a. CCD傳感器（Chagre Couled Device），即電荷耦合器。架構

　　b. CMOS傳感器（Complementary Metal-Oxide Semiconductor），即互補性金屬氧化物半導體。app

CCD的優點在於成像質量好，可是製造工藝複雜，成本高昂，且耗電高。在相同分辨率下，CMOS價格框架

　　比CCD便宜，但圖像質量相比CCD來講要低一些。CMOS影像傳感器相對CCD具備耗電低的優點，加上隨ide

着工藝技術的進步，CMOS的畫質水平也不斷地在提升，因此目前市面上的手機攝像頭都採用CMOS傳感器。

3）DSP (DIGITAL SIGNAL PROCESSING)：

　　主要是經過一系列複雜的數學算法運算，對數字圖像信號參數進行優化處理，並把處理後的信號經過USB等接口傳到PC等設備。結構框架: ISP(image signal processor)(鏡像信號處理器)、JPEG encoder(JPEG圖像解碼器)、USB device controller(USB設備控制器)

　　對於低分辨率來講（300W像素如下），通常攝像頭自帶DSP/ISP處理模塊，提供簡單的自動白平衡、 gamma、sharpness等功能，而高分辨率或者須要提供更加強功能時，可使用處理器自帶的ISP模塊（前提是處理器有）。

通常ISP支持輸出YUV、RGB、JPEG格式。

2. 攝像頭引腳做用&硬件鏈接：　　

　　目前攝像頭接口主要採用MIPI CSI & DVP，前者是串行（多組差分信號線），後者是並口傳輸（8/10bit）。圖3以DVP接口介紹各個引腳做用及硬件鏈接：

DVP分爲三個部分：

1）輸入總線：

　　a. data爲sensor的數據管腳，可輸出8/10bit並口數據處處理器接受端。

　　b. VSYNC爲幀同步信號管腳，一個VSYNC信號結束表示一個畫面的數據已經傳輸完畢。

　　c. HSYNC爲行同步信號管腳，一個HSYNC信號結束表示一行的數據已經傳輸完畢。

　　 p. PCLK爲像素同步信號管腳，一個PCLK信號結束表示一個像素的數據（大小取決格式）已經傳輸完畢。

　　以上管腳的關係以下圖：

2）輸出總線：

　　a. PDN(power down enable), camera使能管腳，當PDN=1時，一切對camera操做都是無效的。

　　b. RESET，復位管腳，低電平有效。

　　c. XCLK(MCLK)， sensor的工做時鐘管腳，可由外部晶振或者處理器提供。

　　d. I2C總線，處理器與sensor通訊管腳，用於配置sensor。

3）Power：

　　a. AVDD 模擬電壓

　　b. DOVDD GPIO口數字電壓

　　c. DVDD 核工做電壓

2、成像原理

　　本節主要講解目前主流的bayer格式圖片的成像原理， bayer格式圖片是伊士曼·柯達公司科學家Bryce Bayer發明的，Bryce Bayer所發明的拜耳陣列被普遍運用數字圖像。

　　對於彩色圖像，須要採集最基本的顏色，如RGB三種顏色，最簡單的方法就是用濾鏡的方法，紅色的濾鏡透過紅色的波長，綠色的濾鏡透過綠色的波長，藍色的濾鏡透過藍色的波長。若是要同時採集三個基本色，則須要三塊濾鏡，這樣價格昂貴，且很差製造，由於三塊濾鏡都必須保證每個像素點都對齊。當用bayer格式的時候，很好的解決了這個問題。bayer 格式在每一個像素（pixel）上只設置一種顏色濾鏡，外部光線在每一個像素點上存儲是單色的，所以通過ADC轉換出來的原始數據稱爲RAW RGB DATA，經過分析人眼對顏色的感知發現，人眼對綠色比較敏感，因此通常bayer格式的圖片綠色格式的像素是是R和B像素的和。

　　當Image Sensor往外逐行輸出數據時，像素的序列爲GRGRGR.../BGBGBG...（交替）。這樣陣列的設計，使得RGB傳感器爲全色傳感器的1/3。

　　每個像素僅僅包括了光譜的一部分，必須經過插值來實現每一個像素的RGB值。爲了從Bayer格式獲得每一個像素的RGB格式，咱們須要經過插值填補缺失的2個色彩。插值的方法有不少（包括領域、線性、3*3等），速度與質量權衡，最好是線性插值補償算法。

　　從圖5 Sensor 像素陣列來看，存在4中分佈格式：

　　對於圖6（a）（b）來講， G像素的R、B份量分別取兩個鄰域的平均値，因爲存在（a）（b）兩種分佈狀況，因此直接去4個相鄰域的平均値既是G像素的R&B份量。

　　對於圖6（c）來講，R像素的G份量能夠取4個相鄰域的平均值，B份量取外圍4個域的平均值。

　　對於圖6（d）來講，B像素的G份量能夠取4個相鄰域的平均值，R份量取外圍4個域的平均值。

　　固然， RAW RGB DATA也能夠轉換成YUV格式或者先轉成RGB再轉換YUV，就不詳解了......

3、V4L2軟件架構

1. 概述

Video4 for Linux 2是Linux內核中關於視頻設備的內核驅動框架，爲上層的訪問底層的視頻設備提供了統一的接口。凡是內核中的子系統都有抽象底層硬件的差別，爲上層提供統一的接口和提取出公共代碼避免代碼冗餘等。 V4L2支持三類設備：視頻輸入輸出設備、VBI設備和radio設備(其實還支持更多類型的設備，暫不討論)，分別會在/dev目錄下產生videoX、radioX和vbiX設備節點。圖7是V4L2在linux系統中的結構圖：

Linux系統中視頻輸入設備主要包括如下四個部分：

　　字符設備驅動：V4L2自己就是一個字符設備，具備字符設備全部的特性，暴露接口給用戶空間；

　　V4L2驅動核心：主要是構建一個內核中標準視頻設備驅動的框架，爲視頻操做提供統一的接口函數；

　　平臺V4L2設備驅動：在V4L2框架下，根據平臺自身的特性實現與平臺相關的V4L2驅動部分，包括註冊video_device和v4l2_dev；

　　具體的sensor驅動：主要上電、提供工做時鐘、視頻圖像裁剪、流IO開啓等，實現各類設備控制方法供上層調用並註冊v4l2_subdev。

2. 詳解V4L2框架

　　v4L2的核心源碼位於drivers/media/v4l2-core，根據功能能夠劃分爲四類：

　　字符設備模塊：由v4l2-dev.c實現，主要做用申請字符主設備號、註冊class和提供video device註冊註銷等相關函數；

　　V4L2基礎框架：由v4l2-device.c、v4l2-subdev.c、v4l2-fh.c、v4l2-ctrls.c等文件構建V4L2基礎框架；

　　videobuf管理：由videobuf2-core.c、videobuf2-dma-contig.c、videobuf2-dma-sg.c、videobuf2-memops.c、videobuf2-vmalloc.c、v4l2-mem2mem.c等文件實現，完成videobuffer的分配、管理和註銷；

　　Ioctl框架：由v4l2-ioctl.c文件實現，構建V4L2ioctl的框架。

2.1 V4L2基礎框架如圖8：

　　上圖V4L2框架是一個標準的樹形結構，v4l2_device充當了父設備，經過鏈表把全部註冊到其下的子設備管理起來，這些設備能夠是GRABBER、VBI或RADIO。V4l2_subdev是子設備，v4l2_subdev結構體包含了對設備操做的ops和ctrls，這部分代碼和硬件相關，須要驅動工程師根據硬件實現控制上下電、讀取ID、飽和度、對比度和視頻數據流打開關閉等接口函數。Video_device用於建立子設備節點，把操做設備的接口暴露給用戶空間。V4l2_fh是每一個子設備的文件句柄，在打開設備節點文件時設置，方便上層索引到v4l2_ctrl_handler，v4l2_ctrl_handler管理設備的ctrls，這些ctrls(攝像頭設備)包括調節飽和度、對比度和白平衡等。

結構體v4l2_device、video_device、v4l2_subdev和v4l2_ctrl_handler是構成框架的主要元素，現分別介紹：

1. struct v4l2_device ：
    v4l2_device在v4l2框架中充當全部v4l2_subdev的父設備，管理着註冊在其下的子設備
    
struct v4l2_device {
    structlist_head subdevs;  //用鏈表管理註冊的subdev
    charname[V4L2_DEVICE_NAME_SIZE];  //device 名字
    structkref ref;  //引用計數
    .........
};

    能夠看出v4l2_device的主要做用是管理註冊在其下的子設備，方便系統查找引用到。
v4l2_device的註冊和註銷：
    int v4l2_device_register(struct device*dev, struct v4l2_device *v4l2_dev)
    static void v4l2_device_release(struct kref *ref)

2. struct v4l2_subdev ：
    v4l2_subdev表明子設備，包含了子設備的相關屬性和操做。結構體原型：

struct v4l2_subdev {
    struct v4l2_device *v4l2_dev;  //指向父設備
    conststruct v4l2_subdev_ops *ops; //提供一些控制v4l2設備的接口
    conststruct v4l2_subdev_internal_ops *internal_ops; //向V4L2框架提供的接口函數
    structv4l2_ctrl_handler *ctrl_handler; //subdev控制接口
    charname[V4L2_SUBDEV_NAME_SIZE]; 
    struct video_device *devnode;  
    ..........
};

    每一個子設備驅動都須要實現一個v4l2_subdev結構體，v4l2_subdev能夠內嵌到其它結構體中，也能夠獨立使用。
    結構體中包含了對子設備操做的成員v4l2_subdev_ops和v4l2_subdev_internal_ops
            struct v4l2_subdev_ops {
                const struct v4l2_subdev_core_ops *core; //視頻設備通用的操做：初始化、加載FW、上電和RESET等
                const struct v4l2_subdev_tuner_ops *tuner; //tuner特有的操做
                const struct v4l2_subdev_audio_ops *audio; //audio特有的操做
                const struct v4l2_subdev_video_ops *video; //視頻設備的特有操做：裁剪圖像、開關視頻流等
                const struct v4l2_subdev_pad_ops *pad;
                ..........
            };
            struct v4l2_subdev_internal_ops {
                /* 當subdev註冊時被調用，讀取IC的ID來進行識別 */
                int(*registered)(struct v4l2_subdev *sd);
                void(*unregistered)(struct v4l2_subdev *sd);
                /* 當設備節點被打開時調用，一般會給設備上電和設置視頻捕捉FMT */
                int(*open)(struct v4l2_subdev *sd, struct v4l2_subdev_fh *fh);
                int(*close)(struct v4l2_subdev *sd, struct v4l2_subdev_fh *fh);
            };

    視頻設備一般須要實現core和video成員，這兩個OPS中的操做都是可選的，可是對於視頻流設備video->s_stream(開啓或關閉流IO)必需要實現。v4l2_subdev_internal_ops是向V4L2框架提供的接口，只能被V4L2框架層調用。在註冊或打開子設備時，進行一些輔助性操做。
    Subdev的註冊和註銷：
                        int v4l2_device_register_subdev(struct v4l2_device *v4l2_dev, struct v4l2_subdev *sd)
                        void v4l2_device_unregister_subdev(struct v4l2_subdev *sd)


3. struct video_device
    video_device結構體用於在/dev目錄下生成設備節點文件，把操做設備的接口暴露給用戶空間

struct video_device
{
    const struct v4l2_file_operations *fops;  //V4L2設備操做集合
    struct cdev *cdev; //字符設備

    struct v4l2_device *v4l2_dev;
    struct v4l2_ctrl_handler *ctrl_handler;

    struct vb2_queue *queue; //指向video buffer隊列
    int vfl_type;      /* device type */

    intminor;  //次設備號

    /*ioctl回調函數集，提供file_operations中的ioctl調用 */
    const struct v4l2_ioctl_ops *ioctl_ops;
    ..........
};
    
    Video_device分配和釋放, 用於分配和釋放video_device結構體：
        struct video_device *video_device_alloc(void)
        void video_device_release(struct video_device *vdev)
    video_device註冊和註銷，實現video_device結構體的相關成員後，就能夠調用下面的接口進行註冊：
        static inline int __must_check video_register_device(struct video_device *vdev, inttype, int nr)
        void video_unregister_device(struct video_device*vdev);
            vdev：須要註冊和註銷的video_device；
            type：設備類型，包括VFL_TYPE_GRABBER、VFL_TYPE_VBI、VFL_TYPE_RADIO和VFL_TYPE_SUBDEV。
            nr：設備節點名編號，如/dev/video[nr]。

4. struct v4l2_ctrl_handler
    v4l2_ctrl_handler是用於保存子設備控制方法集的結構體，結構體以下： 
struct v4l2_ctrl_handler {
    struct list_head ctrls;
    struct list_head ctrl_refs;
    struct v4l2_ctrl_ref *cached;
    struct v4l2_ctrl_ref **buckets;
    v4l2_ctrl_notify_fnc notify;
    u16 nr_of_buckets;
    int error;
};

    其中成員ctrls做爲鏈表存儲包括設置亮度、飽和度、對比度和清晰度等方法，能夠經過v4l2_ctrl_new_xxx()函數建立具體方法並添加到鏈表ctrls。

2.2 videobuf管理

　　在講解v4l2的buffer管理前，先介紹v4l2的IO訪問， V4L2支持三種不一樣IO訪問方式(內核中還支持了其它的訪問方式，暫不討論)：

　　read和write：是基本幀IO訪問方式，經過read讀取每一幀數據，數據須要在內核和用戶之間拷貝，這種方式訪問速度可能會很是慢；

　　內存映射緩衝區(V4L2_MEMORY_MMAP)：是在內核空間開闢緩衝區，應用經過mmap()系統調用映射到用戶地址空間。這些緩衝區能夠是大而連續DMA緩衝區、經過vmalloc()建立的虛擬緩衝區，或者直接在設備的IO內存中開闢的緩衝區(若是硬件支持)；

　　用戶空間緩衝區(V4L2_MEMORY_USERPTR)：是用戶空間的應用中開闢緩衝區，用戶與內核空間之間交換緩衝區指針。很明顯，在這種狀況下是不須要mmap()調用的，但驅動爲有效的支持用戶空間緩衝區，其工做將也會更困難。

　　read和write方式屬於幀IO訪問方式，每一幀都要經過IO操做，須要用戶和內核之間數據拷貝，然後兩種是流IO訪問方式，不須要內存拷貝，訪問速度比較快。內存映射緩衝區訪問方式是比較經常使用的方式。

　　現以V4L2_MEMORY_MMAP簡單介紹數據流經過程：

　　Camera sensor捕捉到圖像數據經過並口或MIPI傳輸到CAMIF(camera interface)，CAMIF能夠對圖像數據進行調整(翻轉、裁剪和格式轉換等)。而後DMA控制器設置DMA通道請求AHB將圖像數據傳到分配好的DMA緩衝區。待圖像數據傳輸到DMA緩衝區以後，mmap操做把緩衝區映射到用戶空間，應用就能夠直接訪問緩衝區的數據。而爲了使設備支持流IO這種方式，v4l2須要實現對video buffer的管理，即實現：

/* vb2_queue表明一個videobuffer隊列，vb2_buffer是這個隊列中的成員，vb2_mem_ops是緩衝內存的操做函數集，vb2_ops用來管理隊列 */
struct vb2_queue {
    enum v4l2_buf_type type;  //buffer類型
    unsigned int io_modes;  //訪問IO的方式:mmap、userptr etc
    const struct vb2_ops *ops;  //buffer隊列操做函數集合
    const struct vb2_mem_ops *mem_ops;  //buffer memory操做集合
    struct vb2_buffer *bufs[VIDEO_MAX_FRAME];  //表明每一個frame buffer
    unsignedint num_buffers;  //分配的buffer個數
    ..........
};


/* vb2_mem_ops包含了內存映射緩衝區、用戶空間緩衝區的內存操做方法 */
struct vb2_mem_ops {
    void *(*alloc)(void *alloc_ctx, unsignedlong size);  //分配視頻緩存
    void (*put)(void *buf_priv);  //釋放視頻緩存

    /* 獲取用戶空間視頻緩衝區指針 */
    void *(*get_userptr)(void *alloc_ctx, unsigned long vaddr, unsignedlong size, int write);
    void (*put_userptr)(void *buf_priv);  //釋放用戶空間視頻緩衝區指針
    /* 用於緩存同步 */
    void (*prepare)(void *buf_priv);
    void (*finish)(void *buf_priv);
    /* 緩存虛擬地址 & 物理地址 */
    void *(*vaddr)(void *buf_priv);
    void *(*cookie)(void *buf_priv);

    unsignedint (*num_users)(void *buf_priv);  //返回當期在用戶空間的buffer數
    int (*mmap)(void *buf_priv, structvm_area_struct *vma);  //把緩衝區映射到用戶空間
    ..............
};

/* mem_ops由kernel自身實現並提供了三種類型的視頻緩存區操做方法：連續的DMA緩衝區、集散的DMA緩衝區以及vmalloc建立的緩衝區，分別由videobuf2-dma-contig.c、videobuf2-dma-sg.c和videobuf-vmalloc.c文件實現，能夠根據實際狀況來使用。*/


/* vb2_ops是用來管理buffer隊列的函數集合，包括隊列和緩衝區初始化等 */
struct vb2_ops {
    //隊列初始化
    int(*queue_setup)(struct vb2_queue *q, const struct v4l2_format *fmt,
                       unsigned int *num_buffers, unsigned int*num_planes,
                       unsigned int sizes[], void *alloc_ctxs[]);

    //釋放和獲取設備操做鎖
    void(*wait_prepare)(struct vb2_queue *q);
    void(*wait_finish)(struct vb2_queue *q);

    //對buffer的操做
    int(*buf_init)(struct vb2_buffer *vb);
    int(*buf_prepare)(struct vb2_buffer *vb);
    int(*buf_finish)(struct vb2_buffer *vb);
    void(*buf_cleanup)(struct vb2_buffer *vb);

    //開始/中止視頻流
    int(*start_streaming)(struct vb2_queue *q, unsigned int count);
    int(*stop_streaming)(struct vb2_queue *q);

    //把VB傳遞給驅動，以填充frame數據
    void(*buf_queue)(struct vb2_buffer *vb);
};

　　一個frame buffer(vb2_buffer/v4l2_buffer)能夠有三種狀態：

　　　　1. 在驅動的輸入隊列中，驅動程序將會對此隊列中的緩衝區進行處理，用戶空間經過IOCTL:VIDIOC_QBUF 把緩衝區放入到隊列。對於一個視頻捕獲設備，傳入隊列中的緩衝區是空的，驅動會往其中填充數據；

　　　　2. 在驅動的輸出隊列中，這些緩衝區已由驅動處理過，對於一個視頻捕獲設備，緩存區已經填充了視頻數據，正等用戶空間來認領；

　　　　3. 用戶空間狀態的隊列，已經經過IOCTL:VIDIOC_DQBUF傳出到用戶空間的緩衝區，此時緩衝區由用戶空間擁有，驅動沒法訪問。

　　這三種狀態的切換以下圖所示：

最終落腳點的struct v4l2_buffer結構以下：

struct v4l2_buffer {
    __u32 index;  //buffer 序號
    __u32 type;  //buffer類型
    __u32 bytesused;  //緩衝區已使用byte數
    structtimeval timestamp;  //時間戳，表明幀捕獲的時間

    __u32 memory;  //表示緩衝區是內存映射緩衝區仍是用戶空間緩衝區
    union {
        __u32 offset;  //內核緩衝區的位置
        unsignedlong userptr;   //緩衝區的用戶空間地址
        structv4l2_plane *planes;
        __s32 fd;
    } m;
    __u32 length;   //緩衝區大小，單位byte
};

　　當用戶空間拿到v4l2_buffer，能夠獲取到緩衝區的相關信息。Byteused是圖像數據所佔的字節數，若是是V4L2_MEMORY_MMAP方式，m.offset是內核空間圖像數據存放的開始地址，會傳遞給mmap函數做爲一個偏移，經過mmap映射返回一個緩衝區指針p，p+byteused是圖像數據在進程的虛擬地址空間所佔區域；若是是用戶指針緩衝區的方式，能夠獲取的圖像數據開始地址的指針m.userptr，userptr是一個用戶空間的指針，userptr+byteused即是所佔的虛擬地址空間，應用能夠直接訪問

2.3 Ioctl框架如圖：

　　用戶空間經過打開/dev/目錄下的設備節點，獲取到文件的file結構體，經過系統調用ioctl把cmd和arg傳入到內核。經過一系列的調用後最終會調用到__video_do_ioctl函數，而後經過cmd檢索v4l2_ioctls[]，判斷是INFO_FL_STD仍是INFO_FL_FUNC。若是是INFO_FL_STD會直接調用到視頻設備驅動中video_device->v4l2_ioctl_ops函數集。若是是INFO_FL_FUNC會先調用到v4l2本身實現的標準回調函數，而後根據arg再調用到video_device->v4l2_ioctl_ops或v4l2_fh->v4l2_ctrl_handler函數集。

4、用戶空間訪問 camera & 示例程序

/* 
 *  V4L2 video capture example 
 * 
 *  This program can be used and distributed without restrictions. 
 * 
 *      This program is provided with the V4L2 API 
 * see http://linuxtv.org/docs.php for more information 
 */  
  
#include <stdio.h>  
#include <stdlib.h>  
#include <string.h>  
#include <assert.h>  
  
#include <getopt.h>             /* getopt_long() */  
  
#include <fcntl.h>              /* low-level i/o */  
#include <unistd.h>  
#include <errno.h>  
#include <sys/stat.h>  
#include <sys/types.h>  
#include <sys/time.h>  
#include <sys/mman.h>  
#include <sys/ioctl.h>  
#include <linux/videodev2.h>  

#define CLEAR(x) memset(&(x), 0, sizeof(x))  
  
enum io_method {  
        IO_METHOD_READ,  
        IO_METHOD_MMAP,  
        IO_METHOD_USERPTR,  
};  
  
struct buffer {  
        void   *start;  
        size_t  length;  
};  
  
static char            *dev_name;  
static enum io_method   io = IO_METHOD_MMAP;  
static int              fd = -1;  
struct buffer          *buffers;  
static unsigned int     n_buffers;  
static int              out_buf;  
static int              force_format;  
static int              frame_count = 4;  
 
static void errno_exit(const char *s)  
{  
        fprintf(stderr, "%s error %d, %s\n", s, errno, strerror(errno));  
        exit(EXIT_FAILURE);  
}  
  
static int xioctl(int fh, int request, void *arg)  
{  
        int r;  
  
        do {  
                r = ioctl(fh, request, arg);  
        } while (-1 == r && EINTR == errno);  
  
        return r;  
}  
  
static void process_image(const void *p, int size)  
{
        if (out_buf)  
                fwrite(p, size, 1, stdout);  
  
        fflush(stderr);  
        fprintf(stderr, ".");  
        fflush(stdout);  
}  

static void store_image(const char *buf_start, int size, int index)
{
    char path[20];
    
    snprintf(path, sizeof(path), "./yuyv%d.yuv", index); 
    int fd = open(path, O_WRONLY|O_CREAT, 00700);
        if (-1 == fd) {  
                fprintf(stderr, "Cannot open '%s': %d, %s\n",  
                         path, errno, strerror(errno));  
                exit(EXIT_FAILURE);  
        }  

    write(fd, buf_start, size);  
    close(fd);  
}

static int read_frame(void)  
{  
        struct v4l2_buffer buf;  
        unsigned int i;  
  
        switch (io) {  
        case IO_METHOD_READ:  
                if (-1 == read(fd, buffers[0].start, buffers[0].length)) {  
                        switch (errno) {  
                        case EAGAIN:  
                                return 0;  
  
                        case EIO:  
                                /* Could ignore EIO, see spec. */  
  
                                /* fall through */  
  
                        default:  
                                errno_exit("read");  
                        }  
                }  
  
                process_image(buffers[0].start, buffers[0].length);  
                break;  
  
        case IO_METHOD_MMAP:  
                CLEAR(buf);  
  
                buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                buf.memory = V4L2_MEMORY_MMAP;  
                if (-1 == xioctl(fd, VIDIOC_DQBUF, &buf)) {  
                        switch (errno) {  
                        case EAGAIN:  
                                return 0;  
  
                        case EIO:  
                                /* Could ignore EIO, see spec. */  
  
                                /* fall through */  
  
                        default:  
                                errno_exit("VIDIOC_DQBUF");  
                        }  
                }  
                assert(buf.index < n_buffers);  

          //printf("buf.bytesused = %d\n", buf.bytesused);
                process_image(buffers[buf.index].start, buf.bytesused);  
        store_image(buffers[buf.index].start, buf.bytesused, buf.index);
  
                if (-1 == xioctl(fd, VIDIOC_QBUF, &buf))  
                        errno_exit("VIDIOC_QBUF");  
                break;  
  
        case IO_METHOD_USERPTR:  
                CLEAR(buf);  
  
                buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                buf.memory = V4L2_MEMORY_USERPTR;  
  
                if (-1 == xioctl(fd, VIDIOC_DQBUF, &buf)) {  
                        switch (errno) {  
                        case EAGAIN:  
                                return 0;  
  
                        case EIO:  
                                /* Could ignore EIO, see spec. */  
  
                                /* fall through */  
  
                        default:  
                                errno_exit("VIDIOC_DQBUF");  
                        }  
                }  
  
                for (i = 0; i < n_buffers; ++i)  
                        if (buf.m.userptr == (unsigned long)buffers[i].start  
                            && buf.length == buffers[i].length)  
                                break;  
  
                assert(i < n_buffers);  
  
                process_image((void *)buf.m.userptr, buf.bytesused);  
  
                if (-1 == xioctl(fd, VIDIOC_QBUF, &buf))  
                        errno_exit("VIDIOC_QBUF");  
                break;  
        }  
  
        return 1;  
}  
  
/* two operations 
 * step1 : delay 
 * step2 : read frame 
 */  
static void mainloop(void)  
{  
        unsigned int count;  
  
        count = frame_count;  
  
        while (count-- > 0) {  
                for (;;) {  
                        fd_set fds;  
                        struct timeval tv;  
                        int r;  
  
                        FD_ZERO(&fds);  
                        FD_SET(fd, &fds);  
  
                        /* Timeout. */  
                        tv.tv_sec = 2;  
                        tv.tv_usec = 0;  
  
                        r = select(fd + 1, &fds, NULL, NULL, &tv);  
  
                        if (-1 == r) {  
                                if (EINTR == errno)  
                                        continue;  
                                errno_exit("select");  
                        }  
  
                        if (0 == r) {  
                                fprintf(stderr, "select timeout\n"); 
                                exit(EXIT_FAILURE);  
                        }  
  
                        if (read_frame())  
                                break;  
                        /* EAGAIN - continue select loop. */  
                }  
        }  
}  
/* 
 * one operation 
 * step1 : VIDIOC_STREAMOFF 
 */  
static void stop_capturing(void)  
{  
        enum v4l2_buf_type type;  
        switch (io) {  
        case IO_METHOD_READ:  
                /* Nothing to do. */  
                break;  
  
        case IO_METHOD_MMAP:  
        case IO_METHOD_USERPTR:  
                type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                if (-1 == xioctl(fd, VIDIOC_STREAMOFF, &type))  
                        errno_exit("VIDIOC_STREAMOFF");  
                break;  
        }  
}  
  
/* tow operations 
 * step1 : VIDIOC_QBUF(insert buffer to queue) 
 * step2 : VIDIOC_STREAMOFF 
 */  
static void start_capturing(void)  
{  
        unsigned int i;  
        enum v4l2_buf_type type;  
  
        switch (io) {  
        case IO_METHOD_READ:  
                /* Nothing to do. */  
                break;  
  
        case IO_METHOD_MMAP:  
                for (i = 0; i < n_buffers; ++i) {  
                        struct v4l2_buffer buf;  
  
                        CLEAR(buf);  
                        buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                        buf.memory = V4L2_MEMORY_MMAP;  
                        buf.index = i;  
  
                        if (-1 == xioctl(fd, VIDIOC_QBUF, &buf))  
                                errno_exit("VIDIOC_QBUF");  
                } 
                type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                if (-1 == xioctl(fd, VIDIOC_STREAMON, &type))  
                        errno_exit("VIDIOC_STREAMON");  
        break;  
  
        case IO_METHOD_USERPTR:  
                for (i = 0; i < n_buffers; ++i) {  
                        struct v4l2_buffer buf;  
  
                        CLEAR(buf);  
                        buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                        buf.memory = V4L2_MEMORY_USERPTR;  
                        buf.index = i;  
                        buf.m.userptr = (unsigned long)buffers[i].start;  
                        buf.length = buffers[i].length;  
  
                        if (-1 == xioctl(fd, VIDIOC_QBUF, &buf))  
                                errno_exit("VIDIOC_QBUF");  
                }  
                type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                if (-1 == xioctl(fd, VIDIOC_STREAMON, &type))  
                        errno_exit("VIDIOC_STREAMON");  
                break;  
        }  
}  
  
/* two operations 
 * step1 : munmap buffers 
 * steo2 : free buffers 
 */  
static void uninit_device(void)  
{  
        unsigned int i;  
  
        switch (io) {  
        case IO_METHOD_READ:  
                free(buffers[0].start);  
                break;  
  
        case IO_METHOD_MMAP:  
                for (i = 0; i < n_buffers; ++i)  
                        if (-1 == munmap(buffers[i].start, buffers[i].length))  
                                errno_exit("munmap");  
                break;  
  
        case IO_METHOD_USERPTR:  
                for (i = 0; i < n_buffers; ++i)  
                        free(buffers[i].start);  
                break;  
        }  
  
        free(buffers);  
}  
  
static void init_read(unsigned int buffer_size)  
{  
        buffers = calloc(1, sizeof(*buffers));  
  
        if (!buffers) {  
                fprintf(stderr, "Out of memory\n");  
                exit(EXIT_FAILURE);  
        }  
  
        buffers[0].length = buffer_size;  
        buffers[0].start = malloc(buffer_size);  
  
        if (!buffers[0].start) {  
                fprintf(stderr, "Out of memory\n");  
                exit(EXIT_FAILURE);  
        }  
}  
  
static void init_mmap(void)  
{  
        struct v4l2_requestbuffers req;  
  
        CLEAR(req);  
  
        req.count = 4;  
        req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
        req.memory = V4L2_MEMORY_MMAP;  

        if (-1 == xioctl(fd, VIDIOC_REQBUFS, &req)) {  
                if (EINVAL == errno) {  
                        fprintf(stderr, "%s does not support "  
                                 "memory mapping\n", dev_name);  
                        exit(EXIT_FAILURE);  
                } else {  
                        errno_exit("VIDIOC_REQBUFS");  
                }  
        }  
  
        if (req.count < 2) {  
                fprintf(stderr, "Insufficient buffer memory on %s\n",  
                         dev_name);  
                exit(EXIT_FAILURE);  
        }  
        buffers = calloc(req.count, sizeof(*buffers));  
  
        if (!buffers) {  
                fprintf(stderr, "Out of memory\n");  
                exit(EXIT_FAILURE);  
        }  
  
        for (n_buffers = 0; n_buffers < req.count; ++n_buffers) {  
                struct v4l2_buffer buf;  
  
                CLEAR(buf);  
  
                buf.type        = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                buf.memory      = V4L2_MEMORY_MMAP;  
                buf.index       = n_buffers;  
  
                if (-1 == xioctl(fd, VIDIOC_QUERYBUF, &buf))  
                        errno_exit("VIDIOC_QUERYBUF");  
  
                buffers[n_buffers].length = buf.length;
        printf("buffers[%d].length=%d\n", n_buffers, buffers[n_buffers].length);
                buffers[n_buffers].start =  
                        mmap(NULL /* start anywhere */,  
                              buf.length,  
                              PROT_READ | PROT_WRITE /* required */,  
                              MAP_SHARED /* recommended */,  
                              fd, buf.m.offset);  
  
                if (MAP_FAILED == buffers[n_buffers].start)  
                        errno_exit("mmap");  
        }  
}  
  
static void init_userp(unsigned int buffer_size)  
{  
        struct v4l2_requestbuffers req;  
  
        CLEAR(req);  
  
        req.count  = 4;  
        req.type   = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
        req.memory = V4L2_MEMORY_USERPTR;  
  
        if (-1 == xioctl(fd, VIDIOC_REQBUFS, &req)) {  
                if (EINVAL == errno) {  
                        fprintf(stderr, "%s does not support "  
                                 "user pointer i/o\n", dev_name);  
                        exit(EXIT_FAILURE);  
                } else {  
                        errno_exit("VIDIOC_REQBUFS");  
                }  
        }  
  
        buffers = calloc(4, sizeof(*buffers));  
  
        if (!buffers) {  
                fprintf(stderr, "Out of memory\n");  
                exit(EXIT_FAILURE);  
        }  
  
        for (n_buffers = 0; n_buffers < 4; ++n_buffers) {  
                buffers[n_buffers].length = buffer_size;  
                buffers[n_buffers].start = malloc(buffer_size);  
  
                if (!buffers[n_buffers].start) {  
                        fprintf(stderr, "Out of memory\n");  
                        exit(EXIT_FAILURE);  
                }  
        }  
}  
  
/* five operations 
 * step1 : cap :query camera's capability and check it(is a video device? is it support read? is it support streaming?) 
 * step2 : cropcap:set cropcap's type and get cropcap by VIDIOC_CROPCAP 
 * step3 : set crop parameter by VIDIOC_S_CROP (such as frame type and angle) 
 * step4 : set fmt 
 * step5 : mmap 
 */  
static void init_device(void)  
{  
        struct v4l2_capability cap;  
        struct v4l2_cropcap cropcap;  
        struct v4l2_crop crop;  
        struct v4l2_format fmt;  
        unsigned int min; 

    
        if (-1 == xioctl(fd, VIDIOC_QUERYCAP, &cap)) {  
                if (EINVAL == errno) {  
                        fprintf(stderr, "%s is no V4L2 device\n",  
                                 dev_name);  
                        exit(EXIT_FAILURE);  
                } else {  
                        errno_exit("VIDIOC_QUERYCAP");  
                }  
        }  
        if (!(cap.capabilities & V4L2_CAP_VIDEO_CAPTURE)) {  
                fprintf(stderr, "%s is no video capture device\n",  
                         dev_name);  
                exit(EXIT_FAILURE);  
        }  

        switch (io) {  
        case IO_METHOD_READ:  
                if (!(cap.capabilities & V4L2_CAP_READWRITE)) {  
                        fprintf(stderr, "%s does not support read i/o\n",  
                                 dev_name);  
                        exit(EXIT_FAILURE);  
                }  
                break;  
  
        case IO_METHOD_MMAP:  
        case IO_METHOD_USERPTR:  
                if (!(cap.capabilities & V4L2_CAP_STREAMING)) {  
                        fprintf(stderr, "%s does not support streaming i/o\n",  
                                 dev_name);  
                        exit(EXIT_FAILURE);  
                }  
                break;  
        }  
  
  
        /* Select video input, video standard and tune here. */  
        CLEAR(cropcap);  
  
        cropcap.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
        /* if device support cropcap's type then set crop */  
        if (0 == xioctl(fd, VIDIOC_CROPCAP, &cropcap)) {  
                crop.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
                crop.c = cropcap.defrect; /* reset to default */  
  
                if (-1 == xioctl(fd, VIDIOC_S_CROP, &crop)) {  
                        switch (errno) {  
                        case EINVAL:  
                                /* Cropping not supported. */  
                                break;  
                        default:  
                                /* Errors ignored. */  
                                break;  
                        }  
                }  
        } else {  
                /* Errors ignored. */  
        }  
  
  
        CLEAR(fmt);  
  
        fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  
        if (force_format) {  
                fmt.fmt.pix.width       = 640;  
                fmt.fmt.pix.height      = 480;  
                fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;  
                fmt.fmt.pix.field       = V4L2_FIELD_INTERLACED; 
  
          printf("set %d*%d YUYV format\n", fmt.fmt.pix.width, fmt.fmt.pix.height);
                if (-1 == xioctl(fd, VIDIOC_S_FMT, &fmt))  
                        errno_exit("VIDIOC_S_FMT");  
  
                /* Note VIDIOC_S_FMT may change width and height. */  
        } else {  
                /* Preserve original settings as set by v4l2-ctl for example */  
                if (-1 == xioctl(fd, VIDIOC_G_FMT, &fmt))  
                        errno_exit("VIDIOC_G_FMT");  
        }  
  
        /* Buggy driver paranoia. */  
        min = fmt.fmt.pix.width * 2;  
        if (fmt.fmt.pix.bytesperline < min)  
                fmt.fmt.pix.bytesperline = min;  
        min = fmt.fmt.pix.bytesperline * fmt.fmt.pix.height;  
        if (fmt.fmt.pix.sizeimage < min)  
                fmt.fmt.pix.sizeimage = min;  
  
        switch (io) {  
        case IO_METHOD_READ:  
                init_read(fmt.fmt.pix.sizeimage);  
                break;  
  
        case IO_METHOD_MMAP:  
                init_mmap();  
                break;  
  
        case IO_METHOD_USERPTR:  
                init_userp(fmt.fmt.pix.sizeimage);  
                break;  
        }  
}  
  
/* 
 * close (fd) 
 */  
static void close_device(void)  
{  
        if (-1 == close(fd))  
                errno_exit("close");  
  
        fd = -1;  
}  
  
/* three operations 
 * step 1 : check dev_name and st_mode 
 * step 2 : open(device) 
 */  
static void open_device(void)  
{  
        struct stat st;  
  
        if (-1 == stat(dev_name, &st)) {  
                fprintf(stderr, "Cannot identify '%s': %d, %s\n",  
                         dev_name, errno, strerror(errno));  
                exit(EXIT_FAILURE);  
        }  
  
        if (!S_ISCHR(st.st_mode)) {  
                fprintf(stderr, "%s is no device\n", dev_name);  
                exit(EXIT_FAILURE);  
        }  
  
        fd = open(dev_name, O_RDWR /* required */ | O_NONBLOCK, 0);  
  
        if (-1 == fd) {  
                fprintf(stderr, "Cannot open '%s': %d, %s\n",  
                         dev_name, errno, strerror(errno));  
                exit(EXIT_FAILURE);  
        }  
}  
  
static void usage(FILE *fp, int argc, char **argv)  
{  
        fprintf(fp,  
                 "Usage: %s [options]\n\n"  
                 "Version 1.3\n"  
                 "Options:\n"  
                 "-d | --device name   Video device name [%s]\n"  
                 "-h | --help          Print this message\n"  
                 "-m | --mmap          Use memory mapped buffers [default]\n"  
                 "-r | --read          Use read() calls\n"  
                 "-u | --userp         Use application allocated buffers\n"  
                 "-o | --output        Outputs stream to stdout\n"  
                 "-f | --format        Force format to 640x480 YUYV\n"  
                 "-c | --count         Number of frames to grab [%i]\n"  
                 "",  
                 argv[0], dev_name, frame_count);  
}  
  
static const char short_options[] = "d:hmruofc:";  
  
static const struct option  
long_options[] = {  
        { "device", required_argument, NULL, 'd' },  
        { "help",   no_argument,       NULL, 'h' },  
        { "mmap",   no_argument,       NULL, 'm' },  
        { "read",   no_argument,       NULL, 'r' },  
        { "userp",  no_argument,       NULL, 'u' },  
        { "output", no_argument,       NULL, 'o' },  
        { "format", no_argument,       NULL, 'f' },  
        { "count",  required_argument, NULL, 'c' },  
        { 0, 0, 0, 0 }  
};  
  
int main(int argc, char **argv)  
{  
        dev_name = "/dev/video0";  
  
        for (;;) {  
                int idx;  
                int c;  
  
                c = getopt_long(argc, argv,  
                                short_options, long_options, &idx);  
  
                if (-1 == c)  
                        break;  
  
                switch (c) {  
                case 0: /* getopt_long() flag */  
                        break;  
  
                case 'd':  
                        dev_name = optarg;  
                        break;  
  
                case 'h':  
                        usage(stdout, argc, argv);  
                        exit(EXIT_SUCCESS);  
  
                case 'm':  
                        io = IO_METHOD_MMAP;  
                        break;  
  
                case 'r':  
                        io = IO_METHOD_READ;  
                        break;  
  
                case 'u':  
                        io = IO_METHOD_USERPTR;  
                        break;  
  
                case 'o':  
                        out_buf++;  
                        break;  
  
                case 'f':  
                        force_format++;  
                        break;  
  
                case 'c':  
                        errno = 0;  
                        frame_count = strtol(optarg, NULL, 0);  
                        if (errno)  
                                errno_exit(optarg);  
                        break;  
  
                default:  
                        usage(stderr, argc, argv);  
                        exit(EXIT_FAILURE);  
                }  
        }  
  
        open_device();  
    init_device(); 

        start_capturing();  
        mainloop();  
        stop_capturing();  
        uninit_device(); 
        close_device();  
        fprintf(stderr, "\n");  
        return 0;  
}

/ # ./a.out -f
set 640*480 YUYV format
buffers[0].length=614400
buffers[1].length=614400
buffers[2].length=614400
buffers[3].length=614400
....
/ # sz yuyv2.yuv

用圖片查看器「RawImageViewer.exe」：（因爲個人攝像頭配置成掃碼模式因此是黑白圖）