UVC (USB Video Class) 使用筆記 (轉)

時間 2019-11-21

標籤 uvc usb video class 使用筆記欄目 USB 简体版

原文原文鏈接

最近有個需求，要在ARM Linux上實現USB Camera 拍照功能。linux

0. 背景知識：

首先要確認的是，Kernel 是否支持 USB Camera。由於 Linux 下，USB 協議除了電氣協議和標準，還有不少 Class。這些 Class 就是爲了支持和定義某一類設備接口和交互數據格式。只要符合這類標準，則不一樣廠商的 USB 設備，不須要特定的 driver 就能在Linux下使用。git

例如：USB Input class, 則使全部輸入設備均可以直接使用。還有相似 Audio Class，Pring Class，Mass Storage Class，Video class 等。編程

其中 Video Class 就是咱們常說的 UVC（USB Video Class）. 只要 USB Camera 符合 UVC 標準。理論上在 2.6 Kernel Linux 就能夠正常使用。緩存

網絡上有人談到怎樣判斷是否 UVC Camera 設備：網絡

#lsusbide

Bus 001 Device 010: ID 046d:0825 Logitech, Inc.

#lsusb -d 046d:0825 -v | grep "14 Video"函數

若是出現：oop

	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video
	bInterfaceClass        14 Video

則說明是支持UVC.orm

1. Kernel配置：

Device Drivers ---> <*> Multimedia support ---> <M> Video For Linux視頻

Device Drivers ---> <*> Multimedia support ---> [*] Video capture adapters ---> [*] V4L USB devices ---> <M> USB Video Class (UVC)

--- V4L USB devices: 這裏還有不少特定廠商的 driver. 可供選擇。

分析：

"USB Video Class (UVC)"：對應的 driver 是：uvcvideo.ko

"Video For Linux": 對應 driver 是：videodev.ko

安裝 driver 順序以下：

insmod v4l1_compat.ko
insmod videodev.ko
insmod uvcvideo.ko

driver 會建立一個或多個主設備號爲81，次設備號：0-255的設備。

除了camer a會建立爲：/dev/videoX 以外，還有 VBI 設備 -/dev/vbiX. Radio 設備 --/dev/radioX.

2. V4L2一些概念：

2.1：Video Input and Output:

video input and output是指 device 物理鏈接。

只有 video 和 VBI capture 擁有 input.

Radio 設備則沒有 video input 和 output.

2.2: Video Standards:

Video Device支持一個或多個Video 標準。

3. 使用V4L2編程：

使用V4L2(Video for Linux 2) API的過程大體以下：

Opening the device
Changing device properties, selecting a video and audio input, video standard, picture brightness a. o.
Negotiating a data format
Negotiating an input/output method
The actual input/output loop
Closing the device

3.1：打開設備：

fd = open ("/dev/video0", O_RDWR, 0); //以阻塞模式打開設想頭

3.2: 查詢設備能力：Querying Capabilities:

由於 V4L2 能夠對多種設備編程，因此並非全部 API 能夠對全部設備編程，哪怕是同類型的設備，使用ioctl--VIDIOC_QUERYCAP 去詢問支持什麼功能。

struct v4l2_capability cap;
rel = ioctl(fdUsbCam, VIDIOC_QUERYCAP, &cap);
if(rel != 0)
{
  perror("ioctl VIDIOC_QUERYCAP");
  return -1;
}

結構體以下：

struct v4l2_capability
{
  __u8 driver[16];
  __u8 card[32];
  __u8 bus_info[32];
  __u32 version;
  __u32 capabilities;
  __u32 reserved[4];
};

這裏面最重要的是：capabilities:

頭文件 linux/videodev2.h 和 kernel 頭文件 linux/videodev2.h 中都有描述：

#define V4L2_CAP_VIDEO_CAPTURE		0x00000001  
#define V4L2_CAP_VIDEO_OUTPUT		0x00000002  
#define V4L2_CAP_VIDEO_OVERLAY		0x00000004  
#define V4L2_CAP_VBI_CAPTURE		0x00000010  
#define V4L2_CAP_VBI_OUTPUT		0x00000020  
#define V4L2_CAP_SLICED_VBI_CAPTURE	0x00000040  
#define V4L2_CAP_SLICED_VBI_OUTPUT	0x00000080  
#define V4L2_CAP_RDS_CAPTURE		0x00000100  
#define V4L2_CAP_VIDEO_OUTPUT_OVERLAY	0x00000200  
#define V4L2_CAP_HW_FREQ_SEEK		0x00000400  
#define V4L2_CAP_RDS_OUTPUT		0x00000800  

#define V4L2_CAP_TUNER			0x00010000  
#define V4L2_CAP_AUDIO			0x00020000  
#define V4L2_CAP_RADIO			0x00040000  
#define V4L2_CAP_MODULATOR		0x00080000  

#define V4L2_CAP_READWRITE              0x01000000  
#define V4L2_CAP_ASYNCIO                0x02000000  
#define V4L2_CAP_STREAMING              0x04000000

這裏要說到 VBI，Vertical Blanking Interval 的縮寫。電視信號包括一部分非可視信號，它不傳送可視信息，所以被稱爲ⅦI(垂直消隱期間)。VBI 能夠用於傳送其餘信息，一般是一種專用字幕信號, 這和 Blog 重顯率中所說暗合。

在這裏，V4L2_CAP_VIDEO_CAPTURE 說明設備是個圖像採集設備，V4L2_CAP_STREAMING 說明是個 Streaming 設備。一般，攝像頭都支持以上兩個能力。

3.3：查詢當前捕獲格式：

memset(&fmt, 0, sizeof(struct v4l2_format));
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

if (ioctl(fdUsbCam, VIDIOC_G_FMT, &fmt) < 0)
{
    printf("get format failed\n");
    return -1;
}

注意，此處，fmt 是個 in/out 參數。

參見 Kernel 代碼 v4l2_ioctl.c 中。此 ioctl，它會首先判斷 fmt.type.

type 類型和含義以下：

V4L2_BUF_TYPE_VIDEO_CAPTURE      ：vid-cap
V4L2_BUF_TYPE_VIDEO_OVERLAY      ：vid-overlay
V4L2_BUF_TYPE_VIDEO_OUTPUT       : vid-out
V4L2_BUF_TYPE_VBI_CAPTURE        : vbi-cap
V4L2_BUF_TYPE_VBI_OUTPUT         : vbi-out
V4L2_BUF_TYPE_SLICED_VBI_CAPTURE : sliced-vbi-cap
V4L2_BUF_TYPE_SLICED_VBI_OUTPUT  : sliced-vbi-out
V4L2_BUF_TYPE_VIDEO_OUTPUT_OVERLAY : vid-out-overlay

我們是使用 Video Cam 的。因此用 V4L2_BUF_TYPE_VIDEO_CAPTURE

struct v4l2_format
{
  enum v4l2_buf_type type;
  union
  {
	struct v4l2_pix_format pix;
	struct v4l2_window win;
	struct v4l2_vbi_format vbi;
	struct v4l2_sliced_vbi_format sliced;
	__u8 raw_data[200];
  } fmt;
};

咱們獲得的信息在 v4l2_pix_format 中。

你能夠看到，寬，高，像素格式。

其中像素格式包括：

#define V4L2_PIX_FMT_RGB332 v4l2_fourcc('R','G','B','1')  
#define V4L2_PIX_FMT_RGB555 v4l2_fourcc('R','G','B','O')  
#define V4L2_PIX_FMT_RGB565 v4l2_fourcc('R','G','B','P')  
#define V4L2_PIX_FMT_RGB555X v4l2_fourcc('R','G','B','Q')  
#define V4L2_PIX_FMT_RGB565X v4l2_fourcc('R','G','B','R')  
#define V4L2_PIX_FMT_BGR24 v4l2_fourcc('B','G','R','3')  
#define V4L2_PIX_FMT_RGB24 v4l2_fourcc('R','G','B','3')  
#define V4L2_PIX_FMT_BGR32 v4l2_fourcc('B','G','R','4')  
#define V4L2_PIX_FMT_RGB32 v4l2_fourcc('R','G','B','4')  
#define V4L2_PIX_FMT_GREY v4l2_fourcc('G','R','E','Y')  
#define V4L2_PIX_FMT_YVU410 v4l2_fourcc('Y','V','U','9')  
#define V4L2_PIX_FMT_YVU420 v4l2_fourcc('Y','V','1','2')  
#define V4L2_PIX_FMT_YUYV v4l2_fourcc('Y','U','Y','V')  
#define V4L2_PIX_FMT_UYVY v4l2_fourcc('U','Y','V','Y')  
#define V4L2_PIX_FMT_YUV422P v4l2_fourcc('4','2','2','P')  
#define V4L2_PIX_FMT_YUV411P v4l2_fourcc('4','1','1','P')  
#define V4L2_PIX_FMT_Y41P v4l2_fourcc('Y','4','1','P')  

#define V4L2_PIX_FMT_NV12 v4l2_fourcc('N','V','1','2')  
#define V4L2_PIX_FMT_NV21 v4l2_fourcc('N','V','2','1')  

#define V4L2_PIX_FMT_YUV410 v4l2_fourcc('Y','U','V','9')  
#define V4L2_PIX_FMT_YUV420 v4l2_fourcc('Y','U','1','2')  
#define V4L2_PIX_FMT_YYUV v4l2_fourcc('Y','Y','U','V')  
#define V4L2_PIX_FMT_HI240 v4l2_fourcc('H','I','2','4')  
#define V4L2_PIX_FMT_HM12 v4l2_fourcc('H','M','1','2')  

#define V4L2_PIX_FMT_SBGGR8 v4l2_fourcc('B','A','8','1')  

#define V4L2_PIX_FMT_MJPEG v4l2_fourcc('M','J','P','G')  
#define V4L2_PIX_FMT_JPEG v4l2_fourcc('J','P','E','G')  
#define V4L2_PIX_FMT_DV v4l2_fourcc('d','v','s','d')  
#define V4L2_PIX_FMT_MPEG v4l2_fourcc('M','P','E','G')  

#define V4L2_PIX_FMT_WNVA v4l2_fourcc('W','N','V','A')  
#define V4L2_PIX_FMT_SN9C10X v4l2_fourcc('S','9','1','0')  
#define V4L2_PIX_FMT_PWC1 v4l2_fourcc('P','W','C','1')  
#define V4L2_PIX_FMT_PWC2 v4l2_fourcc('P','W','C','2')  
#define V4L2_PIX_FMT_ET61X251 v4l2_fourcc('E','6','2','5')

請注意，此時取到的寬，高，像素格式均正確。但不知爲什麼，bytesperline 卻爲 0。

3.4：設置當前捕獲格式

fmt.fmt.pix.width =  640;
fmt.fmt.pix.height = 480;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
rel = ioctl(fdUsbCam, VIDIOC_S_FMT, &fmt);
if (rel < 0)
{
    printf("\nSet format failed\n");
    return -1;
}

此時，再取當前捕獲格式，則一切正常。包括 bytesperline

3.5：讀取 Stream 設置。

struct v4l2_streamparm *setfps;
setfps = (struct v4l2_streamparm *) calloc(1, sizeof(struct v4l2_streamparm));
memset(setfps, 0, sizeof(struct v4l2_streamparm));
setfps->type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  

rel = ioctl(fdUsbCam, VIDIOC_G_PARM, setfps);
if(rel == 0)
{
	printf("\n  Frame rate:   %u/%u\n",
		   setfps->parm.capture.timeperframe.denominator,
		   setfps->parm.capture.timeperframe.numerator
		   );
}
else
{
	perror("Unable to read out current frame rate");
	return -1;
}

注意： ioctl(fdUsbCam, VIDIOC_G_PARM, setfps); 參數 3 也是 i/o 參數。必需要首先其 type.

struct v4l2_streamparm
{
  enum v4l2_buf_type type;
  union
  {
    struct v4l2_captureparm capture;
    struct v4l2_outputparm output;
    __u8 raw_data[200];
  } parm;
};

type 字段描述的是在涉及的操做的類型。對於視頻捕獲設備，應該爲 V4L2_BUF_TYPE_VIDEO_CAPTURE。對於輸出設備應該爲V4L2_BUF_TYPE_VIDEO_OUTPUT。它的值也能夠是 V4L2_BUF_TYPE_PRIVATE，在這種狀況下，raw_data字段用來傳遞一些私有的，不可移植的，甚至是不鼓勵的數據給內核。

enum v4l2_buf_type {
  V4L2_BUF_TYPE_VIDEO_CAPTURE = 1,
  V4L2_BUF_TYPE_VIDEO_OUTPUT = 2,
  V4L2_BUF_TYPE_VIDEO_OVERLAY = 3,
  V4L2_BUF_TYPE_VBI_CAPTURE = 4,
  V4L2_BUF_TYPE_VBI_OUTPUT = 5,

  V4L2_BUF_TYPE_SLICED_VBI_CAPTURE = 6,
  V4L2_BUF_TYPE_SLICED_VBI_OUTPUT = 7,
  V4L2_BUF_TYPE_PRIVATE = 0x80,
};

我們固然選用V4L2_BUF_TYPE_VIDEO_CAPTURE

對於捕獲設備而言，parm.capture 字段是要關注的內容，這個結構體以下：

struct v4l2_captureparm
{
	__u32                   capability;
	__u32                   capturemode;
	struct v4l2_fract  timeperframe;
	__u32                   extendedmode;
	__u32              readbuffers;
	__u32                   reserved[4];
};

timeperframe 字段用於指定想要使用的幀頻率，它又是一個結構體：

struct v4l2_fract {
	__u32   numerator;
	__u32   denominator;
};

numerator 和 denominator 所描述的係數給出的是成功的幀之間的時間間隔。

numerator 分子， denominator 分母。主要表達每次幀之間時間間隔。 numerator/denominator 秒一幀。

3.6：設置 Stream 參數。(主要是採集幀數)

setfps->parm.capture.timeperframe.numerator = 1;
setfps->parm.capture.timeperframe.denominator = 60;
rel = ioctl(fdUsbCam, VIDIOC_S_PARM, setfps);
if (rel != 0)
{
	printf("\nUnable to Set FPS");
	return -1;
}

固然，setfps 的其它項目，都是以前使用 VIDIOC_G_PARM 取得的。

3.7：建立一組緩衝區(buf)

struct v4l2_requestbuffers rb;
memset(&rb, 0, sizeof(struct v4l2_requestbuffers));
rb.count = 3;
rb.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
rb.memory = V4L2_MEMORY_MMAP;
rel = ioctl(fdUsbCam, VIDIOC_REQBUFS, &rb);
if (rel < 0)
{
        printf("Unable to allocate buffers: %d.\n", errno);
        return -1;
}

其中參數 rb 爲：struct v4l2_requestbuffers:

struct v4l2_requestbuffers
{
  __u32 count;
  enum v4l2_buf_type type;
  enum v4l2_memory memory;
  __u32 reserved[2];
};

type 字段描述的是完成的 I/O 操做的類型。一般它的值要麼是視頻得到設備的 V4L2_BUF_TYPE_VIDEO_CAPTURE，要麼是輸出設備的 V4L2_BUF_TYPE_VIDEO_OUTPUT

struct v4l2_memory:
enum v4l2_memory {
 V4L2_MEMORY_MMAP = 1,
 V4L2_MEMORY_USERPTR = 2,
 V4L2_MEMORY_OVERLAY = 3,
};

想要使用內存映謝的緩衝區，它將會把 memory 字段置爲 V4L2_MEMORY_MMAP，count 置爲它想要使用的緩衝區的數目。

順便看看 USB TO Serail:

Device Drivers --->[*] USB support ---> USB Serial Converter support ---> USB Prolific 2303 Single Port Serial Driver

USB Prolific 2303 Single Port Serial Driver 是指出支持 pl2303 芯片的 USB 2 serial.

pl2303.ko

USB Serial Converter support 是基礎 driver. 對應 usbserial.ko

注1：ioctl 中經常使用的 cmd.

VIDIOC_REQBUFS：分配內存 
VIDIOC_QUERYBUF：把 VIDIOC_REQBUFS 中分配的數據緩存轉換成物理地址 
VIDIOC_QUERYCAP：查詢驅動功能 
VIDIOC_ENUM_FMT：獲取當前驅動支持的視頻格式 
VIDIOC_S_FMT：設置當前驅動的頻捕獲格式 
VIDIOC_G_FMT：讀取當前驅動的頻捕獲格式 
VIDIOC_TRY_FMT：驗證當前驅動的顯示格式 
VIDIOC_CROPCAP：查詢驅動的修剪能力 
VIDIOC_S_CROP：設置視頻信號的邊框 
VIDIOC_G_CROP：讀取視頻信號的邊框 
VIDIOC_QBUF：把數據從緩存中讀取出來 
VIDIOC_DQBUF：把數據放回緩存隊列 
VIDIOC_STREAMON：開始視頻顯示函數 
VIDIOC_STREAMOFF：結束視頻顯示函數 
VIDIOC_QUERYSTD：檢查當前視頻設備支持的標準，例如 PAL 或 NTSC。 
VIDIOC_G_PARM：獲得 Stream 信息。如幀數等。
VIDIOC_S_PARM: 設置 Stream 信息。如幀數等。

注2：

如何判斷某 ioctl cmd 所用參數類型：

例如：

ioctl-cmd: VIDIOC_QUERYCAP.

它的返回參數類型 ioctl(fd, cmd, 參數)。

首先想到的是從 kernel Source v4l2_ioctl.c 中看。但這比較麻煩，又個簡單辦法：能夠在 video2dev.h 中看到：

#define VIDIOC_QUERYCAP _IOR ('V', 0, struct v4l2_capability)

即便用 cmd 爲 VIDIOC_QUERYCAP 時，參數爲 struct v4l2_capability