Video for Linux two(Video4Linux2)簡稱V4L2，是V4L的改進版。V4L2是linux操作系統下用于采集圖片、視頻和音頻數據的API接口，配合適當的視頻采集設備和相應的驅動程序，可以實現圖片、視頻、音頻等的采集。在遠程會議、可視電話、視頻監控系統和嵌入式多媒體終端中都有廣泛的應用。

一、Video for Linux two

　　在Linux下，所有外設都被看成一種特殊的文件，成為“設備文件”，可以象訪問普通文件一樣對其進行讀寫。一般來說，采用V4L2驅動的攝像頭設備文件是/dev/v4l/video0。為了通用，可以建立一個到/dev/video0的鏈接。V4L2支持兩種方式來采集圖像：內存映射方式(mmap)和直接讀取方式(read)。V4L2在include/linux/videodev.h文件中定義了一些重要的數據結構，在采集圖像的過程中，就是通過對這些數據的操作來獲得最終的圖像數據。Linux系統V4L2的能力可在Linux內核編譯階段配置，默認情況下都有此開發接口。V4L2從Linux 2.5.x版本的內核中開始出現。

　　V4L2規范中不僅定義了通用API元素(Common API Elements)，圖像的格式(Image Formats)，輸入/輸出方法(Input/Output)，還定義了Linux內核驅動處理視頻信息的一系列接口(Interfaces)，這些接口主要有：

　　視頻采集接口——Video Capture Interface;

　　視頻輸出接口—— Video Output Interface;

　　視頻覆蓋/預覽接口——Video Overlay Interface;

　　視頻輸出覆蓋接口——Video Output Overlay Interface;

　　編解碼接口——Codec Interface。

二、應用程序通過V4L2進行視頻采集的原理

　　V4L2支持內存映射方式(mmap)和直接讀取方式(read)來采集數據，前者一般用于連續視頻數據的采集，后者常用于靜態圖片數據的采集，本文重點討論內存映射方式的視頻采集。

　　應用程序通過V4L2接口采集視頻數據分為五個步驟：

　　首先，打開視頻設備文件，進行視頻采集的參數初始化，通過V4L2接口設置視頻圖像的采集窗口、采集的點陣大小和格式;

　　其次，申請若干視頻采集的幀緩沖區，并將這些幀緩沖區從內核空間映射到用戶空間，便于應用程序讀取/處理視頻數據;

　　第三，將申請到的幀緩沖區在視頻采集輸入隊列排隊，并啟動視頻采集;

　　第四，驅動開始視頻數據的采集，應用程序從視頻采集輸出隊列取出幀緩沖區，處理完后，將幀緩沖區重新放入視頻采集輸入隊列，循環往復采集連續的視頻數據;

　　第五，停止視頻采集。

　　1.視頻采集的參數初始化

　　在Linux下，攝像頭硬件已經被映射為設備文件“/dev/video0”，用open函數打開這個設備文件，獲得其文件描述符fd_v4l2，然后對這個文件描述符進行參數初始化。

　　(1) 設置視頻的采集窗口參數

　　設置采集窗口就是在攝像頭設備的取景范圍之內設定一個視頻采集區域。主要是對結構體v4l2_crop賦值，v4l2_crop由一個v4l2_buffer_type枚舉類型的type和v4l2_rect類型的結構體c構成，來描述視頻采集窗口的類型和大小。type設置為視頻采集類型V4L2_BUF_TYPE_VIDEO_CAPTURE。c是表示采集窗口的大小的結構體，它的成員Left和Top分別表示視頻采集區域的起始橫坐標和縱坐標，width和height分別表示采集圖像的寬度和高度。賦值后，用ioctl函數通過這個結構體對fd_v4l2進行設置。

　　struct v4l2_crop { enum v4l2_buf_type type;

　　struct v4l2_rect c;

　　};

　　(2)設置視頻點陣格式和點陣大小

　　主要是對結構體v4l2_format進行賦值，它由type和聯合體fmt構成，來描述視頻設備當前行為和數據的格式。

　　把type賦值為視頻采集類型V4L2_BUF_TYPE_VIDEO_CAPTURE，表示定義了一個視頻采集流類型的buffer。fmt中，pix為表示圖形格式的v4l2_pix_format型結構體。需要設定pix里的幾個變量，pixelformat表示采集格式，設置為V4L2_PIX_FMT_YUV420;width、height表示圖像的寬度、高度，以字節為單位;sizeimage表示圖像所占的存儲空間大小，以字節為單位;bytesperline表示每一行的字節數。賦值后，用ioctl函數通過這個結構體對fd_ v4l2進行設置。

　　struct v4l2_format

　　{ enum v4l2_buf_type type;

　　union

　　{ struct v4l2_pix_format pix; // V4L2_BUF_TYPE_VIDEO_CAPTURE

　　struct v4l2_window win; // V4L2_BUF_TYPE_VIDEO_OVERLAY

　　__u8 raw_data[200]; // user-defined

　　} fmt;

　　};

　　(3)設置視頻采集的幀率

　　結構體v4l2_streamparm來描述視頻流的屬性，它由type和聯合體parm構成。type同上，由于選的是V4L2_BUF_TYPE_VIDEO_CAPTURE，所以僅需設定parm中的v412_capture型結構體capture即可。在其中， v4l2_fract型結構體timeperframe表示平均每一幀所占的時間，由其元素numerator和denominator共同決定，該時長為numerator/denominator;而capturemode則表示采集模式，采集高質量圖片值為1，一般設為0。賦值之后，用ioctl函數通過這個結構體對fd_ v4l2進行設置。

　　struct v4l2_streamparm

　　{ enum v4l2_buf_type type;

　　union

　　{ struct v4l2_captureparm capture;

　　struct v4l2_outputparm output;

　　__u8 raw_data[200]; /* user-defined */

　　} parm;

　　};

　　2.申請并設置視頻采集的幀緩沖區

　　前期初始化完成后，只是解決了一幀視頻數據的格式和大小問題，而連續視頻幀數據的采集需要用幀緩沖區隊列的方式來解決，即要通過驅動程序在內存中申請幾個幀緩沖區來存放視頻數據。

　　應用程序通過API接口提供的方法(VIDIOC_REQBUFS)申請若干個視頻數據的幀緩沖區，申請幀緩沖區數量一般不低于3個，每個幀緩沖區存放一幀視頻數據，這些幀緩沖區在內核空間。

　　應用程序通過API接口提供的查詢方法(VIDIOC_QUERYBUF)查詢到幀緩沖區在內核空間的長度和偏移量地址。

　　應用程序再通過內存映射方法(mmap)，將申請到的內核空間幀緩沖區的地址映射到用戶空間地址，這樣就可以直接處理幀緩沖區的數據。

　　(1)將幀緩沖區在視頻輸入隊列排隊，并啟動視頻采集

　　在驅動程序處理視頻的過程中，定義了兩個隊列：視頻采集輸入隊列(incoming queues)和視頻采集輸出隊列(outgoing queues)，前者是等待驅動存放視頻數據的隊列，后者是驅動程序已經放入了視頻數據的隊列。如圖2所示。

　　應用程序需要將上述幀緩沖區在視頻采集輸入隊列排隊(VIDIOC_QBUF)，然后可啟動視頻采集。

　　(2)循環往復，采集連續的視頻數據

　　啟動視頻采集后，驅動程序開始采集一幀數據，把采集的數據放入視頻采集輸入隊列的第一個幀緩沖區，一幀數據采集完成，也就是第一個幀緩沖區存滿一幀數據后，驅動程序將該幀緩沖區移至視頻采集輸出隊列，等待應用程序從輸出隊列取出。驅動程序接下來采集下一幀數據，放入第二個幀緩沖區，同樣幀緩沖區存滿下一幀數據后，被放入視頻采集輸出隊列。

　　應用程序從視頻采集輸出隊列中取出含有視頻數據的幀緩沖區，處理幀緩沖區中的視頻數據，如存儲或壓縮。

　　最后，應用程序將處理完數據的幀緩沖區重新放入視頻采集輸入隊列,這樣可以循環采集，如圖1所示。

　　

　　圖1 視頻采集輸入和輸出隊列示意圖

　　(3)最終停止采集，釋放內存幀緩沖區

　　3.用V4L2采集視頻的程序流程和相關API

　　V4L2采集視頻操作基本按照打開視頻設備、設置視頻格式、啟動視頻采集，循環處理視頻數據、停止視頻采集、關閉視頻設備，具體操作通過ioctl等函數來實現。一般操作流程如下：

　　(1)打開視頻設備文件。int fd=open("/dev/video0",O_RDWR);

　　(2)查詢視頻設備的能力，比如是否具有視頻輸入,或者音頻輸入輸出等。ioctl(fd_v4l, VIDIOC_QUERYCAP, &cap)

　　(3)設置視頻采集的參數

　　設置視頻的制式，制式包括PAL/NTSC，使用ioctl(fd_v4l, VIDIOC_S_STD, &std_id)

　　設置視頻圖像的采集窗口的大小，使用ioctl(fd_v4l, VIDIOC_S_CROP, &crop)

　　設置視頻幀格式，包括幀的點陣格式，寬度和高度等，使用ioctl(fd_v4l, VIDIOC_S_FMT, &fmt)

　　設置視頻的幀率，使用ioctl(fd_v4l, VIDIOC_S_PARM, &parm)

　　設置視頻的旋轉方式，使用ioctl(fd_v4l, VIDIOC_S_CTRL, &ctrl)

　　(4)向驅動申請視頻流數據的幀緩沖區

　　請求/申請若干個幀緩沖區，一般為不少于3個,使用ioctl(fd_v4l, VIDIOC_REQBUFS, &req)

　　查詢幀緩沖區在內核空間中的長度和偏移量 ioctl(fd_v4l, VIDIOC_QUERYBUF, &buf)

　　(5)應用程序通過內存映射，將幀緩沖區的地址映射到用戶空間，這樣就可以直接操作采集到的幀了，而不必去復制。

　　buffers[i].start = mmap (NULL, buffers[i].length, PROT_READ | PROT_WRITE, MAP_SHARED, fd_v4l, buffers[i].offset);

　　(6)將申請到的幀緩沖全部放入視頻采集輸出隊列，以便存放采集的數據。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

　　(7)開始視頻流數據的采集。 ioctl (fd_v4l, VIDIOC_STREAMON, &type)

　　(8) 驅動將采集到的一幀視頻數據存入輸入隊列第一個幀緩沖區，存完后將該幀緩沖區移至視頻采集輸出隊列。

　　(9)應用程序從視頻采集輸出隊列中取出已含有采集數據的幀緩沖區。ioctl (fd_v4l, VIDIOC_DQBUF, &buf) ，應用程序處理該幀緩沖區的原始視頻數據。

　　(10)處理完后，應用程序的將該幀緩沖區重新排入輸入隊列,這樣便可以循環采集數據。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

　　重復上述步驟8到10，直到停止采集數據。

　　(11)停止視頻的采集。ioctl (fd_v4l, VIDIOC_STREAMOFF, &type)

　　(12)釋放申請的視頻幀緩沖區unmap，關閉視頻設備文件close(fd_v4l)。

　　以上的程序流程，包含了視頻設備采集連續的視頻數據的邏輯關系。而在實際運用中，往往還要加入對視頻數據進行處理(如壓縮編碼)的工作，否則，視頻流數據量相當大，需要很大的存儲空間和傳輸帶寬。

　　上述過程中，每一個幀緩沖區都有一個對應的狀態標志變量，其中每一個比特代表一個狀態

　　V4L2_BUF_FLAG_UNMAPPED 0B0000

　　V4L2_BUF_FLAG_MAPPED 0B0001

　　V4L2_BUF_FLAG_ENQUEUED 0B0010

　　V4L2_BUF_FLAG_DONE 0B0100

　　緩沖區的狀態轉化如圖2所示。

　　

　　圖2 緩沖區的狀態標志轉化圖

三、結束語 ? ??

V4L2是Linux環境下開發視頻采集設備驅動程序的一套規范(API)，它為驅動程序的編寫提供統一的接口，并將所有的視頻采集設備的驅動程序都納入其的管之中。V4L2不僅給驅動程序編寫者帶來極大的方便，同時也方便了應用程序的編寫和移植，具有廣泛的應用價值。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的嵌入式LINUX环境下视频采集知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。