當(dāng)前位置：首頁(yè) > 运维知识 > windows >内容正文

windows

解密视频魔法：将ExternalOES纹理转化为TEXTURE_2D纹理

發(fā)布時(shí)間：2023/12/24 windows 38 coder

生活随笔收集整理的這篇文章主要介紹了解密视频魔法：将ExternalOES纹理转化为TEXTURE_2D纹理小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

在使用OpenGL ES進(jìn)行圖形圖像開發(fā)時(shí)，我們常使用GL_TEXTURE_2D紋理類型，它提供了對(duì)標(biāo)準(zhǔn)2D圖像的處理能力。這種紋理類型適用于大多數(shù)場(chǎng)景，可以用于展示靜態(tài)貼圖、渲染2D圖形和進(jìn)行圖像處理等操作。
另外，有時(shí)我們需要從Camera或外部視頻源讀取數(shù)據(jù)幀并進(jìn)行處理。這時(shí)，我們會(huì)使用GL_TEXTURE_EXTERNAL_OES紋理類型。其專門用于對(duì)外部圖像或?qū)崟r(shí)視頻流進(jìn)行處理，可以直接從 BufferQueue?中接收的數(shù)據(jù)渲染紋理多邊形，從而提供更高效的視頻處理和渲染性能。

在實(shí)際應(yīng)用中，我們通常將GL_TEXTURE_2D和GL_TEXTURE_EXTERNAL_OES這兩種紋理類型分開使用，并且它們互不干擾。實(shí)際上，這種情況占據(jù)了80%的使用場(chǎng)景。我們可以根據(jù)具體需求選擇合適的紋理類型進(jìn)行處理和渲染。
然而，有時(shí)候我們也會(huì)遇到一些特殊情況，需要將GL_TEXTURE_EXTERNAL_OES紋理轉(zhuǎn)化為GL_TEXTURE_2D紋理進(jìn)行視頻處理或計(jì)算。這種情況可能出現(xiàn)在需要對(duì)視頻數(shù)據(jù)進(jìn)行特殊的圖像處理或者與GL_TEXTURE_2D紋理類型的其他渲染操作進(jìn)行交互時(shí)。

當(dāng)以上情況出現(xiàn)時(shí)，我們?cè)撊绾翁幚砟兀侩y道是直接將GL_TEXTURE_EXTERNAL_OES紋理賦值給GL_TEXTURE_2D紋理使用(經(jīng)過實(shí)驗(yàn)這種方式是不可用的)？
這里對(duì)此情況，先給出解決方案，一般我們可以通過一些技術(shù)手段，如離屏渲染或FrameBuffer幀緩沖區(qū)對(duì)象，將GL_TEXTURE_EXTERNAL_OES紋理轉(zhuǎn)換為GL_TEXTURE_2D紋理，并進(jìn)行后續(xù)的處理和計(jì)算。
而此篇文章主要記錄，我是如何通過FrameBuffer幀緩沖區(qū)對(duì)象，將GL_TEXTURE_EXTERNAL_OES紋理數(shù)據(jù)轉(zhuǎn)化為GL_TEXTURE_2D紋理數(shù)據(jù)的！

首先回顧一下GL_TEXTURE_2D紋理與GL_TEXTURE_EXTERNAL_OES紋理；
GL_TEXTURE_EXTERNAL_OES紋理數(shù)據(jù)通過FrameBuffer轉(zhuǎn)化為GL_TEXTURE_2D紋理數(shù)據(jù)；

一、`TEXTURE_2D` 與 `EXTERNAL_OES`

在正式研究 “GL_TEXTURE_EXTERNAL_OES紋理數(shù)據(jù)轉(zhuǎn)化為GL_TEXTURE_2D紋理數(shù)據(jù)” 之前，先要搞清楚：

什么是GL_TEXTURE_2D紋理？
什么又是GL_TEXTURE_EXTERNAL_OES紋理？
GL_TEXTURE_2D紋理與GL_TEXTURE_EXTERNAL_OES紋理有什么樣的區(qū)別？

1.1 GL_TEXTURE_2D紋理

GL_TEXTURE_2D 提供了對(duì)標(biāo)準(zhǔn)2D圖像的處理能力，可以存儲(chǔ)靜態(tài)的貼圖、圖像或者幀緩沖區(qū)的渲染結(jié)果。
其使用二維的紋理坐標(biāo)系，通過將紋理坐標(biāo)映射到紋理圖像上的對(duì)應(yīng)位置，可以實(shí)現(xiàn)紋理貼圖、紋理過濾、紋理環(huán)繞等操作。

GL_TEXTURE_2D紋理的特點(diǎn)包括：

使用二維紋理坐標(biāo)系進(jìn)行操作；
使用glTexImage2D函數(shù)加載紋理數(shù)據(jù)；
通過紋理過濾和紋理環(huán)繞等方式進(jìn)行紋理的采樣和處理；

GL_TEXTURE_2D紋理：創(chuàng)建、綁定、采樣、加載紋理圖像

public static int createDrawableTexture2D(Context context, int drawableId) {
    // 生成紋理ID
    int[] textures = new int[1];
    GLES30.glGenTextures(1, textures, 0);
    // 綁定紋理
    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, textures[0]);
    // 紋理采樣方式
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_MIN_FILTER, GLES30.GL_NEAREST);
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_MAG_FILTER, GLES30.GL_LINEAR);
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_WRAP_S, GLES30.GL_CLAMP_TO_EDGE);
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_WRAP_T, GLES30.GL_CLAMP_TO_EDGE);
    // texImage2D加載圖像數(shù)據(jù)
    InputStream is = context.getResources().openRawResource(drawableId);
    Bitmap bitmapTmp;
    try {
        bitmapTmp = BitmapFactory.decodeStream(is);
    } finally {
        try {
            is.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    GLUtils.texImage2D(GLES30.GL_TEXTURE_2D,0, GLUtils.getInternalFormat(bitmapTmp), bitmapTmp, GLUtils.getType(bitmapTmp), 0 );
    bitmapTmp.recycle();
    return textures[0];
}

GL_TEXTURE_2D紋理：Shader處理階段(片元著色器)

precision mediump float;  
varying vec2 v_texture_coord;  
uniform sampler2D MAIN;  
void main() {  
   vec4 color=texture2D(MAIN, v_texture_coord);  
   gl_FragColor=color;  
}

GL_TEXTURE_2D紋理：紋理渲染

GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, texId);
GLES30.glDrawArrays(GLES30.GL_TRIANGLE_STRIP, 0, mVertexCount);

1.2 GL_TEXTURE_EXTERNAL_OES紋理類型

根據(jù)AOSP: SurfaceTexture 文檔描述，GL_TEXTURE_EXTERNAL_OES 是一種特殊的紋理類型，主要用于處理外部圖像或視頻數(shù)據(jù)，如從攝像頭捕捉的實(shí)時(shí)圖像和外部視頻流。
GL_TEXTURE_EXTERNAL_OES 相對(duì)于 GL_TEXTURE_2D 最大的特點(diǎn)就是 GL_TEXTURE_EXTERNAL_OES可直接從 BufferQueue?中接收的數(shù)據(jù)渲染紋理多邊形。

GL_TEXTURE_EXTERNAL_OES紋理類型的特點(diǎn)包括：

需采用特殊的采樣器類型和紋理著色器擴(kuò)展。
使用二維紋理坐標(biāo)系進(jìn)行操作，與GL_TEXTURE_2D相似。
專門用于處理外部圖像或視頻數(shù)據(jù)，可直接從 BufferQueue?中接收的數(shù)據(jù)渲染紋理多邊形，從而提供更高效的視頻處理和渲染性能。

對(duì)于此，官方文檔中提供了一個(gè) Grafika 的連續(xù)拍攝案例工程，并給出了如下參考流程圖。

通過閱讀 Grafika 的連續(xù)拍攝案例，我們得知：

首先，需創(chuàng)建一個(gè)OES紋理ID，用于接收Camera圖像數(shù)據(jù)；

// GL_TEXTURE_EXTERNAL_OES: 紋理創(chuàng)建、綁定、采樣
public static int createTextureOES() {
    // 創(chuàng)建OES紋理ID
    int[] textures = new int[1];
    GLES30.glGenTextures(1, textures, 0);
    TextureUtil.checkGlError("glGenTextures");
    // 綁定OES紋理ID
    int texId = textures[0];
    GLES30.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, texId);
    TextureUtil.checkGlError("glBindTexture " + texId);
    // OES紋理采樣
    GLES30.glTexParameterf(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES30.GL_TEXTURE_MIN_FILTER, GLES30.GL_NEAREST);
    GLES30.glTexParameterf(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES30.GL_TEXTURE_MAG_FILTER, GLES30.GL_LINEAR);
    GLES30.glTexParameteri(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES30.GL_TEXTURE_WRAP_S, GLES30.GL_CLAMP_TO_EDGE);
    GLES30.glTexParameteri(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES30.GL_TEXTURE_WRAP_T, GLES30.GL_CLAMP_TO_EDGE);
    TextureUtil.checkGlError("glTexParameter");
    return texId;
}

完成OES紋理ID創(chuàng)建后，通過oesTextureId創(chuàng)建一個(gè)圖像消費(fèi)者SurfaceTexture，將SurfaceTexture設(shè)定為預(yù)覽的PreviewTexture；

// 傳入一個(gè)OES紋理ID
SurfaceTexture mSurfaceTexture = new SurfaceTexture(oesTextureId);  
// 將 SurfaceTexture 設(shè)置為預(yù)覽的 PreviewTexture
Camera.setPreviewTexture(mSurfaceTexture);

或者通過SurfaceTexture創(chuàng)建Surface，將Surface對(duì)象傳遞給MediaPlayer或MediaCodec進(jìn)行視頻幀數(shù)據(jù)獲取；

// 傳入一個(gè)OES紋理ID
SurfaceTexture mSurfaceTexture = new SurfaceTexture(oesTextureId);  
// 創(chuàng)建 Surface 
Surface mSurface = new Surface(mSurfaceTexture);
// 將 Surface 設(shè)置給 MediaPlayer 外部視頻播放器，獲取視頻幀數(shù)據(jù)
MediaPlayer.setSurface(surface);

前文已經(jīng)提到GL_TEXTURE_EXTERNAL_OES紋理類型可直接從Surface對(duì)應(yīng)的BufferQueue中獲取視頻流數(shù)據(jù)；
在獲取到視頻幀數(shù)據(jù)后：
一方面，可通過OpenGL的渲染管線，將GL_TEXTURE_EXTERNAL_OES紋理渲染到GLSurfaceView上，完成圖像數(shù)據(jù)的預(yù)覽；
另一方面，可將GL_TEXTURE_EXTERNAL_OES紋理，通過離屏渲染的形式，寫入到 MediaCodeC，硬編碼生成MP4視頻。

// GL_TEXTURE_EXTERNAL_OES紋理：Shader處理階段(片元著色器)
#extension GL_OES_EGL_image_external : require  
precision mediump float;  
varying vec2 v_texture_coord;  
uniform samplerExternalOES MAIN;  
void main() {  
   vec4 color=texture2D(MAIN, v_texture_coord);  
   gl_FragColor=color;  
}

GL_TEXTURE_EXTERNAL_OES紋理：紋理渲染

// 紋理渲染階段：GL_TEXTURE_EXTERNAL_OES紋理
GLES30.glBindTexture(GLES30.GL_TEXTURE_EXTERNAL_OES, texId);
GLES30.glDrawArrays(GLES30.GL_TRIANGLE_STRIP, 0, mVertexCount);

1.3 關(guān)于兩者的區(qū)別我的個(gè)人理解

關(guān)于兩者的區(qū)別，我的個(gè)人理解：
GL_TEXTURE_2D紋理類型與GL_TEXTURE_EXTERNAL_OES紋理類型，在數(shù)據(jù)來源與紋理數(shù)據(jù)的存儲(chǔ)格式上存在差異。

數(shù)據(jù)來源方面：
一個(gè)來源于glTexImage2D加載的二維圖像數(shù)據(jù)；
一個(gè)來源與圖像消費(fèi)者Surface對(duì)應(yīng)的BufferQueue；
紋理存儲(chǔ)格式：
GL_TEXTURE_EXTERNAL_OES數(shù)據(jù)來源于外部視頻源或Camera，其數(shù)據(jù)格式可能為YUV或RGB；
GL_TEXTURE_2D的數(shù)據(jù)格式則依賴于開發(fā)中setEGLConfigChooser(int redSize, int greenSize, int blueSize, int alphaSize, int depthSize, int stencilSize)的配置，可能是RGBA8888，也可能是RGBA4444等等。

由于兩者數(shù)據(jù)來源和紋理存儲(chǔ)格式的差異，兩種紋理類型是不能直接進(jìn)行轉(zhuǎn)化的。

首先，其在紋理采樣階段、Shader處理階段和紋理渲染階段均不同程度的存在差異（這一點(diǎn)在上一節(jié)的兩者對(duì)比的代碼舉例中可以證明）。
其次，如果需要在處理和計(jì)算階段將GL_TEXTURE_EXTERNAL_OES紋理轉(zhuǎn)換為GL_TEXTURE_2D紋理，通常需要使用離屏渲染或幀緩沖區(qū)對(duì)象等技術(shù)手段。

二、`EXTERNAL_OES`轉(zhuǎn)化為`TEXTURE_2D`紋理數(shù)據(jù)

這里直接介紹轉(zhuǎn)化過程：

首先，需創(chuàng)建一個(gè)OES紋理ID(相關(guān)代碼舉例在前文已經(jīng)給出)；
完成OES紋理ID創(chuàng)建后，通過oesTextureId創(chuàng)建一個(gè)圖像消費(fèi)者SurfaceTexture(相關(guān)代碼舉例在前文已經(jīng)給出)；
通過SurfaceTexture創(chuàng)建Surface，將Surface對(duì)象傳遞給MediaPlayer，獲取Sdcard中對(duì)應(yīng)路徑的視頻幀數(shù)據(jù)獲取(相關(guān)代碼舉例在前文已經(jīng)給出)；
創(chuàng)建FRAMEBUFFER幀緩沖區(qū)，并綁定GL_TEXTURE_2D空白紋理對(duì)象；

public static int createEmptyTexture2DBindFrameBuffer(int[] frameBuffer, int texPixWidth, int texPixHeight) {
    // 創(chuàng)建紋理ID
    int[] textures = new int[1];
    GLES30.glGenTextures(1, textures, 0);
    // 綁定GL_TEXTURE_2D紋理
    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, textures[0]);
    // 紋理采樣
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_MIN_FILTER, GLES30.GL_NEAREST);
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_MAG_FILTER, GLES30.GL_LINEAR);
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_WRAP_S, GLES30.GL_CLAMP_TO_EDGE);
    GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_WRAP_T, GLES30.GL_CLAMP_TO_EDGE);
    // 創(chuàng)建一個(gè)空的2D紋理對(duì)象，指定其基本參數(shù)，并綁定到對(duì)應(yīng)的紋理ID上
    GLES30.glTexImage2D(GLES30.GL_TEXTURE_2D, 0, GLES30.GL_RGBA, texPixWidth, texPixHeight,0, GLES30.GL_RGBA, GLES30.GL_UNSIGNED_BYTE, null);
    // 取消綁定紋理
    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, GLES30.GL_NONE);

    /**
     * 幀緩沖區(qū)
     */
    // 創(chuàng)建幀緩沖區(qū)
    GLES30.glGenFramebuffers(1, frameBuffer, 0);
    // 將幀緩沖對(duì)象綁定到OpenGL ES上下文的幀緩沖目標(biāo)上
    GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, frameBuffer[0]);
    // 使用GLES30.GL_COLOR_ATTACHMENT0將紋理作為顏色附著點(diǎn)附加到幀緩沖對(duì)象上
    GLES30.glFramebufferTexture2D(GLES30.GL_FRAMEBUFFER, GLES30.GL_COLOR_ATTACHMENT0, GLES30.GL_TEXTURE_2D, textures[0], 0);
    // 取消綁定緩沖區(qū)
    GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, GLES30.GL_NONE);

    return textures[0];
}

將GL_TEXTURE_EXTERNAL_OES紋理渲染到FRAMEBUFFER幀緩沖區(qū)中；

// 激活紋理
GLES30.glActiveTexture(GLES30.GL_TEXTURE0);
// 將所需的紋理對(duì)象綁定到Shader中紋理單元0上
GLES30.glUniform1i(mOesTextureIdHandle, 0);
// 綁定紋理
GLES30.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, texId);
// 綁定FRAMEBUFFER緩沖區(qū)
GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, tex2DFrameBufferId);
// 繪制矩形
GLES30.glDrawArrays(GLES30.GL_TRIANGLE_STRIP, 0, mVertexCount);
// 取消FRAMEBUFFER的綁定
GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, GLES30.GL_NONE);

最后，繪制渲染GL_TEXTURE_2D紋理，完成紋理圖像的顯示。

// 激活紋理
GLES30.glActiveTexture(GLES30.GL_TEXTURE0);
// 將所需的紋理對(duì)象綁定到Shader中紋理單元0上
GLES30.glUniform1i(mTex2DIdHandle, 0);
// 綁定紋理
GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, tex2DId);
// 繪制矩形
GLES30.glDrawArrays(GLES30.GL_TRIANGLE_STRIP, 0, mVertexCount);

三、源碼下載

ExternalOES紋理數(shù)據(jù) 轉(zhuǎn)換為 TEXTURE-2D紋理數(shù)據(jù)：
https://download.csdn.net/download/aiwusheng/88650498

參考

AOSP：SurfaceTexture
https://source.android.google.cn/docs/core/graphics/arch-st?hl=zh-c

Github：Google Grafika
https://github.com/google/grafika/blob/master/app/src/main/java/com/android/grafika/ContinuousCaptureActivity.java

OpenGL渲染管線：
https://xiaxl.blog.csdn.net/article/details/121467207

紋理ID 離屏渲染寫入到Surface中：
https://xiaxl.blog.csdn.net/article/details/131682521

MediaCodeC與OpenGL硬編碼錄制mp4：
https://xiaxl.blog.csdn.net/article/details/72530314

總結(jié)

以上是生活随笔為你收集整理的解密视频魔法：将ExternalOES纹理转化为TEXTURE_2D纹理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：海盗船发布 2000D AIRFLOW
下一篇：【scikit-learn基础】--『预