注意：這是我們的“ Xuggler開發(fā)教程 ”系列的一部分。

到目前為止，在我們的Xuggler教程系列中，我們已經(jīng)對視頻處理的Xuggler進行了介紹，并討論了轉(zhuǎn)碼和媒體修改 。 在本教程中，我們將看到如何解碼視頻和捕獲幀，以及如何從頭開始創(chuàng)建視頻。

讓我們開始解碼視頻流并以預(yù)定義的時間間隔捕獲一些幀。 例如，可以使用它來制作媒體文件的縮略圖 。 為此，我們將再次使用MediaTool API ，這是用于解碼，編碼和修改視頻的高級API。

概念是打開媒體文件，循環(huán)播放特定的視頻流，并以特定的間隔捕獲相應(yīng)的幀，將其轉(zhuǎn)換為圖像，然后將二進制內(nèi)容轉(zhuǎn)儲到文件中。 這是所有這些代碼的樣子：

package com.javacodegeeks.xuggler;import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException;import javax.imageio.ImageIO;import com.xuggle.mediatool.IMediaReader; import com.xuggle.mediatool.MediaListenerAdapter; import com.xuggle.mediatool.ToolFactory; import com.xuggle.mediatool.event.IVideoPictureEvent; import com.xuggle.xuggler.Global;public class VideoThumbnailsExample {public static final double SECONDS_BETWEEN_FRAMES = 10;private static final String inputFilename = "c:/Java_is_Everywhere.mp4";private static final String outputFilePrefix = "c:/snapshots/mysnapshot";// The video stream index, used to ensure we display frames from one and// only one video stream from the media container.private static int mVideoStreamIndex = -1;// Time of last frame writeprivate static long mLastPtsWrite = Global.NO_PTS;public static final long MICRO_SECONDS_BETWEEN_FRAMES = (long)(Global.DEFAULT_PTS_PER_SECOND * SECONDS_BETWEEN_FRAMES);public static void main(String[] args) {IMediaReader mediaReader = ToolFactory.makeReader(inputFilename);// stipulate that we want BufferedImages created in BGR 24bit color spacemediaReader.setBufferedImageTypeToGenerate(BufferedImage.TYPE_3BYTE_BGR);mediaReader.addListener(new ImageSnapListener());// read out the contents of the media file and// dispatch events to the attached listenerwhile (mediaReader.readPacket() == null) ;}private static class ImageSnapListener extends MediaListenerAdapter {public void onVideoPicture(IVideoPictureEvent event) {if (event.getStreamIndex() != mVideoStreamIndex) {// if the selected video stream id is not yet set, go ahead an// select this lucky video streamif (mVideoStreamIndex == -1)mVideoStreamIndex = event.getStreamIndex();// no need to show frames from this video streamelsereturn;}// if uninitialized, back date mLastPtsWrite to get the very first frameif (mLastPtsWrite == Global.NO_PTS)mLastPtsWrite = event.getTimeStamp() - MICRO_SECONDS_BETWEEN_FRAMES;// if it's time to write the next frameif (event.getTimeStamp() - mLastPtsWrite >= MICRO_SECONDS_BETWEEN_FRAMES) {String outputFilename = dumpImageToFile(event.getImage());// indicate file writtendouble seconds = ((double) event.getTimeStamp()) / Global.DEFAULT_PTS_PER_SECOND;System.out.printf("at elapsed time of %6.3f seconds wrote: %s\n",seconds, outputFilename);// update last write timemLastPtsWrite += MICRO_SECONDS_BETWEEN_FRAMES;}}private String dumpImageToFile(BufferedImage image) {try {String outputFilename = outputFilePrefix + System.currentTimeMillis() + ".png";ImageIO.write(image, "png", new File(outputFilename));return outputFilename;} catch (IOException e) {e.printStackTrace();return null;}}}}

這看起來似乎有些令人不知所措，但確實非常簡單。 讓我為您提供一些詳細(xì)信息。 我們首先從輸入文件創(chuàng)建IMediaReader 。 媒體讀取器用于讀取和解碼媒體。 由于我們希望將捕獲的視頻幀作為圖像進行處理，因此我們使用setBufferedImageTypeToGenerate方法來表示這一點。 閱讀器打開一個媒體容器，從中讀取數(shù)據(jù)包，解碼數(shù)據(jù)，然后將有關(guān)數(shù)據(jù)的信息分發(fā)到任何已注冊的IMediaListener對象。 這是我們的自定義類ImageSnapListener起作用的地方。

我們的偵聽器擴展了MediaListenerAdapter ，它是實現(xiàn)IMediaListener接口的適配器（提供空方法）。 通知實現(xiàn)此接口的對象有關(guān)視頻處理期間生成的事件的信息。 我們只關(guān)心處理視頻事件，因此我們僅實現(xiàn)IMediaListener.onVideoPicture方法。 在其中，我們使用提供的IVideoPictureEvent對象查找正在處理的流（僅視頻）。

由于我們希望在特定時間捕獲幀，因此我們不得不在時間戳上弄亂一點。 首先，我們通過檢查Global.NO_PTS常量的值來確保處理第一幀，該值意味著沒有為給定對象設(shè)置時間戳。 然后，如果經(jīng)過了最短的時間，我們通過調(diào)用IVideoPictureEvent.getImage方法捕獲幀，該方法返回基礎(chǔ)BufferedImage 。 請注意，我們所說的是經(jīng)過的視頻時間，而不是“實時”。 然后，我們使用ImageIO.write實用程序方法將圖像數(shù)據(jù)轉(zhuǎn)儲為PNG格式的文件。 最后，我們更新最后的寫入時間。

讓我們運行此應(yīng)用程序以查看結(jié)果。 作為輸入文件，我使用的是一個古老的Sun商業(yè)廣告，它宣稱“ Java無處不在 ”。 我已經(jīng)在本地下載了提供的MP4版本。 這是輸出控制臺的外觀：

在經(jīng)過0.000秒時寫道：c：/snapshots/mysnapshot1298228503292.png
在10.010秒的經(jīng)過時間寫道：c：/snapshots/mysnapshot1298228504014.png
在20.020秒的經(jīng)過時間寫道：c：/snapshots/mysnapshot1298228504463.png
…
在經(jīng)過時間130.063秒時寫道：c：/snapshots/mysnapshot1298228509454.png
在經(jīng)過時間140.007秒時寫道：c：/snapshots/mysnapshot1298228509933.png
在經(jīng)過150.017秒的時間時寫道：c：/snapshots/mysnapshot1298228510379.png

總視頻時間約為151秒，因此我們捕獲了16幀。 這是我的文件夾中捕獲的圖像的外觀：

好的，就是用來制作視頻縮略圖的。 現(xiàn)在讓我們看看如何從頭開始創(chuàng)建視頻。 作為輸入，我們將使用桌面上的順序快照 。 這可以用于基本的屏幕記錄應(yīng)用程序。

為了創(chuàng)建視頻，與到目前為止所見的MediaTool API相比，我們將不得不采取一些更底層的方法。 不過請不要擔(dān)心，它不會很復(fù)雜。 主要思想是，我們創(chuàng)建一個媒體編寫器，向其中添加一些流信息，對我們的媒體（屏幕截圖圖像）進行編碼，然后關(guān)閉該編寫器。 讓我們看看用于實現(xiàn)此目的的代碼：

package com.javacodegeeks.xuggler;import java.awt.AWTException; import java.awt.Dimension; import java.awt.Rectangle; import java.awt.Robot; import java.awt.Toolkit; import java.awt.image.BufferedImage; import java.util.concurrent.TimeUnit;import com.xuggle.mediatool.IMediaWriter; import com.xuggle.mediatool.ToolFactory; import com.xuggle.xuggler.ICodec;public class ScreenRecordingExample {private static final double FRAME_RATE = 50;private static final int SECONDS_TO_RUN_FOR = 20;private static final String outputFilename = "c:/mydesktop.mp4";private static Dimension screenBounds;public static void main(String[] args) {// let's make a IMediaWriter to write the file.final IMediaWriter writer = ToolFactory.makeWriter(outputFilename);screenBounds = Toolkit.getDefaultToolkit().getScreenSize();// We tell it we're going to add one video stream, with id 0,// at position 0, and that it will have a fixed frame rate of FRAME_RATE.writer.addVideoStream(0, 0, ICodec.ID.CODEC_ID_MPEG4, screenBounds.width/2, screenBounds.height/2);long startTime = System.nanoTime();for (int index = 0; index < SECONDS_TO_RUN_FOR * FRAME_RATE; index++) {// take the screen shotBufferedImage screen = getDesktopScreenshot();// convert to the right image typeBufferedImage bgrScreen = convertToType(screen, BufferedImage.TYPE_3BYTE_BGR);// encode the image to stream #0writer.encodeVideo(0, bgrScreen, System.nanoTime() - startTime, TimeUnit.NANOSECONDS);// sleep for frame rate millisecondstry {Thread.sleep((long) (1000 / FRAME_RATE));} catch (InterruptedException e) {// ignore}}// tell the writer to close and write the trailer if neededwriter.close();}public static BufferedImage convertToType(BufferedImage sourceImage, int targetType) {BufferedImage image;// if the source image is already the target type, return the source imageif (sourceImage.getType() == targetType) {image = sourceImage;}// otherwise create a new image of the target type and draw the new imageelse {image = new BufferedImage(sourceImage.getWidth(), sourceImage.getHeight(), targetType);image.getGraphics().drawImage(sourceImage, 0, 0, null);}return image;}private static BufferedImage getDesktopScreenshot() {try {Robot robot = new Robot();Rectangle captureSize = new Rectangle(screenBounds);return robot.createScreenCapture(captureSize);} catch (AWTException e) {e.printStackTrace();return null;}}}

我們首先從給定的輸出文件創(chuàng)建一個IMediaWriter 。 此類對媒體進行編碼和解碼，同時處理音頻和視頻流。 Xuggler猜測文件擴展名（在我們的情況下為MP4）的輸出格式，并適當(dāng)設(shè)置一些默認(rèn)值。 然后，我們使用addVideoStream方法添加新的視頻流，并提供其索引，使用的編解碼器類型 （此處為MPEG-4 ）和視頻尺寸。 在此示例中，尺寸設(shè)置為等于屏幕尺寸的一半。

然后，我們執(zhí)行一個循環(huán)，該循環(huán)的運行次數(shù)等于所需的幀速率乘以所需的運行時間。 在循環(huán)內(nèi)部，我們按照J(rèn)ava2D：帶有Java屏幕快照的文章中的描述生成屏幕快照。 我們將屏幕快照作為BufferedImage檢索，并將其轉(zhuǎn)換為適當(dāng)?shù)念愋?#xff08; TYPE_3BYTE_BGR ）（如果尚不存在）。

接下來，我們使用IMediaWriter.encodeVideo方法將圖像編碼為視頻流。 我們提供流索引，圖像，經(jīng)過的視頻時間和時間單位。 然后，根據(jù)所需的幀速率，我們睡適當(dāng)?shù)臅r間。 循環(huán)結(jié)束后，我們將關(guān)閉編寫器，并在必要時編寫預(yù)告片，具體取決于視頻格式（這由Xuggler自動完成）。

如果我們執(zhí)行該應(yīng)用程序，則會創(chuàng)建一個視頻，其中記錄了您的桌面操作。 這是瀏覽JavaCodeGeeks網(wǎng)站時的靜止圖像：

伙計們，這是Xuggler的另一篇教程，描述了如何從輸入文件捕獲視頻幀以及如何使用桌面快照生成視頻。 與往常一樣，您可以下載為本教程創(chuàng)建的Eclipse項目 。 請繼續(xù)關(guān)注JavaCodeGeeks上的更多Xuggler教程！ 別忘了分享！

相關(guān)文章：

• Xuggler視頻處理簡介
• Xuggler教程：轉(zhuǎn)碼和媒體修改
• 使用wowza和xuggler將RTMP轉(zhuǎn)換為RTSP

翻譯自: https://www.javacodegeeks.com/2011/02/xuggler-tutorial-frames-capture-video.html

總結(jié)

以上是生活随笔為你收集整理的Xuggler教程：帧捕获和视频创建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。