FFmpeg 开发(05)：FFmpeg + OpenGLES 实现视频解码播放和视频滤镜

别的就是 camera的移动 以及openglmodel shader相关的代码了。切换到全景模式之后 随着鼠标的拖动 左边的窗口会显示对应的全景的一些坐标信息。对比了下 和insta360的还是不一样 和Detu的播放器效果是一样的。ffmpeg用的是软解 也没有做视频同步之类的 但是播放实时视频没有啥问题。效果如下 左边的窗口用于输入视频源 以及显示一些关于视频的一些信息。我们测试的RTSP是4K的 软解也没啥问题 记录下。网上搜了搜 基于前辈的基础上 写的差不多了。

通过解码，将压缩编码的视频数据 H.264，MPEG2 解码成为非压缩的颜色数据，例如 YUV 等等；将压缩编码的音频数据 AAC，MP3 解码成为非压缩的音频抽样数据，例如 PCM 数据。例如，FLV 格式的数据，经过解封装操作后，输出 H.264 编码的视频码流和 AAC 编码的音频码流。音视频同步：就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的音频和视频数据，并将音视频频数据送至系统的显卡和声卡播放出来（Render）。输出文件的详细信息，包括音视频流的信息。来解析视频文件中的流信息。

该文章首发于微信公众号：字节流动 FFmpeg 开发系列连载： FFmpeg 开发(01)：FFmpeg 编译和集成 FFmpeg 开发(02)：FFmpeg + ANativeWindow 实现视频解码播放 FFmpeg 开发(03)：FFmpeg + OpenSLES 实现音频解码播放 FFmpeg 开发(04)：FFmpeg + OpenGLES 实现音频可视化播放 FFmpeg 开发(05)：FFmpeg + OpenGLES 实现视频解码播放和视频滤镜 FFmpeg 开发(06)：FFmp..

该文章首发于微信公众号：字节流动 FFmpeg 开发系列连载： FFmpeg 开发(01)：FFmpeg 编译和集成 FFmpeg 开发(02)：FFmpeg + ANativeWindow 实现视频解码播放 FFmpeg 开发(03)：FFmpeg + OpenSLES 实现音频解码播放 本文基于上一篇文章 FFmpeg + OpenSLES 实现音频解码播放 ，利用 FFmpeg 对一个 Mp4 文件的音频流进行解码，然后将解码后的 PCM 音频数据进行重采样，最后利用 OpenSLES 进行播放的.

LearnFFmpeg 项目地址：githubhaohao/LearnFFmpeg 简介： Android FFmpeg 音视频开发教程 更多：作者提 Bug 标签： An Android FFmpeg audio and video development tutorial. 编译环境: Android Studio 4.1+ ，NDK r21 展示图 1 展示图 2 Android FFmpeg 音视频开发系列连载 FFmpeg 开发(0...

由于老版本的ffmpeg一些使用方法将要废弃如streams[videoStream]->codec这种方式查找解码器就不能用了，再使用就会报警告，或者报错，这里使用新版ffmpeg接口制作播放器。先看播放器功能（这里有android版的）：带有音视频同步，快慢速播放，本地及网络视频播放等，经测试支持所有网络视频流，目前还没有发现播放不出的网络视频流。这是一个完整的播放器，后面有源码下载地址。

前言在我的博文中，我们在Android平台上，实现了通过FFmpeg在native（C/C++）层进行视频解码，并通过SurfaceView（基于ANativeWindow）实现了图像的显示。实际上，我们也可以通过OpenGL来进行硬件的渲染工作，减少CPU的消耗，提高整个视频播放的性能。实现需求只演示视频解码和显示，不进行音频解码，也不做音视频同步，每两帧视频之间通过固定延时来间隔，所以视频播放时存在偏慢和偏快的问题；

Android FFmpeg 开发中，利用 FFmpeg 的解码功能和 ANativeWindow 的渲染功能，实现视频的解码播放。但是，当你想为播放器做一些视频滤镜时，如加水印、旋转缩放等效果，使用 OpenGL ES 实现起来就极为方便。

音视频处理基础框架介绍，FFmpeg、GStreamer、OpenCV、OpenGL应用范围。

简述–OpenGL可以支持很多不同的图元类型，最基础的为点，线，或三角形。线和三角形可以组合成条带，循环体或者扇面三角形。点，线，或三角形也是大部分图象硬件设备支持的基础图元类型。点可以通过单一的顶点来表示，点实际上不存在面积，在OpenGL中它通过屏幕上的一个矩形区域来模拟，在渲染点源的时候，OpenGL会通过光栅化规则类判断点的位置。以点位中心绘制一个四边形区域，四边形区域的边长等于点的大小，它是一个固定的状态，可以调用函数glPointSIze()设置。OPenGL渲染点的时候，每个点的片元的会执行片

日常工作中，我们或多或少都会接触到音视频的开发，比如许多业务中都会涉及到 TSPlayer、IjkPlayer、MediaPlayer 提供播放能力。不管是什么 Player，其上层的调用都是大同小异，但要说具体如何实现，以及能够支持怎样的能力则是各不相同。 因此，要想继续深耕下去就必须深入学习。我们可以先接触Android多媒体展示的API，对音视频的知识框架有一个基本的认知，再通过核心API将音视频流程串联起来，直达底层原理。

1 ffmpeg解码大致流程   下图是ffmpeg解码播放音视频的基本流程： 首先是网络媒体解协议，解协议之后得到对应的媒体文件比如mp4，ts等，这些格式是媒体文件的封装格式，也就是将音频，视频，字幕等码流编码后打包到一起的格式； 之后就是对容器进行解封装，解封装能够分别得到对应的流的编码流，比如视频可能是h264码流，音频可能是aac码流，这些都是对应的流经过编码后的数据； 再然后就是需要将编码的流解码为裸流，视频的裸流一般为YUV或者RGB数据，而音频的裸流一般为PCM数据，这些数据也是播放时时真

前面已经介绍了FFmpeg解码视频的具体流程，现在使用FFmpeg解码视频然后用Opengles来渲染。 Demo地址：https://github.com/Huzhuwei1/ffmpegdecoder.git 注：这里只是简单的实现一下，代码写的比较粗糙，不喜勿喷！ 实现思路： 1.首先通过JNI将视频地址传给C层； 2.使用FFmpeg解码视频获取到YUV数据； 3.将YUV...

音视频开发中，视频编码是另一个重要的部分，基于 FFmpeg 软件解码前面系列文章已经介绍过了。接下来主要介绍软件编码这一块，包括视频编码、音频编码、为视频添加滤镜等，后续文章安排介绍 Android MediaCodec 硬件编解码。前文我们对 x264、fdk-aac 及 FFmpeg 进行了整合编译，本文将利用编译好的 FFmpeg 库对 Android Camera2 采集的预览帧先进行渲染，然后利用 OpenGL 添加滤镜，最后读取渲染结果进行编码，生成 mp4 文件。