OpenCV视频帧传输FFmpeg乱码解决

小伙伴们有没有觉得学习文章很有意思？有意思就对了！今天就给大家带来《OpenCV 视频帧管道传输 FFmpeg 乱码解决方法》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

本教程旨在解决将 OpenCV 捕获的原始视频帧通过管道传输到 FFmpeg 时，视频输出出现损坏的问题。通过 imencode() 函数将帧编码为图像后再传输，可有效解决此问题，从而实现流畅的视频编码和输出。本文将详细介绍实现步骤，并提供相应的代码示例。

在使用 OpenCV 从摄像头捕获视频帧，并通过管道将其传输到 FFmpeg 进行编码时，可能会遇到输出视频损坏的问题。直接将原始视频帧数据写入 FFmpeg 管道有时会导致编码错误，从而产生损坏的视频文件。

解决此问题的关键在于，在使用管道传输之前，先将 OpenCV 捕获的帧编码为图像格式（例如 JPEG 或 PNG）。 OpenCV 提供了 cv2.imencode() 函数，可以方便地实现这一点。

以下是修改后的代码示例，展示了如何使用 cv2.imencode() 将帧编码为 JPEG 图像，然后再将其通过管道传输到 FFmpeg：

import cv2 as cv
import subprocess as sp
import numpy as np

FPS = 24
WIDTH = 720
HEIGHT = 360

cap = cv.VideoCapture(0)
cap.set(cv.CAP_PROP_FPS, FPS)
cap.set(cv.CAP_PROP_FRAME_WIDTH, WIDTH)
cap.set(cv.CAP_PROP_FRAME_HEIGHT, HEIGHT)

# ffmpeg command
ffmpeg_cmd = [
    "./libs/ffmpeg/bin/ffmpeg.exe",  # 替换为你的 ffmpeg 路径
    '-hwaccel', 'auto', '-y',
    '-f', 'image2pipe',  # 修改输入格式为 image2pipe
    '-i', '-',
    '-c:v', 'libx264',
    '-pix_fmt', 'yuv420p',
    '-preset', 'ultrafast',
    '-f', 'flv',
    'out.flv'
]
ffmpeg_sp = sp.Popen(ffmpeg_cmd, stdin=sp.PIPE)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # video capture test: OK
    cv.imshow('video', frame)
    if cv.waitKey(50) & 0xFF == ord('q'):
        break

    # Encode the frame to JPEG format
    ret, jpeg = cv.imencode('.jpg', frame)  # 使用 imencode() 函数
    if not ret:
        continue

    # Write the JPEG image to the ffmpeg pipe
    ffmpeg_sp.stdin.write(jpeg.tobytes())

ffmpeg_sp.stdin.close()
cap.release()
cv.destroyAllWindows()

代码解释：

1. 修改 FFmpeg 命令: 将 -f rawvideo 修改为 -f image2pipe，表明输入是图像序列而不是原始视频数据。
2. 使用 cv2.imencode(): 在 while 循环中，使用 cv2.imencode('.jpg', frame) 将每一帧编码为 JPEG 格式。 cv2.imencode() 返回一个元组，第一个元素是编码是否成功的标志，第二个元素是编码后的图像数据。
3. 写入编码后的数据: 将编码后的 JPEG 图像数据通过 ffmpeg_sp.stdin.write(jpeg.tobytes()) 写入 FFmpeg 管道。

注意事项：

• 确保你的 FFmpeg 可执行文件路径正确。
• 可以尝试不同的图像编码格式（例如 '.png'）和编码质量参数，以获得最佳的视频质量和性能。
• FFmpeg 命令中的参数可以根据你的需求进行调整，例如修改编码器、分辨率、帧率等。
• 如果仍然遇到问题，可以尝试更新 OpenCV 和 FFmpeg 到最新版本。

总结：

通过将 OpenCV 捕获的帧编码为图像格式后再通过管道传输到 FFmpeg，可以有效地解决视频输出损坏的问题。 cv2.imencode() 函数提供了一种简单而有效的方法来实现这一目标。 根据你的具体需求调整代码和 FFmpeg 参数，可以获得高质量的视频编码和输出。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。