整合来自不同 WebRTC 对等连接的 OPUS 音频包

**整合来自不同 WebRTC 对等连接的 OPUS 音频包** 在 WebRTC 通信中，多个客户端通过 RTP 数据包交换音频信息。要合并来自不同客户端的数据包，需要提取有效负载并使用解码器进行解码。然而，由于 RTP 数据包包含带有时间戳和同步源（SSRC）的标头，直接合并数据包会导致排序混乱。因此，需要根据 SSRC 提取有效负载，解码后使用工具（如 ffmpeg）组合成一个音频文件。

两个客户端正在使用 webrtc 服务进行对话。由此看来， 我有两个从每个 webrtc 对等点收集的 rtp.packet 列表。

var list1 []*rtp.packet
var list2 []*rtp.packet

我可以将每个列表保存在单独的 ogg 格式的文件中。

oggfile, err := oggwriter.new("list1.ogg", 48000, 2)
if err != nil {
    panic(err)
}
for _, t := range list1 {
    if err := oggfile.writertp(t); err != nil {
        panic(err)
    }
}
if err := oggfile.close(); err != nil {
    //
}

因此，我将为每个客户端获取两个单独的音频文件。工作正常。

但我想合并这两个列表，因为这是一个对话。就像下面这样

// adding all packets in a list
list := make([]*rtp.Packet, 0)
for _, p := range list1 {
    list = append(list, p)
}
for _, p := range list2 {
    list = append(list, p)
}

// sorting packets based on timestamp
sort.Slice(list, func(i, j int) bool {
    return list[i].Timestamp < list[i].Timestamp
})

现在，如果我保存此列表，我应该获得两个客户端之间的实际对话。

但这行不通。好像只有一位客户在说话，另一位则保持沉默。

据我了解，每个数据包的标头中都有一些内容。当我将它们合并到一个列表中时，它们变得混乱了。最终没有按预期工作。

注意：用户连接到同一服务器。所有数据包均按顺序实时可用。

任何帮助将不胜感激。

解决方案

RTP 数据包包含带有时间戳属性的标头。请注意，这不是绝对时间戳，它以随机偏移量开始，这会破坏您的排序想法。

请参阅 https://www.rfc-editor.org/rfc/rfc3550 了解完整详细信息。数据包通常还包括同步源或 ssrc，它标识属于同一发送方的一系列数据包。

您需要从数据包中提取有效负载，然后使用解码器（通常是 opus 解码器）对其进行解码。然后您将有两个不同的 pcm/wav 文件，然后可以将它们组合起来，例如使用 ffmpeg。但请确保两个流之间的时间偏移正确

以上就是《整合来自不同 WebRTC 对等连接的 OPUS 音频包》的详细内容，更多关于的资料请关注golang学习网公众号！