当前位置：首页 > 文章列表 > Golang > Go问答 > 整合来自不同 WebRTC 对等连接的 OPUS 音频包

整合来自不同 WebRTC 对等连接的 OPUS 音频包

来源：stackoverflow 2024-03-16 10:09:29 0浏览收藏

**整合来自不同 WebRTC 对等连接的 OPUS 音频包** 在 WebRTC 通信中，多个客户端通过 RTP 数据包交换音频信息。要合并来自不同客户端的数据包，需要提取有效负载并使用解码器进行解码。然而，由于 RTP 数据包包含带有时间戳和同步源（SSRC）的标头，直接合并数据包会导致排序混乱。因此，需要根据 SSRC 提取有效负载，解码后使用工具（如 ffmpeg）组合成一个音频文件。

问题内容

两个客户端正在使用 webrtc 服务进行对话。由此看来，我有两个从每个 webrtc 对等点收集的 rtp.packet 列表。

var list1 []*rtp.packet
var list2 []*rtp.packet

我可以将每个列表保存在单独的 ogg 格式的文件中。

oggfile, err := oggwriter.new("list1.ogg", 48000, 2)
if err != nil {
    panic(err)
}
for _, t := range list1 {
    if err := oggfile.writertp(t); err != nil {
        panic(err)
    }
}
if err := oggfile.close(); err != nil {
    //
}

因此，我将为每个客户端获取两个单独的音频文件。工作正常。

但我想合并这两个列表，因为这是一个对话。就像下面这样

// adding all packets in a list
list := make([]*rtp.Packet, 0)
for _, p := range list1 {
    list = append(list, p)
}
for _, p := range list2 {
    list = append(list, p)
}

// sorting packets based on timestamp
sort.Slice(list, func(i, j int) bool {
    return list[i].Timestamp < list[i].Timestamp
})

现在，如果我保存此列表，我应该获得两个客户端之间的实际对话。

但这行不通。好像只有一位客户在说话，另一位则保持沉默。

据我了解，每个数据包的标头中都有一些内容。当我将它们合并到一个列表中时，它们变得混乱了。最终没有按预期工作。

注意：用户连接到同一服务器。所有数据包均按顺序实时可用。

任何帮助将不胜感激。