移除BPF尾部程序以读取环形缓冲区

Golang小白一枚，正在不断学习积累知识，现将学习到的知识记录一下，也是将我的所得分享给大家！而今天这篇文章《移除BPF尾部程序以读取环形缓冲区》带大家来了解一下##content_title##，希望对大家的知识积累有所帮助，从而弥补自己的不足，助力实战开发！

我观察到，如果我写入尾部程序中的环形缓冲区并从用户空间读取环形缓冲区，则尾部程序最终会被删除。 tail 程序不再显示在 bpftool prog 中。 bpftool 地图转储名称 jump_table 表示 found 0 elements;它最初有 1 个元素，即尾部程序。

该 bpf 程序由 main_prog 调用尾部程序组成。 tail 程序将 0 写入环形缓冲区。

#include 
#include 

struct bpf_map_def sec("maps") flow_ring_buf = {
    .type = bpf_map_type_ringbuf,
    .max_entries = 1<<12
};

struct bpf_map_def sec("maps") jump_table = {
   .type = bpf_map_type_prog_array,
   .key_size = sizeof(__u32),
   .value_size = sizeof(__u32),
   .max_entries = 1,
};

sec("xdp")
int main_prog(struct xdp_md *ctx) {
    bpf_tail_call(ctx, &jump_table, 0);

    bpf_printk("tail call failed");

    return xdp_pass;
}

sec("xdp_2")
int tail_prog(struct xdp_md *ctx) {
    __u32 num = 0;

    bpf_ringbuf_output(&flow_ring_buf, &num, sizeof(__u32), 0);

    return xdp_pass;
}

char _license[] sec("license") = "gpl";

这个 go 程序加载程序和映射并从环形缓冲区读取：

package main

import "c"
import (
    "errors"
    "github.com/cilium/ebpf"
    "github.com/cilium/ebpf/ringbuf"
    "github.com/vishvananda/netlink"
    "log"
)

type bpfobjects struct {
    mainprog        *ebpf.program `ebpf:"main_prog"`
    tailprog        *ebpf.program `ebpf:"tail_prog"`
    jumptable       *ebpf.map     `ebpf:"jump_table"`
    flowringbuf     *ebpf.map     `ebpf:"flow_ring_buf"`
}

func main() {
    var objects bpfobjects

    spec, err := ebpf.loadcollectionspec("test.o")

    if err != nil {
        log.fatalln("ebpf.loadcollectionspec", err)
    }

    if err := spec.loadandassign(&objects, nil); err != nil {
        log.fatalln("ebpf.loadandassign", err)
    }

    // update the jump table with the tail prog
    if err = objects.jumptable.update(uint32(0), uint32(objects.tailprog.fd()), ebpf.updateany); err != nil {
        log.fatalln("update prog_array", err)
    }

    link, err := netlink.linkbyname("enp0s8")

    if err != nil {
        log.fatalln("netlink.linkbyname", err)
    }

    // load the program onto the interface
    if err = netlink.linksetxdpfdwithflags(link, objects.mainprog.fd(), 0x2); err != nil {
        log.fatalln("netlink.linksetxdpfdwithflags:", err)
    }

    // a
    // problem doesn't happen if you comment out code below and replace with select {}
    reader, err := ringbuf.newreader(objects.flowringbuf)

    for {
        _, err := reader.read()

        if err != nil {
            if errors.is(err, ringbuf.errclosed) {
                log.println("received signal, exiting..")
                return
            }
            log.printf("reading from reader: %s", err)
            continue
        }
    }
}

当我向接口发送流量时遇到了问题。 reader.read() 永远不会返回错误，并且返回的 record 对象具有 0。由于跳转表为空，尾部调用失败，我在内核日志中看到 bpf_printk 输出。

如果注释掉 a 下面的代码并将其替换为无限等待，例如 select {}，我就不会遇到问题。

作为参考，等效的 c 程序可以正常运行。我正在使用 libbpf 0.7：

#include 
#include 
#include 
#include 

// Handles each insert into ring buffer
static int flow_buf_sample(void *ctx, void *data, size_t len) {
    return 0;
}

int main(int argc, char *argv[]) {
    struct bpf_object *obj;
    struct bpf_map *jump_table;
    struct bpf_map *flow_ring_buf;
    struct bpf_program *tail_prog;
    struct bpf_program *main_prog;

    int err;

    if ((obj = bpf_object__open_file("test.o", NULL)) == NULL) {
        fprintf(stderr, "Could not open ELF");
        return 1;
    }

    if ((err = bpf_object__load(obj)) < 0) {
        fprintf(stderr, "Could not load BPF");
        return 1;
    }

    if ((jump_table = bpf_object__find_map_by_name(obj, "jump_table")) == NULL) {
        fprintf(stderr, "Could not find jump_table map");
        return 1;
    }

    if ((flow_ring_buf = bpf_object__find_map_by_name(obj, "flow_ring_buf")) == NULL) {
        fprintf(stderr, "Could not find flow_ring_buf_map map");
        return 1;
    }

    if ((main_prog = bpf_object__find_program_by_name(obj, "main_prog")) == NULL) {
        fprintf(stderr, "Could not find main_prog");
        return 1;
    }

    if ((tail_prog = bpf_object__find_program_by_name(obj, "tail_prog")) == NULL) {
        fprintf(stderr, "Could not find tail_prog");
        return 1;
    }

    struct ring_buffer *ring_buffer = ring_buffer__new(bpf_map__fd(flow_ring_buf), flow_buf_sample, NULL, NULL);

    if (ring_buffer == NULL) {
        fprintf(stderr, "failed to create ring buffer\n");
        return 1;
    }

    int index0 = 0;
    int tail_prog_fd = bpf_program__fd(tail_prog);

    if ((err = bpf_map_update_elem(bpf_map__fd(jump_table), &index0, &tail_prog_fd, 0)) < 0) {
        fprintf(stderr, "failed update jump_table: %d", err);
    }

    int if_index = if_nametoindex(argv[1]);

    if (!if_index) {
        printf("get if_index from interface name failed\n");
        return 1;
    }

    if ((err = bpf_xdp_attach(if_index, bpf_program__fd(main_prog), 0x2, NULL)) != 0) {
        fprintf(stderr, "bpf_xdp_attach failed: %d", err);
        return 1;
    }

    while(1) {
        ring_buffer__poll(ring_buffer, -1);
    }

    return 0;
}

正确答案

发生这种情况是因为 objects.jumptable 在主程序循环运行时正在收集垃圾。删除引用后，地图 jump_table 将取消固定。解决方案是在调用 loadandassign() 后执行 defer objects.jumptable.close() 。或者添加此代码

func (o *bpfObjects) Close() {
  o.MainProg.Close()
  o.TailProg.Close()
  o.JumpTable.Close()
  o.FlowRingBuf.Close()
}

并在调用loadandassign()后调用defer对象.close()。这在 c 版本中不会发生，因为没有垃圾回收。

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~