FreeBSD下的工具(sysctl、netstat等)如何移植到F-Stack

F-Stack

发布于 2018-01-31 10:31:07

1.6K0

发布于 2018-01-31 10:31:07

文章被收录于专栏：F-Stack的专栏

F-Stack基于DPDK，绕过内核的协议栈，移植了FreeBSD协议栈到用户态，在大幅提高性能的同时，常规网络设置分析工具(如sysctl、netstat、ifconfig、route等)都无法直接使用。但是由于在用户态运行了FreeBSD的协议栈，我们可以移植FreeBSD下的这些工具到F-Stack。

移植的关键是这些工具要能与F-Stack进程通信，在之前的文章中，我们介绍了如何使用DPDK rte_ring来进行多进程的通信，tools/ipc目录就是基于rte_ring实现了一个简单的ipc框架。下面以sysctl为例，介绍一下如何移植到F-Stack。

查看FreeBSD 11.0.1 /sbin/sysctl的源码，可以发现是通过系统调用sysctl来与内核进行通信的，我们需要替换掉的就是这个函数。

首先在lib/ff_msg.h中，定义了用于通信的结构体struct ff_msg，暂时只实现了sysctl，后续会加上sysctlbyname、ioctl等其他工具移植需要的系统调用。

/* MSG TYPE: sysctl, sysctlbyname, etc.. */
enum FF_MSG_TYPE {
    FF_UNKNOWN = 0,
    FF_SYSCTL,
};

struct ff_sysctl_args {
    int *name;
    unsigned namelen;
    void *old;
    size_t *oldlenp;
    void *new;
    size_t newlen;
};

#define MAX_MSG_BUF_SIZE 10240

/* structure of ipc msg */
struct ff_msg {
    enum FF_MSG_TYPE msg_type;
    /* Result of msg processing */
    int result;
    /* Length of segment buffer. */
    uint16_t buf_len;
    /* Address of segment buffer. */
    char *buf_addr;

    union {
        struct ff_sysctl_args sysctl;
    };
} __attribute__((packed)) __rte_cache_aligned;

lib/ff_dpdk_if.c中，F-Stack初始化时会创建单个元素长度为MAX_MSG_BUF_SIZE的内存池message_pool，通信时从message_pool里取出元素，转换成struct ff_msg，这里有个要注意的地方，ff_msg.sysctl里的指针成员(name、old等)必须指向ff_msg.buf_addr到ff_msg.buf_addr+ff.msg_buf_len之间的地址(ff_msg.buf_len=MAX_MSG_BUF_SIZE-sizeof(struct ff_msg))，不能使用自己申请的内存地址，这是因为用于通信的数据必须使用rte_mempool中的共享内存，否则另一端会出现未知的错误。

处理流程：从ring中出队列，取出msg，判断是FF_SYSCTL类型，然后执行ff_sysctl函数获取或设置FreeBSD内核的状态参数，最后再把msg入队列。这里出入的ring是单生产者单消费者模式的，使用了两个，一个用于F-Stack出，工具入，一个用于F-Stack入，工具出。

static inline void
handle_sysctl_msg(struct ff_msg *msg, uint16_t proc_id)
{
    int ret = ff_sysctl(msg->sysctl.name, msg->sysctl.namelen,
        msg->sysctl.old, msg->sysctl.oldlenp, msg->sysctl.new,
        msg->sysctl.newlen);

    if (ret < 0) {
        msg->result = errno;
    } else {
        msg->result = 0;
    }

    rte_ring_enqueue(msg_ring[proc_id].ring[1], msg);
}

static inline void
handle_default_msg(struct ff_msg *msg, uint16_t proc_id)
{
    msg->result = EINVAL;
    rte_ring_enqueue(msg_ring[proc_id].ring[1], msg);
}

static inline void
handle_msg(struct ff_msg *msg, uint16_t proc_id)
{
    switch (msg->msg_type) {
        case FF_SYSCTL:
            handle_sysctl_msg(msg, proc_id);
            break;
        default:
            handle_default_msg(msg, proc_id);
            break;
    }
}

static inline int
process_msg_ring(uint16_t proc_id)
{
    void *msg;
    int ret = rte_ring_dequeue(msg_ring[proc_id].ring[0], &msg);

    if (unlikely(ret == 0)) {
        handle_msg((struct ff_msg *)msg, proc_id);
    }

    return 0;
}

然后看下sysctl中的处理，这里我们实现了一个新的函数sysctl_ipc用来替换原来的系统调用sysctl:

int sysctl_ipc(uint16_t proc_id, int *name, unsigned namelen, void *old,
    size_t *oldlenp, const void *new, size_t newlen);

因为F-Stack是多进程架构，并且每个进程都有一个独立的FreeBSD栈，所以新增了一个参数proc_id，用于指定与哪个F-Stack进程通信，这个算是一个不方便的地方。其他参数都与原生sysctl的一样。

sysctl_ipc的实现流程：从mempool中获取ff_msg对象，设置参数，入ring队列，出ring队列，输出返回信息。

    struct ff_msg *msg = ff_ipc_msg_alloc();

    char *buf_addr = msg->buf_addr;
    msg->msg_type = FF_SYSCTL;
    msg->sysctl.name = (int *)buf_addr;
    msg->sysctl.namelen = namelen;
    memcpy(msg->sysctl.name, name, namelen*sizeof(int));
    buf_addr += namelen*sizeof(int);

    ........

    ff_ipc_send(msg, proc_id);

    ff_ipc_recv(&retmsg, proc_id);

    .....

    ff_ipc_msg_free(msg);

另外由于是移植的FreeBSD下的sysctl，所以它的头文件、结构体在Linux下可能没有，需要根据实际情况进行增删。具体的代码可以查看tools/ipc 和 tools/sysctl目录。

运行效果：