講講在Libuv中使用Io_Uring
本文轉(zhuǎn)載自微信公眾號「編程雜技 」,作者theanarkh 。轉(zhuǎn)載本文請聯(lián)系編程雜技公眾號。
本文介紹如果在Libuv中使用io_uring。邏輯:
1 申請一個io_uring對應的fd。
2 初始化一個poll handle,封裝1中的fd。
3 注冊到Libuv的epoll中。
4 讀取文件列表,給io_uring提交請求
5 io_uring完成,1中的fd可讀,從而epoll返回。
6 Libuv的poll io階段執(zhí)行回調(diào)。
7 回調(diào)里獲取io_uring的任務完成列表,拿到每個任務關(guān)聯(lián)的請求,執(zhí)行回調(diào)。
- #include <fcntl.h>
 - #include <stdio.h>
 - #include <string.h>
 - #include <sys/stat.h>
 - #include <sys/ioctl.h>
 - #include <liburing.h>
 - #include <stdlib.h>
 - #include <uv.h>
 - #define QUEUE_DEPTH 1
 - #define BLOCK_SZ 1024
 - // 前向聲明
 - struct file_info;
 - // 定義回調(diào)
 - typedef void (*file_callback)(struct file_info*);
 - // 管理一個文件讀取請求的結(jié)構(gòu)體
 - struct file_info {
 - // 文件大小
 - off_t file_sz;
 - // 回調(diào)
 - file_callback cb;
 - // 讀取的大小
 - int count;
 - // 文件名
 - char *name;
 - // 讀取的數(shù)據(jù)
 - struct iovec iovecs[];
 - };
 - // 獲取文件大小
 - off_t get_file_size(int fd) {
 - struct stat st;
 - if(fstat(fd, &st) < 0) {
 - perror("fstat");
 - return -1;
 - }
 - if (S_ISBLK(st.st_mode)) {
 - unsigned long long bytes;
 - if (ioctl(fd, BLKGETSIZE64, &bytes) != 0) {
 - perror("ioctl");
 - return -1;
 - }
 - return bytes;
 - } else if (S_ISREG(st.st_mode))
 - return st.st_size;
 - return -1;
 - }
 - // 向內(nèi)核提交一個請求
 - int submit_read_request(char *file_path, file_callback cb, struct io_uring *ring) {
 - // 打開文件
 - int file_fd = open(file_path, O_RDONLY);
 - if (file_fd < 0) {
 - perror("open");
 - return 1;
 - }
 - // 獲取大小
 - off_t file_sz = get_file_size(file_fd);
 - off_t bytes_remaining = file_sz;
 - int current_block = 0;
 - int blocks = (int) file_sz / BLOCK_SZ;
 - if (file_sz % BLOCK_SZ) blocks++;
 - // 申請內(nèi)存
 - struct file_info *fi = malloc(sizeof(*fi) + (sizeof(struct iovec) * blocks));
 - // 保存文件名
 - fi->name = file_path;
 - // 計算和申請保存文件內(nèi)容的內(nèi)存
 - while (bytes_remaining) {
 - // 剩下的大小
 - off_t bytes_to_read = bytes_remaining;
 - // 一個buffer最大保存BLOCK_SZ大小
 - if (bytes_to_read > BLOCK_SZ)
 - bytes_to_read = BLOCK_SZ;
 - // 記錄buffer大小
 - fi->iovecs[current_block].iov_len = bytes_to_read;
 - // 申請內(nèi)存
 - void *buf;
 - if( posix_memalign(&buf, BLOCK_SZ, BLOCK_SZ)) {
 - perror("posix_memalign");
 - return 1;
 - }
 - // 記錄內(nèi)存地址
 - fi->iovecs[current_block].iov_base = buf;
 - // 下一塊
 - current_block++;
 - // 更新剩下的大小
 - bytes_remaining -= bytes_to_read;
 - }
 - // 保存文件大小
 - fi->file_sz = file_sz;
 - // 獲取一個io_uring的請求結(jié)構(gòu)體
 - struct io_uring_sqe *sqe = io_uring_get_sqe(ring);
 - // 填充請求
 - io_uring_prep_readv(sqe, file_fd, fi->iovecs, blocks, 0);
 - // 保存請求上下文,響應的時候用
 - io_uring_sqe_set_data(sqe, fi);
 - // 保存回調(diào)
 - fi->cb = cb;
 - // 提交請求給內(nèi)核
 - io_uring_submit(ring);
 - return 0;
 - }
 - // io_uring相關(guān)的結(jié)構(gòu)體
 - struct io_uring_info {
 - int fd;
 - int32_t pending;
 - struct io_uring ring;
 - uv_poll_t poll_handle;
 - };
 - // io_uring完成任務后,Libuv執(zhí)行的回調(diào)
 - void uv__io_uring_done(uv_poll_t* handle, int status, int events) {
 - struct io_uring* ring;
 - struct io_uring_info* io_uring_data;
 - struct io_uring_cqe* cqe;
 - struct file_info* req;
 - // 獲取Libuv中保存的io_uring信息
 - io_uring_data = uv_default_loop()->data;
 - ring = &io_uring_data->ring;
 - // 處理每一個完成的請求
 - while (1) {
 - io_uring_peek_cqe(ring, &cqe);
 - if (cqe == NULL)
 - break;
 - // 全部處理完則注銷事件
 - if (--io_uring_data->pending == 0)
 - uv_poll_stop(handle);
 - // 拿到請求上下文
 - req = (void*) (uintptr_t) cqe->user_data;
 - // 記錄讀取的大小
 - req->count = cqe->res;
 - io_uring_cq_advance(ring, 1);
 - // 執(zhí)行回調(diào)
 - req->cb(req);
 - }
 - // 處理完則退出
 - if (io_uring_data->pending == 0)
 - uv_stop(uv_default_loop());
 - }
 - // 文件讀取后的業(yè)務回調(diào)
 - void filedone(struct file_info* info) {
 - printf("讀取的大?。?d,文件信息:%s => %d\n", (int)info->count, info->name, (int)info->file_sz);}int main(int argc, char *argv[]) {
 - if (argc < 2) {
 - fprintf(stderr, "請輸入文件名稱\n");
 - return 1;
 - }
 - // 申請一個io_uring相關(guān)的結(jié)構(gòu)體
 - struct io_uring_info *io_uring_data = malloc(sizeof(*io_uring_data));
 - // 初始化io_uring
 - io_uring_queue_init(1, &io_uring_data->ring, 0);
 - // 初始化poll handle,保存監(jiān)聽的fd
 - uv_poll_init(uv_default_loop(), &io_uring_data->poll_handle, io_uring_data->ring.ring_fd);
 - // 注冊事件和回調(diào)
 - uv_poll_start(&io_uring_data->poll_handle, UV_READABLE, uv__io_uring_done);
 - // 保存io_uring的上下文在loop中
 - uv_default_loop()->data = (void *)io_uring_data;
 - // 處理每一個文件
 - for (int i = 1; i < argc; i++) {
 - submit_read_request(argv[i], filedone, &io_uring_data->ring);
 - io_uring_data->pending++;
 - }
 - // 開始事件循環(huán)
 - uv_run(uv_default_loop(), UV_RUN_DEFAULT);
 - // 退出
 - uv_loop_close(uv_default_loop());
 - io_uring_queue_exit(&io_uring_data->ring);
 - return 0;
 - }
 
編譯過程
1 git clone https://github.com/axboe/liburing.git。執(zhí)行./configure && make -j2 && sudo make install(make j2開啟兩個線程編譯,根據(jù)自己的核數(shù)定)。
2 git clone https://github.com/libuv/libuv.git。執(zhí)行./autogen.sh && ./configure && make -j2 && sudo make install。
3 安裝完依賴后新建test.cc。然后編譯 gcc -xc test2.cc -luring -luv(xc指定按c語言編譯,c++的話限制不一樣,會報錯)。
4 新建兩個測試文件hello.cc和world.cc 。執(zhí)行 ./a.out hello.cc world.cc。
5 輸出
- 讀取的大?。?997,文件信息:hello.cc => 6997
 - 讀取的大?。?1019,文件信息:world.cc => 11019
 
代碼倉庫:https://github.com/theanarkh/learn-io_uring。
可以參考
1.https://github.com/shuveb/io_uring-by-example/blob/master/03_cat_liburing/main.c
2 https://github.com/libuv/libuv/pull/2322















 
 
 










 
 
 
 