百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分析 > 正文

I/O复用 - select&poll ip复用技术原理

liebian365 2024-10-30 04:48 4 浏览 0 评论

I/O复用可以让程序同时监听多个文件描述符,这对提高程序的性能是非常重要的。一般情况下,网络程序在下列情况下需要用到I/O复用技术:

  • 客户端程序同时处理多个socket
  • 客户端程序要同时处理用户输入金额网络连接
  • TCP服务器要同时处理监听socket和连接socket。设置I/O复用使用最多的场景
  • 服务器要同时处理TCP请求和UDP请求。
  • 服务器要同时监听多个端口,或者处理多种服务。

这里需要注意的是,I/O复用虽然能同时监听多个文件描述符,但它本身是阻塞的,并且当多个文件描述符同时就绪时,如果不采取额外的措施,程序就只能按顺序依次处理其中的每一个文件描述符,这使得服务器程序看起来像是串行工作的。如果要实现并发,只能使用多进程或多线程等编程手段。

Linux下实现I/O复用的系统调用主要有select、poll、epoll。




SELECT系统调用

select API

select系统调用的用途是:在一段指定时间内,监听用户感兴趣的文件描述符上的可读、可写和异常等事件。

select系统调用的原型:

#include <sys/select.h>
int select(int nfds, fd_set* readfds, fd_set* writefds, fd_set* exceptfds,
    struct timeval* timeout);
  • nfds 参数指定被监听的文件描述符的总数。它通常被设置为select监听的所有文件描述符中的最大值加1,因为文件描述符是从0开始计数的。
  • readfds、writefds和exceptfds参数分别指向可读、可写和异常等事件对应的文件描述符集合。应用程序调用select函数时,通过这2个参数出入自己感兴趣的文件描述符。select调用返回时,内核i将修改它们来通知应用程序哪些文件描述符已经就绪。
  • fd_set结构如下:
#include <typesizes.h>
#define __FD_SETSIZE 1024

#include <sys/select.h>
typedef long int __fd_mask;

#undef	__NFDBITS
#define __NFDBITS	(8 * (int) sizeof (__fd_mask))

typedef struct
{
#ifdef __USE_XOPEN
    __fd_mask fds_bits[__FD_SETSIZE / __NFDBITS];
# define __FDS_BITS(set) ((set)->fds_bits)
#else
    __fd_mask __fds_bits[__FD_SETSIZE / __NFDBITS];
# define __FDS_BITS(set) ((set)->__fds_bits)
#endif
} fd_set;

/* Maximum number of file descriptors in `fd_set'.  */
#define	FD_SETSIZE		__FD_SETSIZE

由以上定义可见,fd_set结构体仅包含一个整型数组,该数组的每个元素的每一位(bit)标记一个文件描述符。fd_set能容纳的文件描述符数量由FD_SETSIZE指定,这就限制了select能同时处理的文件描述符的总量。

由于位操作过于繁琐,我们应该使用如下的宏访问fd_set结构体中的位:

#include <sys/select.h>
FD_ZERO(fd_set *fd_set);                /*清除fdset的所有位*/
FD_SET(int fd, fd_set *fd_set);         /*设置fdset的位fd*/
FD_CLR(int  fd, fd_set *fd_set);      /*清除fdset的位fd*/ 
int FD_ISSET(int fd, fd_set *fd_set);   /*测试fdset的位fd是否被设置*/
  • timeout参数用来设置select的超时时间。它是一个timeval结构类型的指针,采用指针参数是因为内核将修改它以告诉应用程序select等待了多久。不过我们不能完全信任select调用返回后的timeout值,因为调用失败时,timeout值是不确定的。timeval结构提定义如下:
struct timeval
{
    long tv_sec;  /*秒*/
    long yv_usec; /*微秒*/
}

由上定义可见,select给我们提供了一个微妙级别的定时方式。如果给timeout变量的tv_sec和tv_usec同时赋值0,则select将立即返回。如果给timeout传递NULL,则select将一直阻塞,直到某个文件描述符就绪。

select成功是返回就绪(可读、可写和异常)文件描述符的总数。如果在超时时间内没有任何文件描述符就绪,select将返回0,select失败时返回-1并设置errno。如果在select等待时间内,程序接收到信号,则select立即返回-1,并设置errno为EINTER。

文件描述符就绪条件

哪些情况下文件描述符可以被认为是可读、可写或者异常,对于select的使用非常关键。

在网络编程中,

下列socket可读:

  • socket内核接收缓存区中的字节数大于或等于其低水位标记SO_RCVLOWAT。此时我们可以无阻塞地读该socket,并且读操作返回的字节数大于0。
  • socket通信的对方关闭连接。此时对该socket的读操作将返回0。
  • 监听socket上有新的连接请求。
  • socket上有未处理的错误。此时我们可以使用getsockopt来读取和清除该错误。

下列socket可写:

  • socket内核发送缓存区中的可用字节数大于或等于其低水位标记SO_SNDLOWAT。此时我们可以无阻塞地写该socket,并且写操作返回的字节数大于0。
  • socket的写操作被关闭。对写操作被关闭的socket执行写操作将触发一个SIGPIPE信号。
  • socket使用非阻塞connect连接成功或者失败(超时)之后。
  • socket上有未处理的错误。此时我们可以使用getsockopt来读取和清除该错误。

网络编程中,select能处理的异常情况就一种:socket上接收到带外数据。

处理带外数据

socket上接收到普通数据和带外数据都将使select返回,下面是示例代码:

#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <fcntl.h>
#include <stdlib.h>

int main(int argc, char const *argv[])
{
    if(argc <= 2){
        printf("usage: %s ip address port number\n", basename(argv[0]));
        return 1;
    }

    const char *ip = argv[1];
    int port  = atoi(argv[2]);

    int ret = 0;
    struct sockaddr_in address;
    bzero(&address, sizeof(address));
    address.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &address.sin_family);
    address.sin_port = htons(port);

    int listenfd = socket(PF_INET, SOCK_STREAM, 0);
    assert(listenfd >= 0);
    ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address));
    assert(ret != -1);
    ret = listen(listenfd, 5);
    assert(ret != -1);

    struct sockaddr_in client_address;
    socklen_t client_addrlength = sizeof(client_address);
    int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addrlength);
    if(connfd < 0){
        printf("errno is %d - %s\n", errno, strerror(errno));
        close(listenfd);
    }

    char buf[1024];
    fd_set read_fds;
    fd_set exception_fds;
    FD_ZERO(&read_fds);
    FD_ZERO(&exception_fds);

    while(1){
        memset(buf, '\0', sizeof(buf));
        /*
        每次调用select前都要
        重新在read_fds和exception_fds中
        设置文件描述符,
        因为时间发生之后,文件描述符集合将被内核修改
        */
       FD_SET(connfd, &read_fds);
       FD_SET(connfd, &exception_fds);

       ret = select(connfd + 1, &read_fds, NULL, &exception_fds, NULL);
       if(ret < 0){
           printf("selection failure\n");
           break;
       }

       /*可读事件*/
       if(FD_ISSET(connfd, &read_fds)){
           ret = recv(connfd, buf, sizeof(buf)-1, 0);
           if(ret <= 0){
               break;
           }
           printf("get %d bytes of normal data: %s\n", ret, buf);
       }
       /*对于异常事件*/
       else if(FD_ISSET(connfd, &exception_fds)){
            ret = recv(connfd, buf, sizeof(buf)-1, MSG_OOB);
            if(ret <= 0){
                break;
            }
           printf("get %d bytes of oob data: %s\n", ret, buf);
       }
    }

    close(connfd);
    close(listenfd);
    return 0;
}

POLL系统调用

poll系统调用和select类似,也是指定时间内轮询一定数量的文件描述符,以测试其中是否有就绪者。poll的原型如下:

#include <poll.h>
int poll(struct pollfd* fds, nfds_t nfds, int timeout);
  • fds参数是一个pollfd结构类型的数组,它指定所有我们感兴趣的文件描述符上发生的可读、可写和异常等事件。pollfd结构体定义如下:
struct pollfd
{
    int fd;        /*文件描述符*/
    short events;  /*注册描述符*/
    short revents; /*实际发生的事件,由内核填充*/
};

其中,fd成员指定文件描述符;evencts告诉poll监听fd上的哪些事件,它是是一系列事件的按位或;revents成员则由内核修改,以通知应用程序fd上实际发生了哪些时间。

poll支持的事件类型如下表:

上表中,POLLRDNORM,POLLRDBAND,POLLWRNORM,POLLWRBAND由XOPEN规范定义。它们实际上是将POLLIN事件和POLLOUT事件分得更细致,一区别对待普通数据金额优先数据,但Linux并不完全支持它们。

通常,应用程序需要根据recv调用的返回值来区分socket上接收到的是有效数据还是对方关闭连接的请求,并作相应的处理。不过,自Linux内核2.6.17开始,GNU为poll系统调用增加了一个POLLRDHUP事件,它在socket上接收到对方关闭连接的请求之后触发,这为我们区分上述两种情况提供了一种更简单的方式,但使用POLLRDHUP事件时,我们需要在代码最开始i定义_GNU_SOURCE

  • nfds参数指定被监听事件集合fds的大小,定义如下:
typedef unsigned long int nfds_t
  • timeout参数指定poll的超时值,单位是毫秒。当timeout为-1时,poll调用永远阻塞,直到某个事件发生;当timeout为0时,poll调用将立即返回。

poll系统调用的返回值与含义与select相同。

下面是示例代码:

 1 #include<stdio.h>
  2 #include<unistd.h>
  3 #include<poll.h>
  4 
  5 int main()
  6 {
  7     struct pollfd poll_fd;
  8     poll_fd.fd=0;
  9     poll_fd.events=POLLIN;
 10 
 11     for(;;)
 12     {
 13         int ret=poll(&poll_fd,1,2000);
 14         if(ret<0)
 15         {
 16             perror("poll");
 17             continue;
 18         }
 19         if(ret==0)
 20         {
 21             printf("poll timeout!\n");
 22             continue;
 23         }
 24         if(poll_fd.revents==POLLIN)
 25         {
 26             char buf[1024];
 27             read(0,buf,sizeof(buf)-1);
 28             printf("sdin:%s",buf);
 29         }
 30     }
 31 }

相关推荐

快递查询教程,批量查询物流,一键管理快递

作为商家,每天需要查询许许多多的快递单号,面对不同的快递公司,有没有简单一点的物流查询方法呢?小编的回答当然是有的,下面随小编一起来试试这个新技巧。需要哪些工具?安装一个快递批量查询高手快递单号怎么快...

一键自动查询所有快递的物流信息 支持圆通、韵达等多家快递

对于各位商家来说拥有一个好的快递软件,能够有效的提高自己的工作效率,在管理快递单号的时候都需要对单号进行表格整理,那怎么样能够快速的查询所有单号信息,并自动生成表格呢?1、其实方法很简单,我们不需要一...

快递查询单号查询,怎么查物流到哪了

输入单号怎么查快递到哪里去了呢?今天小编给大家分享一个新的技巧,它支持多家快递,一次能查询多个单号物流,还可对查询到的物流进行分析、筛选以及导出,下面一起来试试。需要哪些工具?安装一个快递批量查询高手...

3分钟查询物流,教你一键批量查询全部物流信息

很多朋友在问,如何在短时间内把单号的物流信息查询出来,查询完成后筛选已签收件、筛选未签收件,今天小编就分享一款物流查询神器,感兴趣的朋友接着往下看。第一步,运行【快递批量查询高手】在主界面中点击【添...

快递单号查询,一次性查询全部物流信息

现在各种快递的查询方式,各有各的好,各有各的劣,总的来说,还是有比较方便的。今天小编就给大家分享一个新的技巧,支持多家快递,一次能查询多个单号的物流,还能对查询到的物流进行分析、筛选以及导出,下面一起...

快递查询工具,批量查询多个快递快递单号的物流状态、签收时间

最近有朋友在问,怎么快速查询单号的物流信息呢?除了官网,还有没有更简单的方法呢?小编的回答当然是有的,下面一起来看看。需要哪些工具?安装一个快递批量查询高手多个京东的快递单号怎么快速查询?进入快递批量...

快递查询软件,自动识别查询快递单号查询方法

当你拥有多个快递单号的时候,该如何快速查询物流信息?比如单号没有快递公司时,又该如何自动识别再去查询呢?不知道如何操作的宝贝们,下面随小编一起来试试。需要哪些工具?安装一个快递批量查询高手快递单号若干...

教你怎样查询快递查询单号并保存物流信息

商家发货,快递揽收后,一般会直接手动复制到官网上一个个查询物流,那么久而久之,就会觉得查询变得特别繁琐,今天小编给大家分享一个新的技巧,下面一起来试试。教程之前,我们来预览一下用快递批量查询高手...

简单几步骤查询所有快递物流信息

在高峰期订单量大的时候,可能需要一双手当十双手去查询快递物流,但是由于逐一去查询,效率极低,追踪困难。那么今天小编给大家分享一个新的技巧,一次能查询多个快递单号的物流,下面一起来学习一下,希望能给大家...

物流单号查询,如何查询快递信息,按最后更新时间搜索需要的单号

最近有很多朋友在问,如何通过快递单号查询物流信息,并按最后更新时间搜索出需要的单号呢?下面随小编一起来试试吧。需要哪些工具?安装一个快递批量查询高手快递单号若干怎么快速查询?运行【快递批量查询高手】...

连续保存新单号功能解析,导入单号查询并自动识别批量查快递信息

快递查询已经成为我们日常生活中不可或缺的一部分。然而,面对海量的快递单号,如何高效、准确地查询每一个快递的物流信息,成为了许多人头疼的问题。幸运的是,随着科技的进步,一款名为“快递批量查询高手”的软件...

快递查询教程,快递单号查询,筛选更新量为1的单号

最近有很多朋友在问,怎么快速查询快递单号的物流,并筛选出更新量为1的单号呢?今天小编给大家分享一个新方法,一起来试试吧。需要哪些工具?安装一个快递批量查询高手多个快递单号怎么快速查询?运行【快递批量查...

掌握批量查询快递动态的技巧,一键查找无信息记录的两种方法解析

在快节奏的商业环境中,高效的物流查询是确保业务顺畅运行的关键。作为快递查询达人,我深知时间的宝贵,因此,今天我将向大家介绍一款强大的工具——快递批量查询高手软件。这款软件能够帮助你批量查询快递动态,一...

从复杂到简单的单号查询,一键清除单号中的符号并批量查快递信息

在繁忙的商务与日常生活中,快递查询已成为不可或缺的一环。然而,面对海量的单号,逐一查询不仅耗时费力,还容易出错。现在,有了快递批量查询高手软件,一切变得简单明了。只需一键,即可搞定单号查询,一键处理单...

物流单号查询,在哪里查询快递

如果在快递单号多的情况,你还在一个个复制粘贴到官网上手动查询,是一件非常麻烦的事情。于是乎今天小编给大家分享一个新的技巧,下面一起来试试。需要哪些工具?安装一个快递批量查询高手快递单号怎么快速查询?...

取消回复欢迎 发表评论: