多进程编程 - 共享内存 多线程共享内存变量
liebian365 2024-10-27 13:13 20 浏览 0 评论
共享内存是最高效的IPC机制,因为它不涉及进程之间的任何数据传输。这种高效率带来的问题是,我们必须用i其他辅助手段来同步进程对共享内存的访问,否则会产生竞态条件。因此,共享内存通常和其他进程间通信方式一起使用。
Linux共享内存的API都定义在sys/shm.h头文件中,包括4个系统调用:shmget、shmat、shmdt和shmctl。
shmget系统调用
shmget系统调用创建一段新的共享内存,或者获取一段已经存在的共享内存。定义如下:
#include <sys/shm.h>
int shmget(key_t key, size_t size, int shmflg);
和semget系统调用一样,key参数是一个键值,用来标识一段全局唯一的共享内存。size参数指定共享内存的大小,单位是字节。如果是创建新的共享内存,则size值必须指定。如果是获取已经存在的共享内存,则可以把size设置为0。
shmflg参数的使用和含义与semget系统调用的sem_flags参数相同。不过shmget支持两个额外的标志:
- SHM_HUGETLB:类似于mmap的MAP_HUGETLB标志,系统将使用“大页面”来为共享内存分配空间
- SHM_NORESERVE:类似于mmap的MAP_NORESERVE,不为共享内存保留交换分区(swap空间)。这样,当物理内存不足的时候,对该共享内存执行写操作将触发SIGSEGV信号。
shmget成功时返回一个正整数值,它是共享内存的标识符。shmget失败时返回-1,并设置errno。
如果shmget用于创建共享内存,则这段共享内存的所有自己都被初始化为0,与之关联的内核数据结构shmid_ds将被创建并初始化。shmid_ds结构体的定义如下:
struct shmid_ds
{
struct ipc_prem shm_prem; /*共享内存的操作权限*/
size_t shm_segsz; /*共享内存大小,单位是字节*/
__time_t shm_atime; /*对这段内存最后一次调用shmat的时间*/
__time_t shm_dtime; /*对这段内存最后一次调用shmdt的时间*/
__time_t shm_ctime; /*对这段内存最后一次调用shmctl的时间*/
__pid_t shm_cpid; /*创建者PID*/
__pid_t shm_lpid; /*最后一次执行shmat或shmdt操作的进程PID*/
shmatt_t shm_nattach; /*目前关联到此共享内存的进程数量*/
/*省略一下填充字段*/
}
shmget对shmid_ds结构体的初始化包括:
- 将shm_perm.cuid和shm_perm.uid设置为调用进程的有效用户ID
- 将shm_perm.cgid和shm_perm.gid设置为调用进程的有效组ID
- 将shm_perm.mode的最低9位设置为shmflg参数的最低9位
- 将shm_segsz设置为size
- 将shm_lpid、shm_nattach、shm_atime、shm_dtime设置为0
- 将shm_ctime设置为当前的时间
shmat和shmdt调用
共享内存被创建/获取之后,我们不能立即访问它,而是需要先将它关联到进程的地址空间中。使用完共享内存之后,我们也需要将它从进程地址空间中分离。这两项任务分别由两个系统调用实现:
#include <sys/shm.h>
void* shmat(int shm_id, const void *shm_addr, int shmflg);
int shmdt(const void* shm_addr);
其中,shm_id参数是由shmget调用返回的共享内存标识符。
shm_addr参数指定将共享内存关联到进程的哪块地址空间,最终的效果还受到shmflg参数的可选标志SHM_RND影响:
- 如果shm_addr为NULL,则被关联的地址由操作系统选择。这是推荐的做法,以确保代码的可移植性。
- 如果shm_addr非空,并且SHM_RND标志未被设置,则共享内存被关联到addr指定的地址处。
- 如果shm_addr非空,并且设置了SHM_RND标志,则被关联的地址是[shm_addr - (shm_addr % SHMLBA)]。SHMLBA的含义是“段低端边界地址倍数”(Segment Low Boundary Address Multiple),它必须是内存页面大小PAGE_SIZE的整数倍。现在的Linux内核中,它等于一个内存页大小。SHM_RND的含义是圆整(round),即将共享内存被关联的地址向下圆整到离shm_addr最近的SHMLBA的整数被地址处。
除了SHM_RND标志外,shmflg参数还支持如下标志:
- SHM_RDONLY:进程仅能读取共享内存中的内容。若没有指定该标志,则进程可同时对共享内存进行读写操作(当然,这需要在创建共享内存的时候指定其读写权限)
- SHM_REMAP:如果地址shmaddr已经被关联到一段共享内存上,则重新关联
- SHM_EXEC:它指定对共享内存段的执行权限。对共享内存而言,执行权限实际上和读权限是一样的。
shmat成功时返回共享内存被关联到的地址,失败则返回(void*)-1并设置errno。shmat成功时,将修改内核数据结构shmid_ds的部分字段:
- 将shm_nattach加1
- 将shm_lpid设置为调用进程PID
- 将shm_atime设置为当前的时间
shmdt函数将关联到的shm_addr处的共享内存从进程中分离。它成功时返回0,失败则返回-1并设置errno。shmdt在成功调用时将修改内核数据结构shmid_ds的部分字段:
- 将shm_nattach减1
- 将shm_lpid设置为调用进程的PID
- 将shm_dtime设置为当前的时间
shmctl系统调用
shmctl系统调用控制共享内存的某些属性。定义如下:
#include <sys/shm.h>
int shmctl(int shm_id, int command, struct shmid_ds* buf);
其中,shm_id参数是由shmget调用返回的共享内存标识符。command参数指定要执行的命令。shm_ctl支持的所有命令如下表:
shmctl成功时的返回值取决于command参数,如上表,失败是返回-1,并设置errno。
共享内存的POSIX方法
mmap函数利用它的MAP_ANONYMOUS标志可以实现父、子进程之间的匿名内存共享。通过打开同一个文件按,mmap可以实现无关进程之间的内存共享。Linux提供了另外一种利用mmap在无关进程之间共享内存的方式。这种方式无需任何文件的支持,但它需要先使用如下函数创建或打开一个POSIX可移植操作系统接口(Portable Operating System Interface of UNIX,缩写为POSIX)共享内存对象:
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
int shm_open(const char* name, int oflag, mode_t mode);
shm_open的使用方法与open系统调用完全相同。
name参数指定要创建/打开的内存。从可移植性的角度考虑,该参数应该使用“/somename”的格式:
以“/”开始,后接多个字符,且这些字符都不是“/”;
以“\0"结尾,长度不超过NAME_MAX(通常是255)
oflag参数指定创建方式。它可以是下列标志中的一个或者多个按位或:
- O_RDONLY:以只读方式打开共享内存对象
- O_RDWR:以可读、可写方式打开内存共享对象
- O_CREAT:如果共享内存对象不存在,则创建之。此时mode参数的最低9位将指定该共享内存对象的访问权限。共享内存对象被创建的时候,其初始长度为0。
- O_EXCL:和O_CREAT一起使用,如果由name指定的共享内存已经存在,则shm_open调用返回错误,否则就创建一个新的共享内存对象
- O_TRUNC:如果共享内存已经存在,则把它截断,使其长度为0
shm_open调用成功时返回一个文件描述符。该文件描述符可用于后续的mmap调用,从而将共享内存关联到调用进程。shm_open失败时返回-1,并设置errno。
和打开的文件最后需要关闭一样,由shm_open创建的共享内存对象使用完之后也需要被删除。这个通过如下函数实现:
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
int shm_unlink(const char* name);
该函数将name参数指定的共享内存对象标记为等待删除。当所有使用该共享内存对象的进程都使用ummap将它从进程中分离之后,系统将销毁这个共享内存对象所占据的资源。
如果代码中使用了上述POSIX共享内存函数,则编译的时候需要指定链接选项-ltr。
共享内存实例
在I/O复用高级应用中我们介绍过过一个聊天室程序。下面我们将它修改为一个多进程服务器:一个子进程处理一个客户连接。同时,我们将所有客户socket连接的读缓冲设计为一块共享内存:
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <fcntl.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <signal.h>
#include <sys/wait.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#define USER_LIMIT 5
#define BUFFER_SIZE 1024
#define FD_LIMIT 65535
#define MAX_EVENT_NUMBER 1024
#define PROCESS_LIMIT 65536
/*处理一个客户连接必要的数据*/
struct client_data
{
sockaddr_in address ; /*客户端socket地址*/
int connfd; /*socket文件描述符*/
pid_t pid; /*处理这个连接的子进程PID*/
int pipefd[2]; /*和父进程通信用的管道*/
};
static const char* shm_name = "/my_shm";
int sig_pipefd[2];
int epollfd;
int listenfd;
int shmfd;
char * share_mem = 0;
/*客户连接数组。进程使用客户连接的编号来索引这个数据,及可取得相关的客户连接数据*/
client_data* users = 0;
/*子进程与客户连接的映射关系,用进程PID来索引这个数组。即可取得该进程所处理的客户链接的编号*/
int* sub_porcess = 0;
/*当前客户数量*/
int user_count = 0;
bool stop_child = false;
int setnonblocking(int fd)
{
int old_option = fcntl(fd, F_GETFL);
int new_option = old_option | O_NONBLOCK;
fcntl(fd, F_SETFL, new_option);
return old_option;
}
void addfd(int epollfd, int fd)
{
epoll_event event;
event.data.fd = fd;
event.events = EPOLLIN | EPOLLET;
epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &event);
setnonblocking(fd);
}
void sig_handler(int sig)
{
int save_errno = errno;
int msg = sig;
send(sig_pipefd[1], (char*)&msg, 1, 0);
errno = save_errno;
}
void addsig(int sig, void(*handler)(int), bool restart = true)
{
struct sigaction sa;
memset(&sa, '\0', sizeof(sa));
sa.sa_handler = handler;
if(restart){
sa.sa_flags |= SA_RESTART;
}
sigfillset(&sa.sa_mask);
assert(sigaction(sig, &sa, NULL) != -1);
}
void del_resource()
{
close(sig_pipefd[0]);
close(sig_pipefd[1]);
close(listenfd);
close(epollfd);
shm_unlink(shm_name);
delete [] users;
delete [] sub_porcess;
}
/*停止一个子进程*/
void child_term_handler(int sig)
{
stop_child = true;
}
/*子进程运行的函数,
参数idx指出该子进程处理客户链接的编号
users是保存连接数据的数组
参数share_mem指出共享内存的其实地址*/
int run_child(int idx, client_data* users, char* share_mem)
{
epoll_event events[MAX_EVENT_NUMBER];
/*子进程使用I/O复用技术来同时监听两个文件描述副:
客户连接socket、
与父进程通信的管道文件描述符*/
int child_epollfd = epoll_create(5);
assert(child_epollfd != -1);
int connfd = users[idx].connfd;
addfd(child_epollfd, connfd);
int pipefd = users[idx].pipefd[1];
addfd(child_epollfd, pipefd);
int ret = 0;
/*子进程需要设置自己的信号处理函数*/
addsig(SIGTERM, child_term_handler, false);
while (!stop_child){
int number = epoll_wait(child_epollfd, events, MAX_EVENT_NUMBER, -1);
if(number < 0 && errno != EINTR){
printf("epoll failure\n");
break;
}
for(int i = 0; i < number; ++i)
{
int sockfd = events[i].data.fd;
/*本子进程负责的客户连接有数据到达*/
if(sockfd == connfd && events[i].events & EPOLLIN){
memset(share_mem + idx* BUFFER_SIZE, '\0', BUFFER_SIZE);
/*将客户数据读取到对应的读缓存中。
读缓存是共享内存的一段,它开始去idx*BUffER_SIZE处,长度为BUFFER_SIZE
每个客户连接的读缓存是共享的*/
ret = recv(connfd, share_mem + idx*BUFFER_SIZE, BUFFER_SIZE-1, 0);
if(ret < 0){
if(errno != EAGAIN){
stop_child = true;
}
}
else if(ret == 0){
stop_child = true;
}
else{
/*成功读取客户端数据后就通知主进程(通过管道)来处理*/
send(pipefd, (char*)&idx, sizeof(idx), 0);
}
}
/*主进程通知本进程(通过管道)将第client个客户的数据发送到本进程负责的客户端*/
else if(sockfd == pipefd && events[i].events & EPOLLIN){
int client = 0;
/*接受主进程发送过来的数据,即有客户端数据到达的连接编号*/
ret = recv(sockfd, (char*)&client, sizeof(client), 0);
if(ret < 0){
if(errno != EAGAIN){
stop_child = true;
}
}
else if(ret = 0){
stop_child = true;
}
else{
send(connfd, share_mem + client*BUFFER_SIZE, BUFFER_SIZE, 0);
}
}
else{
continue;
}
}
}
close(connfd);
close(pipefd);
close(child_epollfd);
return 0;
}
int main(int argc, char const *argv[])
{
if(argc <= 2){
printf("usage: %s ip_address port_number\n", basename(argv[0]));
return 1;
}
const char* ip = argv[1];
int port = atoi(argv[2]);
int ret = 0;
struct sockaddr_in address;
bzero(&address, sizeof(address));
address.sin_family = AF_INET;
inet_pton(AF_INET, ip, &address.sin_addr);
address.sin_port = htons(port);
listenfd = socket(PF_INET, SOCK_STREAM, 0);
assert(listenfd >= 0);
ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address));
assert(ret != -1);
ret = listen(listenfd, 5);
assert(ret != -1);
user_count = 0;
users = new client_data[USER_LIMIT+1];
sub_porcess = new int[PROCESS_LIMIT];
for(int i = 0; i < PROCESS_LIMIT; ++i){
sub_porcess[i] = -1;
}
epoll_event events[MAX_EVENT_NUMBER];
epollfd = epoll_create(5);
assert(epollfd != -1);
addfd(epollfd, listenfd);
ret = socketpair(PF_UNIX, SOCK_STREAM, 0, sig_pipefd);
assert(ret != -1);
setnonblocking(sig_pipefd[1]);
addfd(epollfd, sig_pipefd[0]);
addsig(SIGCHLD, sig_handler);
addsig(SIGTERM, sig_handler);
addsig(SIGINT, sig_handler);
addsig(SIGPIPE, SIG_IGN);
bool stop_server = false;
bool terminiate = false;
/*创建共享内存,作为所有客户socket链接的读缓存*/
shmfd = shm_open(shm_name, O_CREAT| O_RDWR, 0666);
assert(shmfd != -1);
ret = ftruncate(shmfd, USER_LIMIT* BUFFER_SIZE);
assert(ret != -1);
share_mem = (char*)mmap(NULL, USER_LIMIT*BUFFER_SIZE, PROT_READ|
PROT_WRITE, MAP_SHARED, shmfd, 0);
assert(share_mem != MAP_FAILED);
close(shmfd);
while(!stop_server){
int number = epoll_wait(epollfd, events, MAX_EVENT_NUMBER, -1);
if(number < 0 && errno != EINTR){
printf("epoll failure\n");
break;
}
for(int i=0; i < number; ++i){
int sockfd = events[i].data.fd;
/*新的客户连接*/
if(sockfd == listenfd){
struct sockaddr_in client_address;
socklen_t client_addrlength = sizeof(client_address);
int connfd = accept(listenfd, (struct sockaddr*)&client_address,
&client_addrlength);
if(connfd < 0){
printf("errno is %d\n", errno);
continue;
}
if(user_count >= USER_LIMIT){
const char *info = "too many users\n";
printf("%s", info);
send(connfd, info, strlen(info), 0);
close(connfd);
continue;
}
/*保存第user_count个客户连接的相关数据*/
users[user_count].address = client_address;
users[user_count].connfd = connfd;
/*在主进程和子进程间建立管道,以传递必要的数据*/
ret = socketpair(PF_UNIX, SOCK_STREAM, 0, users[user_count].pipefd);
assert(ret != -1);
pid_t pid = fork();
if(pid < 0){
close(connfd);
continue;
}
else if (pid == 0){
close(epollfd);
close(listenfd);
close(users[user_count].pipefd[0]);
close(sig_pipefd[0]);
close(sig_pipefd[1]);
run_child(user_count, users, share_mem);
munmap((void*)share_mem, USER_LIMIT* BUFFER_SIZE);
exit(0);
}
else{
close(connfd);
close(users[user_count].pipefd[1]);
addfd(epollfd, users[user_count].pipefd[0]);
users[user_count].pid = pid;
/*记录新的客户连接在数组users中的索引值,
建立进程pid和该索引值之间的映射关系*/
sub_porcess[pid] = user_count;
user_count++;
}
}
/*处理信号事件*/
else if(sockfd == sig_pipefd[0] && events[i].events & EPOLLIN){
int sig;
char signals[1024];
ret = recv(sig_pipefd[0], signals, sizeof(signals), 0);
if(ret == -1){
continue;
}
else if(ret == 0){
continue;
}
else{
for(int i = 0; i < ret; ++i){
switch (signals[i])
{
case SIGCHLD:{
/*子进程退出,表示有某个客户端关闭了连接*/
pid_t pid;
int stat;
while((pid = waitpid(-1, &stat, WNOHANG)) > 0){
int del_user = sub_porcess[pid];
sub_porcess[pid] = -1;
if(del_user < 0 || del_user > USER_LIMIT){
continue;
}
epoll_ctl(epollfd, EPOLL_CTL_DEL,
users[del_user].pipefd[0],0);
close(users[del_user].pipefd[0]);
users[del_user] = users[--user_count];
sub_porcess[users[del_user].pid] = del_user;
}
if(terminiate && user_count == 0){
stop_server = true;
}
break;
}
case SIGTERM:
case SIGINT:{
/*结束服务程序*/
printf("kill all the child now\n");
if(user_count == 0){
stop_server = true;
break;
}
for(int i = 0; i < user_count; ++i){
int pid = users[i].pid;
kill(pid, SIGTERM);
}
terminiate = true;
break;
}
default:
break;
}
}
}
}
/*某个紫禁城向父进程写入了数据*/
else if(events[i].events &EPOLLIN){
int child = 0;
ret = recv(sockfd, (char*)&child, sizeof(child),0);
printf("read data from child process accross pipe\n");
if(ret == -1){
continue;
}
else if(ret == 0){
continue;
}
else{
/*向除负责处理第child和客户链接的子进程之外的其他子进程发送消息,
通知有客户要写*/
for(int j = 0; j < user_count; ++j){
if(users[j].pipefd[0] != sockfd){
printf("send data to child accross pipe\n");
send(users[j].pipefd[0], (char*)&child, sizeof(child), 0);
}
}
}
}
}
}
del_resource();
return 0;
}
相关推荐
- 4万多吨豪华游轮遇险 竟是因为这个原因……
-
(观察者网讯)4.7万吨豪华游轮搁浅,竟是因为油量太低?据观察者网此前报道,挪威游轮“维京天空”号上周六(23日)在挪威近海发生引擎故障搁浅。船上载有1300多人,其中28人受伤住院。经过数天的调...
- “菜鸟黑客”必用兵器之“渗透测试篇二”
-
"菜鸟黑客"必用兵器之"渗透测试篇二"上篇文章主要针对伙伴们对"渗透测试"应该如何学习?"渗透测试"的基本流程?本篇文章继续上次的分享,接着介绍一下黑客们常用的渗透测试工具有哪些?以及用实验环境让大家...
- 科幻春晚丨《震动羽翼说“Hello”》两万年星间飞行,探测器对地球的最终告白
-
作者|藤井太洋译者|祝力新【编者按】2021年科幻春晚的最后一篇小说,来自大家喜爱的日本科幻作家藤井太洋。小说将视角放在一颗太空探测器上,延续了他一贯的浪漫风格。...
- 麦子陪你做作业(二):KEGG通路数据库的正确打开姿势
-
作者:麦子KEGG是通路数据库中最庞大的,涵盖基因组网络信息,主要注释基因的功能和调控关系。当我们选到了合适的候选分子,单变量研究也已做完,接着研究机制的时便可使用到它。你需要了解你的分子目前已有哪些...
- 知存科技王绍迪:突破存储墙瓶颈,详解存算一体架构优势
-
智东西(公众号:zhidxcom)编辑|韦世玮智东西6月5日消息,近日,在落幕不久的GTIC2021嵌入式AI创新峰会上,知存科技CEO王绍迪博士以《存算一体AI芯片:AIoT设备的算力新选择》...
- 每日新闻播报(September 14)_每日新闻播报英文
-
AnOscarstatuestandscoveredwithplasticduringpreparationsleadinguptothe87thAcademyAward...
- 香港新巴城巴开放实时到站数据 供科技界研发使用
-
中新网3月22日电据香港《明报》报道,香港特区政府致力推动智慧城市,鼓励公私营机构开放数据,以便科技界研发使用。香港运输署21日与新巴及城巴(两巴)公司签署谅解备忘录,两巴将于2019年第3季度,开...
- 5款不容错过的APP: Red Bull Alert,Flipagram,WifiMapper
-
本周有不少非常出色的app推出,鸵鸟电台做了一个小合集。亮相本周榜单的有WifiMapper's安卓版的app,其中包含了RedBull的一款新型闹钟,还有一款可爱的怪物主题益智游戏。一起来看看我...
- Qt动画效果展示_qt显示图片
-
今天在这篇博文中,主要实践Qt动画,做一个实例来讲解Qt动画使用,其界面如下图所示(由于没有录制为gif动画图片,所以请各位下载查看效果):该程序使用应用程序单窗口,主窗口继承于QMainWindow...
- 如何从0到1设计实现一门自己的脚本语言
-
作者:dong...
- 三年级语文上册 仿写句子 需要的直接下载打印吧
-
描写秋天的好句好段1.秋天来了,山野变成了美丽的图画。苹果露出红红的脸庞,梨树挂起金黄的灯笼,高粱举起了燃烧的火把。大雁在天空一会儿写“人”字,一会儿写“一”字。2.花园里,菊花争奇斗艳,红的似火,粉...
- C++|那些一看就很简洁、优雅、经典的小代码段
-
目录0等概率随机洗牌:1大小写转换2字符串复制...
- 二年级上册语文必考句子仿写,家长打印,孩子照着练
-
二年级上册语文必考句子仿写,家长打印,孩子照着练。具体如下:...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- wireshark怎么抓包 (75)
- qt sleep (64)
- cs1.6指令代码大全 (55)
- factory-method (60)
- sqlite3_bind_blob (52)
- hibernate update (63)
- c++ base64 (70)
- nc 命令 (52)
- wm_close (51)
- epollin (51)
- sqlca.sqlcode (57)
- lua ipairs (60)
- tv_usec (64)
- 命令行进入文件夹 (53)
- postgresql array (57)
- statfs函数 (57)
- .project文件 (54)
- lua require (56)
- for_each (67)
- c#工厂模式 (57)
- wxsqlite3 (66)
- dmesg -c (58)
- fopen参数 (53)
- tar -zxvf -c (55)
- 速递查询 (52)