Redis技术架构及其深度应用

一、核心服务模型

1)单进程单线程（成也萧何败萧何）

2)IO多路复用（同步非阻塞IO）

3)实现ae小型事件库，类似libevent，libev

不过不像libevent是线程不安全的，多线程不能share同一个event_base，就算是加锁操作也不行，只能采取“单线程单event_base”的策略了

4) 嵌入lua环境

5) 使用zmalloc库（封装了ptmalloc，tcmalloc和jemalloc），对内存使用情况的统计

二、高度模块化

redis.c //程序主要文件

replication.c //数据同步master-slave

config.c //配置文件解析

multi.c //事务，多条命令一起打包处理

zmalloc.c //内存管理

scripting.c //嵌入lua脚本

ae.c //事件驱动

ae_epoll.c //epoll接口, linux用

ae_kqueue.c //kqueue接口, freebsd用

ae_select.c //select接口, windows用

anet.c //网络处理

networking.c //读取、解析和处理客户端命令

aof.c //处理aof持久化文件

rdb.c//处理rdb持久化文件

db.c //DB处理

object.c //各种对像的创建与销毁,string、list、set、zset、hash

sds.c //字符串处理

adlist.c //双向链表

dict.c //hash表

t_string.c //string类型处理

t_hash.c //hash类型处理

t_list.c //list类型处理

t_set.c //set类型处理

t_zset.c //zset类型处理

intset.c //转换为数字类型数据

ziplist.c //节省内存方式的list处理

zipmap.c //节省内存方式的hash处理

sort.c //用于list、set、zset排序

三、技术架构及模块的其他应用

1、wrk，高性能http压测工具，使用ae模块，嵌入lua，使用zmalloc封装内存分配库

2、 disque，使用redis全套框架的高性能消息队列，redis之父的全新力作

四、Redis在服务器开发中的应用

1. 数据缓存、数据同步

   1)全内存

   2)可异步持久化

   3)Master/slave主从同步

   4)增量的数据同步
   

2. 嵌入lua环境

   类似ngx+lua的方式实现了一套redis+lua，考虑到性能可以使用luajit。

   载入了lua标准库，序列化库cmsgpack和cjson

   重新实现redis的随机数函数替代lua的标准库随机函数

   作者认为Lua随机数生成算法的默认实现中使用了libc的rand()函数，而libc的rand()并不能保证在设置了相同种子的情况下，不同平台能生成相同的随机数序列。因此作者重写这一文件，保证跨平台性。

   封装对redis操作的函数到lua的全局变量redis中

   redis.call(),redis.pcall(),

   redis.log(),

   edis.sha1hex(),

   redis.error_reply(),redis.status_reply()

3. 其他应用

   1)Unix套接字通讯，进程间通讯

   2)Mget节省网络交互开销，相同命令

   3)Pipeline节省网络交互开销，不同命令

   4)消息队列（无序队列、有序队列）

   lpush，rpop；rpush，lpop；

   zset；

   5) 分布式锁

   单进程单线程模式，队列模式将并发访问变成串行访问。

   setnx，getset

4. 高可用

   1)Keepalived+虚IP，脚本进行主从切换和故障转移

   2)Sentinel，监控redis节点的状态，流言协议判断主从状态，投票协议决定故障转移 3)RedisCluster，服务端级别的数据分片，对客户端透明

   4)RedisSentinelClient，客户端级别的数据分片，对redis服务透明

   5)Proxy，代理级别的数据分片，如twemproxy，codis