百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分析 > 正文

Linux服务器开发之MySQL 集群方案

liebian365 2024-10-22 15:41 25 浏览 0 评论

案例:

100W 的客户端,每三分钟上传一次数据。数据库如何设计?能够查询所有记录?

官方 MySQL 集群方案

MySQL Replication

MySQL Replication 是 mysql 自带的功能,主从复制是通过重放 binlog 实现主库数据的

异步复制。即当主库执行了一条 sql 命令,那么在从库同样地执行一遍,从而达到主从复制

的效果。在这个过程中,master 对数据的写操作记入二进制日志文件中(binlog),生成一

个 log dump 线程,用来给从库的 i/o 线程传 binlog。而从库的 i/o 线程去请求主库的

binlog,并将得到的 binlog 日志写到中继日志(relaylog)中,从库的 sql 线程,会读

取 relaylog 文件中的日志,并解析成具体操作,通过主从的操作一致,而达到最终数据一

致。

MySQL Replication 一主多从的结构,主要目的是实现数据的多点备份(没有故障自动转移和

负载均衡)。相比于单个的 mysql,一主多从下的优势如下:

1. 如果让后台读操作连接从数据库,让写操作连接主数据库,能起到读写分离的作用,这

个时候多个从数据库可以做负载均衡。

2. 可以在某个从数据库中暂时中断复制进程,来备份数据,从而不影响主数据的对外服务

(如果在 master 上执行 backup,需要让 master 处于 readonly 状态,这也意味着所有的

write 请求需要阻塞)。

就各个集群方案来说,其优势为:

1. 主从复制是 mysql 自带的,无需借助第三方。

2. 数据被删除,可以从 binlog 日志中恢复。

3. 配置较为简单方便。

其劣势为:

1. 从库要从 binlog 获取数据并重放,这肯定与主库写入数据存在时间延迟,因此从库的数

据总是要滞后主库。

2. 对主库与从库之间的网络延迟要求较高,若网络延迟太高,将加重上述的滞后,造成最

终数据的不一致。

3. 单一的主节点挂了,将不能对外提供写服务。

配置主机:

$ sudo vim /etc/mysql/my.cnf

添加 log-bin , server_id
修改 bind-address = 0.0.0.0
mysql > create user replication@'%' identified by '123456';
mysql > grant all privileges on *.* to 'replication'@'%' identified by '123456' with grant option;
mysql > show master status;

配置从机

mysql > change master to master_host='192.168.189.133', master_port=3306,
master_user='replication', master_password='123456', master_log_file='mysql-bin.000001',
master_log_pos=380;
mysql > start slave;
mysql> show slave status\G

问题 1

# mysql –u root -p
> create user ‘wangbojing’@’%’ identified by ‘123456’;
> grant all privileges on *.* to ‘wangbojing’@’%’ identified by
‘123456’ with grant option;
> SHOW DATABASES;
> CREATE DATABASE VIP_ORDER;
> CREATE TABLE TBL_USER (
> U_ID INT PRIMARY KEY NOT NULL AUTO_INCREMENT,
> U_NAME VARCHAR(64) NOT NULL,
> U_IMAGE LONGBLOB,
> U_GENDER VARCHAR(64)
> )

# 性能测试

# sysbench src/lua/oltp_read_write.lua --tables=3 --table_size=500000 -
-mysql-user=root --mysql-password=123456 --mysql-host=192.168.2.217
mysql-port=3306 --mysql-db=TBL_REPLICATION prepare
# sysbench src/lua/oltp_point_select.lua --tables=3 --table_size=500000 --mysql
user=root --mysql-password=zhaomeiping --mysql-host=192.168.2.217 --mysql-port=3306
--mysql-db=TBL_REPLICATION --threads=128 --time=100 --report-interval=5 run

MySQL Fabirc

MySQL Fabirc,是 mysql 官方提供的。这是在 MySQL Replication 的基础上,增加了故障检测

与转移,自动数据分片功能。不过依旧是一主多从的结构,MySQL Fabirc 只有一个主节点,

区别是当该主节点挂了以后,会从从节点中选择一个来当主节点。

就各个集群方案来说,其优势为:

1. mysql 官方提供的工具,无需第三方插件。

2. 数据被删除,可以从 binlog 日志中恢复。

3. 主节点挂了以后,能够自动从从节点中选择一个来当主节点,不影响持续对外提供写服

务。

其劣势为:

1. 从库要从 binlog 获取数据并重放,这肯定与主库写入数据存在时间延迟,因此从库的数

据总是要滞后主库。

2. 对主库与从库之间的网络延迟要求较高,若网络延迟太高,将加重上述的滞后,造成最

终数据的不一致。

3. 2014 年 5 月推出的产品,数据库资历较浅,应用案例不多,网上各种资料相对较少。

4. 事务及查询只支持在同一个分片内,事务中更新的数据不能跨分片,查询语句返回的数

据也不能跨分片。

5. 节点故障恢复 30 秒或更长(采用 InnoDB 存储引擎的都这样)。

MySQL Cluster

MySQL 集群(MySQL Cluster)也是 mysql 官方提供的。

MySQL Cluster 是多主多从结构的

就各个集群方案来说,其优势为:

1.

mysql 官方提供的工具,无需第三方插件。

2.

高可用性优秀,99.999%的可用性,可以自动切分数据,能跨节点冗余数据(其数据集并

不是存储某个特定的 MySQL 实例上,而是被分布在多个 Data Nodes 中,即一个 table 的

数据可能被分散在多个物理节点上,任何数据都会在多个 Data Nodes 上冗余备份。任何

一个数据变更操作,都将在一组 Data Nodes 上同步,以保证数据的一致性)。

3.

可伸缩性优秀,能自动切分数据,方便数据库的水平拓展。

4.

负载均衡优秀,可同时用于读操作、写操作都都密集的应用,也可以使用 SQL 和 NOSQL

接口访问数据。

5.

多个主节点,没有单点故障的问题,节点故障恢复通常小于 1 秒。

其劣势为:

1. 架构模式和原理很复杂。

2. 只能使用存储引擎 NDB ,与平常使用的 InnoDB 有很多明显的差距。比如在事务(其

事务隔离级别只支持 Read Committed,即一个事务在提交前,查询不到在事务内所做的

修改),外键(虽然最新的 NDB 存储引擎已经支持外键,但性能有问题,因为外键所关

联的记录可能在别的分片节点),表现制上的不同,可能会导致日常开发出现意外。

3. 作为分布式的数据库系统,各个节点之间存在大量的数据通讯,比如所有访问都是需要

经过超过一个节点(至少有一个 SQL Node 和一个 NDB Node)才能完成,因此对节点之

间的内部互联网络带宽要求高。

4. Data Node 数据会被尽量放在内存中,对内存要求大,而且重启的时候,数据节点将数

据 load 到内存需要很长时间。

第三方集群方案

MMM

MMM(Master Replication Manager for MySQL)是双主多从结构,MMM 是在 MySQL Replication

的基础上,对其进行优化。这是 Google 的开源项目,使用 Perl 语言来对 MySQL Replication

做扩展,提供一套支持双主故障切换和双主日常管理的脚本程序,主要用来监控 mysql 主主

复制并做失败转移。

注意:这里的双主节点,虽然叫做双主复制,但是业务上同一时刻只允许对一个主进行写入,

另一台备选主上提供部分读服务,以加速在主主切换时刻备选主的预热。

就各个集群方案来说,其优势为:

1. 自动的主主 Failover 切换,一般 3s 以内切换备机。

2. 多个从节点读的负载均衡。

其劣势为:

1. 无法完全保证数据的一致性。如主 1 挂了,MMM monitor 已经切换到主 2 上来了,而若

此时双主复制中,主 2 数据落后于主 1(即还未完全复制完毕),那么此时的主 2 已经成

为主节点,对外提供写服务,从而导致数据不一。

2. 由于是使用虚拟 IP 浮动技术,类似 Keepalived,故 RIP(真实 IP)要和 VIP(虚拟 IP)在

同一网段。如果是在不同网段也可以,需要用到虚拟路由技术。但是绝对要在同一个 IDC

机房,不可跨 IDC 机房组建集群。

MHA

MHA(Master High Availability)是多主多从结构,MHA 是在 MySQL Replication 的基础上,对

其进行优化。这是日本 DeNA 公司的 youshimaton 开发,主要提供更多的主节点,但是缺少

VIP(虚拟 IP),需要配合 keepalived 等一起使用。

要搭建 MHA,要求一个复制集群中必须最少有三台数据库服务器,一主二从,即一台充当

master,一台充当备用 master,另外一台充当从库。

就各个集群方案来说,其优势为:

1. 可以进行故障的自动检测和转移

2. 具备自动数据补偿能力,在主库异常崩溃时能够最大程度地保证数据的一致性。

其劣势为:

1. MHA 架构实现读写分离,最佳实践是在应用开发设计时提前规划读写分离事宜,再使用

时设置两个连接池,即读连接池与写连接池,也可以选择这种方案即引入 SQL Proxy。但

无论如何都需要改动代码;

2. 关于读负载均衡可以使用 F5、LVS、HAPROXY 或者 SQL Proxy 等工具,只要能实现负载均

衡、故障检查及备升级为主后的读写剥离功能即可,建议使用 LVS

Galera Cluster

Galera Cluster 是由 Codership 开发的 MySQL 多主结构集群,这些主节点互为其它节点的从节

点。不同于 MySQL 原生的主从异步复制,Galera 采用的是多主同步复制,并针对同步复制

过程中,会大概率出现的事务冲突和死锁进行优化,就是复制不基于官方 binlog 而是 Galera

复制插件,重写了 wsrep api。异步复制中,主库将数据更新传播给从库后立即提交事务,而

不论从库是否成功读取或重放数据变化。这种情况下,在主库事务提交后的短时间内,主从

库数据并不一致。同步复制时,主库的单个更新事务需要在所有从库上同步 更新。换句话

说,当主库提交事务时,集群中所有节点的数据保持一致。

对于读操作,从每个节点读取到的数据都是相同的。对于写操作,当数据写入某一节点后,

集群会将其同步到其它节点。

就各个集群方案来说,其优势为:

1. 多主多活下,可对任一节点进行读写操作,就算某个节点挂了,也不影响其它的节点的

读写,都不需要做故障切换操作,也不会中断整个集群对外提供的服务。

2. 拓展性优秀,新增节点会自动拉取在线节点的数据(当有新节点加入时,集群会选择出

一个 Donor Node 为新节点提供数据),最终集群所有节点数据一致,而不需要手动备份

恢复。

其劣势为:

能做到数据的强一致性,毫无疑问,也是以牺牲性能为代价。

更多技术点欢迎关注!

相关推荐

深度解密epoll 如何工作的?(epoll基本处理流程)

epoll...

大乐透第19082期:头奖开出7注1000万分落六地 奖池41亿元

2019年7月17日晚开奖的体彩超级大乐透第19082期开奖号码为:前区06、18、20、21、31,后区03、04。本期大乐透前区号码五区比为1:0:3:0:1,二区和四区号码没有给出。当期前区和值...

【开奖】4月27日周六:福彩、体彩(2021年4月27日体彩开奖结果)

4月27日开奖福彩3D第2019110期:61222选5第2019110期:0812202122排列3第19110期:303排列5第19110期:30305大乐透第19047期:0304...

“红狒狒”落户哈尔滨铁路局(哈尔滨铁路红肠)

这几天,“红人”“红狒狒”在牡丹江机务段可引起了不小的轰动,众粉丝争相与其拍照留念,在该段人气爆棚!“红狒狒”到底何许人也?“红狒狒”,中文名:和谐3D型电力机车;绰号:红狒狒、番茄;制造商:大连机...

2D、3D、2.5D,做游戏还是搞噱头?玩家都晕了

前言游戏类型就像某种潮流,一种流行罢,另一种接棒成为主流。前两年的新作大多以“开放世界”为标签,在追求纯沙盒的过程中打造出一些细致的分类,比如说“类GTA沙盒”。诚然,纯碎的沙盒游戏并不多见,业内只有...

《战神4》PC版宣传片发布 GTX 1070即可60帧畅玩

在今年10月的时候索尼PlayStation官方正式宣布圣莫尼卡2018年的《战神4》将于2022年1月14日推出PC版本,官方在今天公布了一段PC版宣传片,并且公开了游戏的配置需求。下面让我们一起来...

男星深情好丈夫形象崩塌,半夜搂美女坐大腿,举止亲密

近日,于晓光被拍到深夜在酒吧玩,结束后与一名女子一起上车离开。上车后,女子直接坐在了他腿上,他也顺势搂着美女,美女满脸笑容地坐在他腿上玩手机离开。可能有人会好奇,于晓光是谁呢?于晓光是韩国艺人秋瓷炫的...

d3d12dll丢失怎么修复?d3d12dll加载失败怎么解决?

  d3d12.dll丢失怎么修复?d3d12.dll加载失败怎么解决?很多朋友想要运行游戏的时候都会遇到这个问题,这种情况该怎么办呢?今天系统之家小编给朋友们讲讲具体的解决方法,操作其实还蛮简单的。...

许多玩家反馈《生化4RE》PC一直崩溃 无法进入游戏

今日(3月24日),卡普空《生化危机4:重制版》正式发售,然而有部分PC玩家遇到了游戏崩溃等问题。很多玩家在贴吧发帖称游戏遇到了严重的崩溃问题,且经常反复,报错代码普遍为FatalD3Derror...

微软正式推出适用于WSL Linux的D3D12 GPU视频加速技术

今天,微软正式向WindowsSubsystemforLinux(WSL)用户发布了Direct3D12GPU视频加速支持。在微软通过WSL允许在Linux下使用Open...

《怪物猎人:崛起》曙光系统报错“Fatal d3d error”的解决办法

《怪物猎人:崛起》曙光系统报错“Fatald3derror”的解决办法不少小伙伴反应《怪物猎人:崛起》DLC曙光预载以后打不开游戏,出现了Fatald3derror类似的错误代码,这类问题的解...

Mac+双屏,前端程序员的专业配置 - Loctek 乐歌 D3D 双屏电脑显示器支架

做FE也有一段日子了,电脑屏幕每天在设计稿、浏览器、IDE、即时通讯工具、Terminal、邮箱之间切换。虽然mac的工作区带来了很多灵活,但是依然略显不足。于是入手支架,把公司配的电脑和显示器发挥起...

RPC 的原理和简单使用(rpc详解)

RPC的概念RPC,RemoteProcedureCall,翻译成中文就是远程过程调用,是一种进程间通信方式。它允许程序调用另一个地址空间(通常是共享网络的另一台机器上)的过程或函数。在调用的...

大厂开源的golang微服务rpc框架 — kitex

提前rpc估计所有的开发同学都知道,不知道的也无所谓,毕竟我也好几年没用了,今天带大家在复习一下。RPC(RemoteProcedureCall):远程过程调用,...

干货!一文掌握Protobuf所有语言所有用法,快收藏

说实话,Protobuf这个库,让人相见时难别亦难,东风无力百花残,每次等到要用它的时候,总感觉还没有完全掌握它的用法,而实际上等去百度或者谷歌的时候,教程都是多么的凌乱不堪。学会它,最直接关系到的,...

取消回复欢迎 发表评论: