MySQL系列-源码编译安装(v5.7.34)

一、系统环境要求

官方说明：
https://dev.mysql.com/doc/refman/5.7/en/source-installation-prerequisites.html

• CMake：编译工具，用作所有平台上的构建框架。
• 需要SSL库来支持加密连接，用于生成随机数的熵以及其他与加密有关的操作。默认情况下，构建使用主机系统上安装的OpenSSL库。
• Boost C++库是构建MySQL所必需的。MySQL编译需要特定的Boost版本。5.7.34版本需要的Boost版本是1.59.0
• 需要ncurses库，一个能提供功能键定义(快捷键),屏幕绘制以及基于文本终端的图形互动功能的动态库。
• 足够的可用内存。若编译时出现“内部编译器错误”之类的问题，则可能是内存太小。如果在虚拟机上编译，请尝试增加内存分配。
• 需要Git版本控制系统来获取开发源代码。

本文中使用本地VM虚机部署测试。

OS：CentOS Linux release 7.8.2003 (Core)

虚机配置：2核CPU、4G内存

关闭Selinux。

二、基础环境

1.清理环境(清理系统自带的Mariadb和boost)

CentOS 7 版本的系统默认自带安装了MariaDB，需要先清理。

## 查询已安装的mariadb

rpm -qa |grep mariadb
或
yum list installed | grep mariadb

## 卸载mariadb包，文件名为上述命令查询出来的文件

rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64
或
yum -y remove mariadb-libs.x86_64

## 检查boost版本，如果有，则卸载boost-*等库

rpm -qa boost*
yum -y remove boost-*

2.基础库及依赖包文件

rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
yum -y install make patch gcc gcc-c++ git libaio libaio-devel ncurses ncurses-devel \
perl bison bison-devel libxml libxml-devel libxml2 libxml2-devel zlib zlib-devel \
libgcrypt glibc glibc-devel glib2 glib2-devel flex bzip2* curl* openssl-devel openssl

3.安装cmake（编译工具）

官网：https://cmake.org/

cd /data/tools
wget https://cmake.org/files/v3.8/cmake-3.8.2.tar.gz
tar xf cmake-3.8.2.tar.gz
cd cmake-3.8.2
./bootstrap
gmake
make install

4.安装jemalloc（内存管理）

官网：http://jemalloc.net/

内存分配器，适合多线程下的内存分配管理软件。与其它内存分配器相比，它最大的优势在于多线程情况下的高性能以及内存碎片的减少。

cd /data/tools
wget https://github.com/jemalloc/jemalloc/releases/download/5.2.1/jemalloc-5.2.1.tar.bz2
tar xjf jemalloc-5.2.1.tar.bz2
cd jemalloc-5.2.1
./autogen.sh
make && make install
echo '/usr/local/lib' > /etc/ld.so.conf.d/local.conf
ldconfig

5.安装Boost库

官网：https://www.boost.org/

无需最新版本，本文中编译安装的5.7.34版本对应需要的boost为1.59.0。

cd /data/tools
wget https://udomain.dl.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz
tar xf boost_1_59_0.tar.gz
chown -R root.root boost_1_59_0
chmod -R 755 boost_1_59_0
mv boost_1_59_0 /usr/local/boost159

三、安装配置MySQL

1.添加mysql组及用户

groupadd -r mysql
useradd -g mysql -r -s /sbin/nologin -M -d /data/mysql mysql

2.创建相关目录及修改目录属性

## 数据目录

mkdir -p /data/mysql

## 修改目录属性

chown mysql.mysql /data/mysql
chmod 0700 /data/mysql

3.安装MySQL

## 下载解压

cd /data/tools
wget https://cdn.mysql.com/archives/mysql-5.7/mysql-5.7.34.tar.gz 
tar xf mysql-5.7.34.tar.gz
cd mysql-5.7.34

## Cmake配置

cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql-5.7.34 \
 -DMYSQL_DATADIR=/data/mysql -DSYSCONFDIR=/etc \
 -DMYSQL_TCP_PORT=3306 \
 -DMYSQL_UNIX_ADDR=/usr/local/mysql-5.7.34/mysql.sock \
 -DWITH_EXTRA_CHARSETS=all \
 -DDEFAULT_CHARSET=utf8mb4 \
 -DDEFAULT_COLLATION=utf8mb4_general_ci \
 -DWITH_INNOBASE_STORAGE_ENGINE=1 \
 -DWITH_MYISAM_STORAGE_ENGINE=1 \
 -DWITH_ARCHIVE_STORAGE_ENGINE=1 \
 -DWITH_FEDERATED_STORAGE_ENGINE=1 \
 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
 -DWITH_PERFSCHEMA_STORAGE_ENGINE=1 \
 -DWITHOUT_EXAMPLE_STORAGE_ENGINE=1 \
 -DWITH_ZLIB=bundled -DWITH_SSL=system \
 -DENABLED_LOCAL_INFILE=1 \
 -DWITH_DEBUG=0 \
 -DMYSQL_MAINTAINER_MODE=0 \
 -DWITH_EMBEDDED_SERVER=0 \
 -DINSTALL_SHAREDIR=share \
 -DDOWNLOAD_BOOST=0 \
 -DWITH_BOOST=/usr/local/boost159 \
 -DCMAKE_EXE_LINKER_FLAGS="-ljemalloc"

## 编译安装

make
make install
cd /usr/local/
ln -sf mysql-5.7.34 mysql

备注：若make出错后要重新运行配置，需要删除CMakeCache.txt文件。

make clean 
rm -f CMakeCache.txt 

## Cmake配置参数说明

-DCMAKE_INSTALL_PREFIX=/usr/local/mysql-5.7.34：MySQL安装目录路径。
-DMYSQL_DATADIR=/data/mysql：MySQL数据目录路径，初始化时目录必须为空。
-DSYSCONFDIR=/etc：指定配置文件my.cnf的安装路径。
-DMYSQL_TCP_PORT=3306：指定MySQL服务TCP/IP连接的端口号为3306。
-DMYSQL_UNIX_ADDR=/usr/local/mysql-5.7.34/mysql.sock：指定套接字连接的Unix套接字文件路径。
-DWITH_EXTRA_CHARSETS=all：指定包括的额外字符集，all表示所有。
-DDEFAULT_CHARSET=utf8mb4：指定默认字符集为utf8mb4，因为历史遗留问题，MySQL中的utf8不是真正的utf8，而是阉割版的，最长只有三个字节，当遇到四个字节的utf8编码时，会导致存储异常。从5.5.3开始，使用utf8mb4实现完整的utf8。
-DDEFAULT_COLLATION=utf8mb4_unicode_ci：指定排序规则，默认为utf8mb4_0900_ai_ci，属于utf8mb4_unicode_ci的一种。0900指的是Unicode校对算法版本，ai是指口音不敏感（as表示敏感），ci指不区分大小写（cs表示区分）。utf8mb4_unicode_ci表示基于标准的的Unicode来排序和比较，能够在各种语言之间精确排序，而utf8mb4_general_ci遇到某些特殊的字符集时排序结果可能不一致，准确性较差，但是性能较好，比较和排序时候更快。
-DWITH_INNOBASE_STORAGE_ENGINE=1：启用INNOBASE存储引擎。
-DWITH_MYISAM_STORAGE_ENGINE=1：启用MYISAM存储引擎。
-DWITH_ARCHIVE_STORAGE_ENGINE=1：启用ARCHIVE存储引擎
-DWITH_FEDERATED_STORAGE_ENGINE=1：启用FEDERATED存储引擎。
-DWITH_BLACKHOLE_STORAGE_ENGINE=1：启用BLACKHOLE存储引擎。
-DWITH_PERFSCHEMA_STORAGE_ENGINE=1：启用PERFSCHEMA存储引擎。
-DWITHOUT_EXAMPLE_STORAGE_ENGINE=1：不启用或不编译EXAMPLE存储引擎。EXAMPLE存储引擎是一个不做任何事情的存根引擎。它的目的是作为MySQL源代码中的一个例子，用来演示如何开始编写一个新存储引擎。
-DWITH_ZLIB=bundled：启用libz库支持，使用与发行版捆绑在一起的zlib库。
-DWITH_SSL=system：启用ssl库支持，使用系统的SSL库，若不使用系统的请自定义路径。
-DENABLED_LOCAL_INFILE=1：表示能使用load data命令。
-DWITH_DEBUG=0：禁用debug调试支持。
-DMYSQL_MAINTAINER_MODE=0：关闭特定于MySQL维护人员的开发环境。
-DWITH_EMBEDDED_SERVER=0：不构建libmysqld嵌入式服务器库。从MySQL 5.7.17开始不推荐使用libmysqld嵌入式服务器库，并且已在MySQL 8.0中将其删除。
-DINSTALL_SHAREDIR=share：指定aclocal/mysql.m4安装目录
-DDOWNLOAD_BOOST=0：禁止下载Boost源。
-DWITH_BOOST=/usr/local/boost159：指定Boost库目录位置。
-DCMAKE_EXE_LINKER_FLAGS="-ljemalloc" ：使用jemalloc优化MySQL内存管理。

四、配置MySQL

1.创建配置文件

vi /etc/my.cnf
//输入以下内容
[client]
port = 3306
socket = /usr/local/mysql/mysql.sock
default-character-set = utf8mb4

[mysqld]
port = 3306
socket = /usr/local/mysql/mysql.sock
basedir = /usr/local/mysql
datadir = /data/mysql
character-set-server = utf8mb4
collation-server = utf8mb4_general_ci
init_connect = 'SET NAMES utf8mb4'
server-id = 1
log-slave-updates=true
skip-external-locking
skip-name-resolve
back_log = 300
table_open_cache = 128
max_allowed_packet = 16M
read_buffer_size = 8M
read_rnd_buffer_size = 64M
sort_buffer_size = 16M
join_buffer_size = 8M
key_buffer_size = 128M
thread_cache_size = 16
log-bin = mysql-bin
binlog_format = row
######主从
log-slave-updates = true
######慢日志
slow_query_log = on
long_query_time = 1
slow_query_log_file = /data/mysql/db-slow.log
gtid_mode = ON
enforce_gtid_consistency = ON
expire_logs_days = 7   
default_storage_engine = InnoDB
innodb_buffer_pool_size = 1G
innodb_data_file_path = ibdata1:10M:autoextend
innodb_file_per_table = on
innodb_write_io_threads = 4
innodb_read_io_threads = 4
innodb_thread_concurrency = 8
innodb_purge_threads = 1
innodb_flush_log_at_trx_commit = 1
innodb_log_buffer_size = 8M
innodb_log_file_size = 512M
innodb_log_files_in_group = 3
innodb_max_dirty_pages_pct = 90
innodb_lock_wait_timeout = 60
max_connections = 5000
interactive_timeout = 28800
wait_timeout = 28800
sql_mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
symbolic-links=0
######时间参数
log_timestamps=SYSTEM

[mysqldump]
quick
max_allowed_packet = 32M

[mysql]
no-auto-rehash
default-character-set = utf8mb4

[myisamchk]
key_buffer_size = 64M
sort_buffer_size = 64M
read_buffer = 8M
write_buffer = 8M

[mysqlhotcopy]
interactive-timeout

[mysqld_safe]
log-error = /data/mysql/mysql_err.log
pid-file = /data/mysql/mysqld.pid

注：①上述配置仅供参考,请根据实际环境需求修改参数。

②query_cache_size 此参数配置在MySQL5.7.20就已经过时了，而在MySQL8.0之后就已经被移除了。

2.权限设置

cd /usr/local/mysql
chown -R mysql:mysql .

3.初始化数据库

/usr/local/mysql/bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql

注：a.之前版本mysql_install_db是在mysql_basedir/script下，5.7放在了mysql_install_db/bin目录下,且已被废弃

b."--initialize"会生成一个随机密码(~/.mysql_secret)，而"--initialize-insecure"不会生成密码

c.--datadir目标目录下不能有数据文件

## 初始化完成提示：

##开启SSL连接，安全性提高了，但是相对地降低了QPS，还是比较影响性能的，谨慎选择！本文中不开启！

/usr/local/mysql/bin/mysql_ssl_rsa_setup

4.安装MySQL的man帮助文件、头文件及lib库

cd /usr/local/mysql
## 手册页帮助文件
echo "MANPATH /usr/local/mysql/man" >> /etc/man.config
## 头文件
ln -sv /usr/local/mysql/include  /usr/include/mysql
## lib库文件
echo '/usr/local/mysql/lib' > /etc/ld.so.conf.d/mysql.conf
## 加载动态库文件
ldconfig

5.配置MySQL环境变量

echo '######MySQL' >> /etc/profile
echo 'PATH=$PATH:/usr/local/mysql/bin' >> /etc/profile
source /etc/profile

6.配置MySQL服务管理命令

cd /usr/local/mysql
cp support-files/mysql.server /etc/rc.d/init.d/mysqld

7.启动数据库

/etc/init.d/mysqld start
/usr/local/mysql/bin/mysql --version && echo -e  "\e[31m mysql install is OK\e[0m"

8.验证jemalloc优化MySQL是否生效

lsof -n | grep jemalloc  | grep mysqld

五、服务管理

启动：/etc/init.d/mysqld start
关闭：/etc/init.d/mysqld stop
重启：/etc/init.d/mysqld restart
查看状态：/etc/init.d/mysqld status
配置开机启动：echo "/etc/init.d/mysqld start" >> /etc/rc.local

六、配置root账号密码

## 设置本机登录密码

mysql -uroot -p
//因初始化数据时没有设置密码，可以按两次确认键进入数据库
use mysql;             
update user set authentication_string=password('youpassword') where user='root' and host='localhost';
FLUSH PRIVILEGES; 

## MySQL 5.7.5 或更早之前的版本使用下面的命令设置密码

update user set password=PASSWORD('youpassword') where User='root';

***特别提醒注意的一点：MySQL 5.7.6以及最新版本数据库下的user表中已经没有Password字段了，而是将加密后的用户密码存储于authentication_string字段。而且密码的复杂性要求高，需有大小字母、数字、特殊字符。

## 设置远程登录密码

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'youpassword' WITH GRANT OPTION;
FLUSH PRIVILEGES;

七、测试

1.创建测试数据库

mysql -uroot -p
//输入上述步骤中设置的密码登录数据库
## 创建test库，指定字符集及排序规则
CREATE DATABASE test DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
## 查看
show databases;

2.创建普通用户及授权

mysql -uroot -p
//输入上述步骤中设置的密码登录数据库
## 切换至mysql库
use mysql;
## 创建用户
CREATE USER 'test'@'%' IDENTIFIED BY '123456';
## 授权
GRANT select,insert,update,delete,create on test.* to 'test'@'%' ;
## 刷新权限
FLUSH PRIVILEGES;
## 查看用户
select user,host from user;
## 查看test用户权限
show GRANTS for 'test'@'%';