一、模擬主從複製延遲的情境
二、了解發生問題的原因
三、解決方案：開啟 MySQL 5.7 的多 process 的功能
四、確認 Slave 已經沒有延遲

一、模擬主從複製延遲的情境

這裡我們利用 sysbench 進行情境模擬，如果不清楚如何操作的朋友請參考這篇文章：『用 sysbench 測試 MySQL 性能 — 在 mac & ubuntu 上的安裝與使用』

下面是我在 ubuntu 的測試指令，如果你是 mac 需要自己更換 .lua 的路徑

sysbench /usr/share/sysbench/oltp_write_only.lua \
--mysql-host=127.0.0.1 \
--mysql-port=3306 \
--mysql-user=user_name \
--mysql-password=user_password \
--mysql-db=test \
--db-driver=mysql \
--tables=10 \
--table_size=100000 \
--report-interval=10 \
--threads=128 \
--time=120 \
prepare

原始碼：sysbench_lag.cmd（GitHub Gist）

指令輸入後你就會發現資料庫好像頓住不會動了…

一段時間後我們進入到 Slave 的 MySQL 中會發現他與 Master 的延遲很嚴重

mysql> show slave status\G

• Seconds_Behind_Master：延遲的時間

二、了解發生問題的原因

因為我們模擬的情境會製作出相當大量的 SQL command，執行內容包含：table 內容大量更新、index 建立；可是 Slave 去讀取 Master 的 process 卻只有一個，這樣使 Master 累積了太多尚未同步到 Slave 的 SQL command，因此造成了兩邊資料庫的內容不一致。

三、解決方案：開啟 MySQL 5.7 的多 process 的功能

STEP 1：先暫停 Slave，不然無法修改變數

mysql> stop slave;

STEP 2：更改 slave_parallel_type

先看看預設值

mysql> show variables like ‘slave_parallel%’;

修改變數

mysql> set global slave_parallel_type='logical_clock';
mysql> set global slave_parallel_workers=10; #根據實際需求設定

啟動 Slave 功能

mysql> start slave;

查看剛剛設定的多 process 是否生效

mysql> show processlist;

四、確認 Slave 已經沒有延遲

在上面的設定後稍等一段時間再去查看 Slave 的延遲狀態

mysql> show slave status\G

就發現他已經變成 0 嚕～

如果你想了解資料庫主從式架構的設定歡迎參考我的文章：
👍 MySQL Master Slave Replication 主從式架構設定教學
👍 Ubuntu 用 Atlas 實現 MySQL Proxy 讀寫分離 read/write splitting

參考資訊：mysql master-slave 複寫延滯同步問題

一、在 Mac 上操作 sysbench

安裝 sysbench

如果還沒安裝過 brew 請參考官網

brew install sysbench

安裝完成後輸入指令確認安裝完成

sysbench — version

我安裝的版本為 1.0.20 這個會跟下面的指令路徑有關，如果你安裝的是其他版本要自行修改這個版本路徑

測試 MySQL 性能

mac 的範例是本地端的測試，針對 read 這塊

STEP 1：先建立好測試用的 DB

create database test;

STEP 2：建立測試資料

• mysql-user、mysql-password：改成自己 MySQL 的使用者
• mysql-db：測試的資料庫
• range_size、table_size、tables：測試的規模
• prepare：建立測資的意思

sysbench /usr/local/Cellar/sysbench/1.0.20/share/sysbench/oltp_read_only.lua \
--db-driver=mysql \
--mysql-user=user_name \
--mysql-password=user_password \
--mysql-db=test \
--range_size=100 \
--table_size=10000 \
--tables=2 \
--threads=1 \
--events=0 \
--time=60 \
--rand-type=uniform \
prepare

原始碼：sysbench_prepare.cmd（GitHub Gist）

STEP 3：進行測試

只是把指令最後面改成 run

sysbench /usr/local/Cellar/sysbench/1.0.20/share/sysbench/oltp_read_only.lua \
--db-driver=mysql \
--mysql-user=user_name \
--mysql-password=user_password \
--mysql-db=test \
--range_size=100 \
--table_size=10000 \
--tables=2 \
--threads=1 \
--events=0 \
--time=60 \
--rand-type=uniform \
run

原始碼：sysbench_run.cmd（GitHub Gist）

STEP 4：清除測試數據

只是把指令最後面改成 cleanup

sysbench /usr/local/Cellar/sysbench/1.0.20/share/sysbench/oltp_read_only.lua \
--db-driver=mysql \
--mysql-user=user_name \
--mysql-password=user_password \
--mysql-db=test \
--range_size=100 \
--table_size=10000 \
--tables=2 \
--threads=1 \
--events=0 \
--time=60 \
--rand-type=uniform \
cleanup

原始碼：sysbench_cleanup.cmd（GitHub Gist）

一、在 Ubuntu 上操作 sysbench

安裝 sysbench

sudo apt-get install sysbench -y

安裝完成後輸入指令確認安裝完成

sysbench — version

測試 MySQL 性能

ubuntu 的範例是遠端的測試，針對 write這塊

STEP 1：先建立好測試用的 DB

create database test;

STEP 2：建立測試資料

如果你的設定跟我的範例一樣可能要稍微等一下，因為範例的測資比較大筆

• mysql-host：目標測試的 ip 或是 host name
• mysql-port：目標測試的 MySQL port
• mysql-user、mysql-password：改成自己 MySQL 的使用者
• mysql-db：測試的資料庫
• range_size、table_size、tables：測試的規模
• prepare：建立測資的意思

sysbench /usr/share/sysbench/oltp_write_only.lua \
--mysql-host=127.0.0.1 \
--mysql-port=3306 \
--mysql-user=user_name \
--mysql-password=user_password \
--mysql-db=test \
--db-driver=mysql \
--tables=10 \
--table_size=10000 \
--report-interval=10 \
--threads=128 \
--time=120 \
prepare

原始碼：ubuntu_sysbench_prepare.cmd（GitHub Gist）

STEP 3：進行測試

只是把指令最後面改成 run

sysbench /usr/share/sysbench/oltp_write_only.lua \
--mysql-host=127.0.0.1 \
--mysql-port=3306 \
--mysql-user=user_name \
--mysql-password=user_password \
--mysql-db=test \
--db-driver=mysql \
--tables=10 \
--table_size=10000 \
--report-interval=10 \
--threads=128 \
--time=120 \
run

原始碼：ubuntu_sysbench_run.cmd（GitHub Gist）

STEP 4：清除測試數據

只是把指令最後面改成 cleanup

sysbench /usr/share/sysbench/oltp_write_only.lua \
--mysql-host=127.0.0.1 \
--mysql-port=3306 \
--mysql-user=user_name \
--mysql-password=user_password \
--mysql-db=test \
--db-driver=mysql \
--tables=10 \
--table_size=10000 \
--report-interval=10 \
--threads=128 \
--time=120 \
cleanup

原始碼：ubuntu_sysbench_cleanup.cmd（GitHub Gist）

以上是今天的分享，想了解更多功能請參考官方的 github

參考資源：Ubuntu 16.04中進行Sysbench環境搭建、sysbench安装和使用

一、前置作業
二、MySQL Proxy 的選擇
三、Atlas 功能介紹
四、在 Ubunut 安裝 Atlas
五、連到 Atlas 管理 server
六、實際測試透過 Atlas Proxy 是否達成讀寫分離

一、前置作業

OS version、MySQL 是筆者安裝時的環境，ip 是給大家參考對應的

準備一台要當 MySQL Proxy 的 ubuntu server

• OS version：ubuntu 16.04
• MySQL：5.7
• ip ：172.16.9.39

準備一台 Master server 負責寫入

• OS version：ubuntu 16.04
• MySQL：5.7
• ip ：172.16.9.32

準備一台以上的 Slave server 負責讀取

準備兩台以上測試 load balance 才會準確，這塊有興趣的讀者可以自己嘗試

• OS version：ubuntu 16.04
• MySQL：5.7
• ip ：172.16.9.32

在 Master Server 裡面增加給 Proxy server 使用的使用者，並創建測試用 table

/*建立proxy server使用者*/
mysql> CREATE USER 'proxy_account'@'%' IDENTIFIED BY 'proxy_password';
/*給使用者權限*/
mysql> GRANT ALL ON *.* TO 'proxy_account'@'%';
/*使權限生效*/
mysql> FLUSH PRIVILEGES;
/*創建測試用資料庫*/
CREATE DATABASE proxy_test;

原始碼：create_proxy_user.sql（GitHub Gist）

二、MySQL Proxy 的選擇

• MySQL Proxy：原本想使用官方工具來處理讀寫分離，但一上官網發現連他自己都不推薦使用😱，所以就不在多費心力研究。

• MySQL Router：根據官方的指引認真的研究這個工具後發現雖然設定上簡單，但並不是很符合需求，他的讀寫分離是同一台伺服器分成兩個 port 來處理，雖然現在主流框架都支援這樣的操作，但我認為這樣的方式並不優雅
• kingshard：是基於 Go 語言開發的 MySQL Proxy，在 github 上面擁有高人氣；但實際使用心得真的是滿滿的陰影…官方安裝指引非常的爛，鬼才知道要自己切換 branch 才能使用啊？設定檔根本要用錯誤嘗試法，沒說清楚必填選填，上面這些問題也就罷了，安裝成功後居然告訴我只有 windows 的電腦可以測試 mac 電腦不行😡，作者是在開玩笑嗎？總之我非常的不推薦。
• Atlas：是基於 MySQL-Proxy 0.8.2 版本開發的工具，由 360 公司推出，在 github 上面找到最新的版本是 2015 年推出的，至於為什麼不再更新的理由，360 公司表示因為這個工具已經夠棒了🥴，沒什麼繼續優化的必要性了；事實上這個工具也是筆者最後選用的，儘管安裝過程滿滿的坑😓

三、Atlas 功能介紹

1. 讀寫分離
2. slave server 的 load balance
3. IP filter
4. DBA 可以輕鬆的上下線 DB（有指令支持）
5. 自動移除當機的 DB（但如果當機的是 master server，就只剩讀取功能）

四、在 Ubunut 安裝 Atlas

筆者在安裝過程中感受到滿滿的惡意

STEP 1：下載 & 安裝 Atlas

你可以在官方 github release 中找到 deb 的安裝包下載他

wget https://github.com/Qihoo360/Atlas/releases/download/2.2/Atlas-2.2-debian6.0-x86_64.deb

執行安裝

dpkg -i Atlas-2.2-debian6.0-x86_64.deb

STEP 2：調整 Atlas 的設定檔

Atlas 的安裝路徑是/usr/local/mysql-proxy ，執行時的參數會參考 conf 目錄下的 test.cnf 檔案

vi /usr/local/mysql-proxy/conf/test.cnf

下面幾個需要特別調整，其他用默認的就可以了

• proxy-backend-addresses：填寫 Master server 的 ip

• proxy-read-only-backend-addresses：填寫 Slave server 的 ip

• pwds：請使用於前置作業 Master server 新增專門給 Proxy Server 使用的帳號密碼，密碼要用下面的指令作加密

# 前往加密的目錄
cd /usr/local/mysql-proxy/bin
# 對密碼加密
./encrypt proxy_password

• sql-log：預設是 OFF 不會紀錄，但為了方便觀察讀寫是否分離，我們將它設定為 REALTIME

STEP 3：啟動 Atlas

輸入下面指令即可啟動 Atlas

/usr/local/mysql-proxy/bin/mysql-proxyd test start

不過應該有 99% 的人會在這個步驟失敗

你可以在 log 裡面看錯誤訊息

vi /usr/local/mysql-proxy/log/test.log

解決方式：

# 安裝套件相關套件
apt-get install libmysqlclient-dev
apt-get install mysql-client
# 下載缺失的 libmysqlclient.so.16 套件，我是在這個網站找到的
wget http://files.directadmin.com/services/debian_5.0_64/libmysqlclient.so.16
# 將 libmysqlclient.so.16 搬移到 lib 目錄下
mv libmysqlclient.so.16 /usr/lib/x86_64-linux-gnu/

再次啟動 Atlas

/usr/local/mysql-proxy/bin/mysql-proxyd test start

看到 OK: MySQL-Proxy of test is started 的提示就成功嚕！

檢查 Atlas 服務狀態

/usr/local/mysql-proxy/bin/mysql-proxyd test status

五、連到 Atlas 管理 server

Atlas 預設的管理 port 為 2345，ip 填寫 Proxy server ip，如果 admin 的帳號密碼沒換就是跟下面一樣

mysql -h172.16.9.39 -P2345 -uuser -ppwd

查看 Atlas 的管理命令

mysql> select * from help;

查看 MySQL 讀寫分離設定是否生效

rw 為讀寫權限，ro 代表只有讀的權限

mysql> select * from backends;

到這步其實就可以完結撒花惹 😊😊😊😊😊😊

六、實際測試透過 Atlas Proxy 是否達成讀寫分離

Atlas 預設的proxy port 為 1234，ip 填寫 Proxy server ip，登入的帳號密碼填寫你在 Master 申請給 Atlas Proxy 使用的那組

mysql -h172.16.9.39 -P1234 -uproxy_account -pproxy_password

測試寫入功能

# 先選擇之前創建的測試資料庫
mysql> use proxy_test;
# 創建表並塞入一寫資料
mysql> CREATE TABLE department (id INT,name varchar(50));
mysql> INSERT INTO department VALUES (1, 'Sales');
mysql> INSERT INTO department VALUES (2, 'Operator');

測試讀取功能

# 先選擇之前創建的測試資料庫
mysql> use proxy_test;
# 讀取剛剛創建的 table
mysql> SELECT * FROM department;

觀察 sql 運行的 log

記得把 Atla 設定檔的 ssql-log 參數調整為 REALTIME 才會有喔！

前往 log file

tail /usr/local/mysql-proxy/log/sql_test.log

從下圖我們可以觀察到，負責變更資料庫的是 Master server(172.16.3.32)，讀取的則是 Slave Server(172.16.3.33)，恭喜自己大功告成

希望這篇文章有幫助到使用 Ubuntu 架設 MySQL 並且想做到讀寫分離的開發人員，網路上對這塊的資訊相對來說比較零散，有些甚至都是錯誤，整理起來這些文件也真的很費力，如果對你有幫助的話可以幫我按個拍手👏給我一點繼續分享技術文章的動力。

如果你想了解資料庫主從式架構的設定歡迎參考我的文章：
👍 MySQL Master Slave Replication 主從式架構設定教學
👍 在 MySQL 5.7 解決主從複製的延遲問題

參考資訊：下載libmysqlclient.so.16檔案、讀寫分離測試、Mysql访问中间件 — Atlas初探、Atlas、Atlas Github

Master Slave Replication 是一個 Web 工程師需要具備的基礎概念，我們可以透過這個技術有效的降低 Database server 負荷，同時給使用者提供更穩定順暢的體驗；本文除了讓你了解這個技術的原理外還會以 MySQL 這門資料庫語言一步步透過實作讓你理解如何實現它。

一、30 秒認識 Master Slave Replication 是什麼
  ∙ 為什麼需要 Master Slave Replication 的架構？
  ∙ Master Slave Replication 為什麼能夠解決這些問題？
  ∙ Master Slave Replication 的架構
二、實作 MySQL Master Slave replication
  ∙ 前置作業
  ∙ 建立MySQL Replication
三、驗證 Master、Slave DB 是否同步

一、30 秒認識 Master Slave Replication 是什麼

為什麼需要 Master Slave Replication 的架構？

• 網站需要面對大流量：新聞媒體類的網站無論哪個時段都會被大量的檢索，如果資料庫只用一個 server 來處理會無法負荷瞬間的高流量。
• 資料庫內容需要被分析：公司如果有資料分析部門，他們也會隨時監控資料庫的變化來產生報表，但如果跟一般使用者一樣 query 同一台 server 會使這台 server 增加不必要的負荷導致使用者體驗下降。

Master Slave Replication 為什麼能夠解決這些問題？

• 主從式架構：將資料庫的 server 區分成 Master(1台) 與 Slave(N台) 兩種，Master 負責資料寫入，Slave 提供資料檢索；這樣就把壓力分散到幾台 Server 上面。
• 資料庫同步：Slave 會同步 Master 的資料，這樣除了分散 server 壓力外，資料也獲得了備份。

Master Slave Replication 的架構

1. 在 master 的 server 執行的 SQL command 會被記錄在 Binary Log 裡面
2. master 將 Binary Log 傳送到 slave 的 Relay Log
3. slave 依據 Relay Log 做資料的變更

二、實作 MySQL Master Slave replication

前置作業

準備兩台 ubuntu server (自己實驗建議使用 VMWARE)，筆者環境配置如下

硬體配置一定會影響到效能，筆者只是建置一個提供實驗的環境而已

• OS version：ubuntu 16.04
• RAM：1G
• ROM：8G

給兩台 sever 安裝 MySQL

安裝指令如下

sudo apt update
sudo apt install mysql-server

安裝完成後你可以先登入 MySQL 看看安裝版本資訊

sudo mysql -u root -p

建立MySQL Replication

Master server 設定

STEP 1：設定 Master server 的 my.cnf

sudo vi /etc/mysql/my.cnf

[mysqld]
# 在這裡設定已蓋過預設的127.0.0.1(只能連本機)
bind-address = 0.0.0.0

# id為唯一值，每個server不可重覆
server-id = 1

# 指定產生bin log檔案名稱，使MySQL記錄所有DB交易記錄
log-bin=mysql-bin

原始碼：my.cnf（GitHub Gist）

儲存後，重啟 MySQL 才會生效

sudo /etc/init.d/mysql restart

STEP 2：在 Master server 建立給 Slave 複製資料的帳號

登入 MySQL

sudo mysql -u root -p

建立有 REPLICATION、SLAVE 權限的 user 帳號

/*建立使用者*/
mysql> CREATE USER 'account'@'ip' IDENTIFIED BY 'password';
/*給使用者權限*/
mysql> GRANT REPLICATION SLAVE ON *.* TO 'account'@'ip';
/*使權限生效*/
mysql> FLUSH PRIVILEGES;

原始碼：create_slave_user.sql（GitHub Gist）

STEP 3：備份 Master server 的 DB

執行此步驟時如果系統已經上線，一定要發出公告說明系統維護時間

在完成 DB Replication 前，為了保證 Master 與 Slave 的資料相同，你需要先把 DB Lock 成 read only：

mysql> FLUSH TABLES WITH READ LOCK;

備份指令：

mysqldump -uroot -p  --all-databases > master.sql

解除 read only：

mysql> UNLOCK TABLES;

STEP 4：檢查 Master 是否已經啟動

mysql> SHOW MASTER STATUS \G

Slave server 設定

STEP 1：將剛剛備份的 master.sql 還原到 Slave server 的 DB

先複製 master.sql 到 Slave server 的目錄下

sudo scp master.sql <username>@<IP or hostname>:<Destination>

下指令還原 DB

mysql -u root -p — default-character-set=utf8 < master.sql

STEP 2：設定 Slave server 的 my.cnf

sudo vi /etc/mysql/my.cnf

[mysqld]
#注意：不可與剛剛設定的 Master 重複
server-id=2 

#Slave server 的 DB 開啟唯獨避免被寫入
read-only=on

原始碼：slave_my.cnf（GitHub Gist）

儲存後，重啟 MySQL 才會生效

sudo /etc/init.d/mysql restart

STEP 3：設定 SlaveDB，指定 Master DB 登入資訊，並啟動 Replication

/* 這裡的帳號密碼就上面 Master 設定的那組 */
mysql> CHANGE MASTER TO MASTER_HOST='master_ip',
              MASTER_USER='account',
              MASTER_PASSWORD='password';

原始碼：setting_slave_info.sql（GitHub Gist）

啟動 Slave Replication：

mysql> START SLAVE;

STEP 4：檢查 replication 狀態

SHOW SLAVE STATUS \G

如果下圖紅框皆顯示 Yes 就代表你成功嚕！

如果你看到下面這個畫面，可能是因為你的 Master MySQL 的設定有問題，最有可能是『使用者帳號、密碼錯誤』、『bind-address 沒有調整』

三、驗證 Master、Slave DB 是否同步

先在 Master 確認是不是真的有跟 Slave 串接成功

show slave hosts;

確認連接成功後我們在 Master server 上面新增一個 DB

回到 Slave server 就會看到 DB 被同步過來嚕～

這篇文章是針對 MySQL Master Slave Replication 做說明，但你依照上面的做法完成後還需要思考幾個問題：

• 我們知道 Master server 是用來更新資料，Slave server 是用來檢索資料；但他們都是獨立的 ip，總不能每個 api 執行時都連不一樣的 ip 吧？
• Slave 的資料是從 Master 上複製過來的，會複製就代表會有延遲，要如何保持資料的一致性呢？

如果你想深入了解上面的問題如何解決可以參考我的文章：
👍 在 MySQL 5.7 解決主從複製的延遲問題
👍 Ubuntu 用 Atlas 實現 MySQL Proxy 讀寫分離 read/write splitting

參考資源：MySQL Master Slave replication、打造MySQL Replication