由于各種原因，mysql主從架構(gòu)經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)不一致的情況出現(xiàn)，大致歸結(jié)為如下幾類

• 1:備庫(kù)寫數(shù)據(jù)
• 2:執(zhí)行non-deterministic query
• 3:回滾摻雜事務(wù)表和非事務(wù)表的事務(wù)
• 4:binlog或者relay log數(shù)據(jù)損壞

數(shù)據(jù)不同步給應(yīng)用帶來(lái)的危害是致命的，當(dāng)出現(xiàn)主從數(shù)據(jù)不一致的情況，常見的應(yīng)對(duì)方法是先把從庫(kù)下線，然后找個(gè)半夜三更的時(shí)間把應(yīng)用停掉，重新執(zhí)行同步，如果數(shù)據(jù)庫(kù)的體積十分龐大，那工作量可想而知，會(huì)讓人崩潰。本文介紹使用percona-toolkit工具對(duì)mysql主從數(shù)據(jù)庫(kù)的同步狀態(tài)進(jìn)行檢查和重新同步。

 一：安裝percona-toolkit

# yum -y install perl-Time-HiRes 
# wget 
http://www.percona.com/downloads/percona-toolkit/2.2.13/tarball/percona-toolkit-2.2.13.tar.gz 
# tar -zxvpf percona-toolkit-2.2.13.tar.gz 
# cd percona-toolkit-2.2.13 
# perl Makefile.PL 
# make 
# make install 

二：修改mysql 的binlog格式binlog_format參數(shù)為row格式

mysql binlog日志有三種格式，分別為Statement, Mixed,以及ROW！

1.Statement：

每一條會(huì)修改數(shù)據(jù)的sql都會(huì)記錄在binlog中。

優(yōu)點(diǎn)：不需要記錄每一行的變化，減少了binlog日志量，節(jié)約了IO，提高性能。(相比row能節(jié)約多少性能與日志量，這個(gè)取決于應(yīng)用的SQL情況，正常同一條記錄修改或者插入row格式所產(chǎn)生的日志量還小于Statement產(chǎn)生的日志量，但是考慮到如果帶條件的update操作，以及整表刪除，alter表等操作，ROW格式會(huì)產(chǎn)生大量日志，因此在考慮是否使用ROW格式日志時(shí)應(yīng)該跟據(jù)應(yīng)用的實(shí)際情況，其所產(chǎn)生的日志量會(huì)增加多少，以及帶來(lái)的IO性能問題。)

缺點(diǎn)：由于記錄的只是執(zhí)行語(yǔ)句，為了這些語(yǔ)句能在slave上正確運(yùn)行，因此還必須記錄每條語(yǔ)句在執(zhí)行的時(shí)候的一些相關(guān)信息，以保證所有語(yǔ)句能在slave得到和在master端執(zhí)行時(shí)候相同 的結(jié)果。另外mysql 的復(fù)制,像一些特定函數(shù)功能，slave可與master上要保持一致會(huì)有很多相關(guān)問題(如sleep()函數(shù)， last_insert_id()，以及user-defined functions(udf)會(huì)出現(xiàn)問題).

 2.Row

不記錄sql語(yǔ)句上下文相關(guān)信息，僅保存哪條記錄被修改。

優(yōu)點(diǎn)： binlog中可以不記錄執(zhí)行的sql語(yǔ)句的上下文相關(guān)的信息，僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內(nèi)容會(huì)非常清楚的記錄下每一行數(shù)據(jù)修改的細(xì)節(jié)。而且不會(huì)出現(xiàn)某些特定情況下的存儲(chǔ)過程，或function，以及trigger的調(diào)用和觸發(fā)無(wú)法被正確復(fù)制的問題

缺點(diǎn):所有的執(zhí)行的語(yǔ)句當(dāng)記錄到日志中的時(shí)候，都將以每行記錄的修改來(lái)記錄，這樣可能會(huì)產(chǎn)生大量的日志內(nèi)容,比如一條update語(yǔ)句，修改多條記錄，則binlog中每一條修改都會(huì)有記錄，這樣造成binlog日志量會(huì)很大，特別是當(dāng)執(zhí)行alter table之類的語(yǔ)句的時(shí)候，由于表結(jié)構(gòu)修改，每條記錄都發(fā)生改變，那么該表每一條記錄都會(huì)記錄到日志中。

 3.Mixed

是以上兩種level的混合使用，一般的語(yǔ)句修改使用statment格式保存binlog，如一些函數(shù)，statement無(wú)法完成主從復(fù)制的操作，則采用row格式保存binlog,MySQL會(huì)根據(jù)執(zhí)行的每一條具體的sql語(yǔ)句來(lái)區(qū)分對(duì)待記錄的日志形式，也就是在Statement和Row之間選擇一種.新版本的MySQL中隊(duì)row level模式也被做了優(yōu)化，并不是所有的修改都會(huì)以row level來(lái)記錄，像遇到表結(jié)構(gòu)變更的時(shí)候就會(huì)以statement模式來(lái)記錄。至于update或者delete等修改數(shù)據(jù)的語(yǔ)句，還是會(huì)記錄所有行的變更。

 主從數(shù)據(jù)庫(kù)分別修改my.cnf文件相關(guān)配置項(xiàng)如下：

binlog_format=ROW 

#p#

三：使用pt-table-checksum工具檢查數(shù)據(jù)一致性情況

用法參考：

假設(shè)192.168.1.205是主庫(kù)，192.168.1.207是它的從庫(kù)，端口在3306。

1. 先校驗(yàn)

# pt-table-checksum --user=root --password=123456 \ 
--host=192.168.1.205 --port=3306 \ 
--databases=test --tables=t2 --recursion-method=processlist \ 
--no-check-binlog-format --nocheck-replication-filters \ 
--replicate=test.checksums 

2. 根據(jù)校驗(yàn)結(jié)果，只修復(fù)192.168.1.207從庫(kù)與主庫(kù)不一致的地方：

# pt-table-sync --execute --replicate \ 
test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456 

3. 修復(fù)后，再重新校驗(yàn)一次。執(zhí)行***步的語(yǔ)句即可。

4. 檢查修復(fù)結(jié)果： 登陸到192.168.1.207，執(zhí)行如下sql語(yǔ)句返回若為空，則說明修復(fù)成功：

SELECT 
* 
FROM 
test.checksums 
WHERE 
master_cnt <> this_cnt 
OR master_crc <> this_crc 
OR ISNULL(master_crc) <> ISNULL(this_crc) 

各參數(shù)含義

• --nocheck-replication-filters:不檢查復(fù)制過濾器，建議啟用。后面可以用--databases來(lái)指定需要檢查的數(shù)據(jù)庫(kù)。
• --no-check-binlog-format:不檢查復(fù)制的binlog模式，要是binlog模式是ROW，則會(huì)報(bào)錯(cuò)。
• --replicate-check-only:只顯示不同步的信息。
• --replicate=:把checksum的信息寫入到指定表中，建議直接寫到被檢查的數(shù)據(jù)庫(kù)當(dāng)中。
• --databases=:指定需要被檢查的數(shù)據(jù)庫(kù)，多個(gè)則用逗號(hào)隔開。
• --tables=：指定需要被檢查的表，多個(gè)用逗號(hào)隔開
• h=127.0.0.1:Master的地址
• u=root:用戶名
• p=123456:密碼
• P=3306:端口

#p#

下面我們來(lái)模擬下主從數(shù)據(jù)庫(kù)不同步情況下的pt-table-checksum，為了方便，這里我們采用test schema

 1: 主庫(kù)上建表，插入測(cè)試數(shù)據(jù)

mysql> create table t2 (id int primary key,name varchar(100) not null,salary int); 
mysql> CREATE PROCEDURE test_insert () 
BEGIN 
DECLARE i INT DEFAULT 0; 
WHILE i<10000 
DO 
INSERT INTO t2 
VALUES 
(i,CONCAT('員工',i), i); 
SET i=i+1; 
END WHILE ; 
END;; 
mysql> CALL test_insert(); 

從庫(kù)上校驗(yàn)當(dāng)前數(shù)據(jù)的同步情況為正常。

從庫(kù)上刪除一半的數(shù)據(jù)

mysql> delete from t2 where id > 5000; 
Query OK, 4999 rows affected (0.14 sec) 
 
mysql> select count(*) from t2; 
+----------+ 
| count(*) | 
+----------+ 
| 5001 | 
+----------+ 
1 row in set (0.01 sec)

2：使用pt-table-checksum工具進(jìn)行校驗(yàn)：

# pt-table-checksum --user=root --password=123456 \ 
--host=192.168.1.205 --port=3306 \ 
--databases=test --tables=t2 --recursion-method=processlist \ 
--no-check-binlog-format --nocheck-replication-filters \ 
--replicate=test.checksums 

3：登陸從庫(kù)進(jìn)行查詢checksum表

mysql> SELECT 
* 
FROM 
test.checksums 
WHERE 
master_cnt <> this_cnt 
OR master_crc <> this_crc 
OR ISNULL(master_crc) <> ISNULL(this_crc) 

4：使用pt-table-sync工具進(jìn)行數(shù)據(jù)重新同步

# pt-table-sync --execute --replicate \ 
test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456 

5：從庫(kù)上驗(yàn)證數(shù)據(jù)，中文“員工”變成了“??”

檢查主庫(kù)，發(fā)現(xiàn)出現(xiàn)一樣的情況，中文“員工”變成了“??”，猜想和字符集設(shè)置相關(guān)。

于是檢查數(shù)據(jù)庫(kù)字符集設(shè)置，發(fā)現(xiàn)test庫(kù)字符集非utf8

主從庫(kù)my.cnf文件添加如下配置項(xiàng)后重啟數(shù)據(jù)庫(kù)實(shí)例

character_set_client=utf8 
character_set_server=utf8 

重新執(zhí)行以上1-4步，發(fā)現(xiàn)一切正常！關(guān)鍵第4步要加--charset=utf8 參數(shù)

# pt-table-sync --execute --replicate \ 
test.checksums --charset=utf8 \ 
--sync-to-master h=192.168.1.207,P=3306,u=root,p=123456