如何從MySQL/InnoDB數(shù)據(jù)文件中的恢復(fù)數(shù)據(jù)
在上上周給下廚房做過一次數(shù)據(jù)恢復(fù)(故障回顧:故障發(fā)生的技術(shù)總結(jié) 致歉信),恢復(fù)使用了開源工具Percona Data Recovery Tool for InnoDB(后面簡(jiǎn)稱PDRTI),這里分享一下期間的注意事項(xiàng),和遇到MySQL數(shù)據(jù)丟失的一些應(yīng)對(duì)。
本文主要介紹在使用Percona Data Recovery Tool for InnoDB時(shí)候的一些注意事項(xiàng),并不包括具體的step by step的使用步驟,使用文檔可以參考:Reference Manual and Documentation。
1. 簡(jiǎn)述恢復(fù)原理
因?yàn)槲臋n中較為詳細(xì)的描述,這里只簡(jiǎn)單說(shuō)明。所有InnoDB的數(shù)據(jù)都是索引的方式組織的,而且所有的數(shù)據(jù)都是存儲(chǔ)在16KB的數(shù)據(jù)塊中。恢復(fù)的過程分幾步,分解所有數(shù)據(jù)文件為單個(gè)16KB大小的頁(yè)面,根據(jù)每個(gè)頁(yè)面的標(biāo)記的數(shù)據(jù)起點(diǎn)開始嘗試匹配,如果與給定表定義的size合適,認(rèn)為匹配成功,則輸出記錄。
2. 并行的恢復(fù)
數(shù)據(jù)恢復(fù)通常是爭(zhēng)分奪秒的,PDRTI工具本身是一個(gè)基礎(chǔ)工具,如果使用該工具做做串行恢復(fù),時(shí)間會(huì)非常長(zhǎng),通過簡(jiǎn)單的shell腳本可以讓constraints_parser腳本并行工作,這樣可以大大縮短數(shù)據(jù)的恢復(fù)時(shí)間。根據(jù)實(shí)際經(jīng)驗(yàn),機(jī)器稍微好點(diǎn),實(shí)際恢復(fù)時(shí)間可以縮短到串行的二十分之一。也就是說(shuō),原來(lái)需要40小時(shí),通過并行可能2個(gè)小時(shí)就可以了。
以下是兩個(gè)并行恢復(fù)的腳本,供參考:
#!/bin/bash ws=/u01/recovery pagedir=/u01/recovery/pages-1372436970/FIL_PAGE_INDEX logdir=/u01/recovery/log rectool=/u01/recovery/percona-data-recovery-tool-for-innodb-0.5/constraints_parser cd `dirname $rectool` count=0 page_count=353894 page_done=0 startdate=`date +%s` for d1 in `ls $pagedir` do count=$(($count+1)) echo "in page $d2 at dir $d1" > $logdir/$count.log thedate=`date +%s` echo "$page_done / $page_count at $thedate from $startdate" total=`ls -l $pagedir/$d1/|wc -l` page_done=$(($page_done+$total)) threads=`ps axu|grep parser_jobs|grep -v grep|wc -l` echo $threads while [ $threads -gt 48 ]; do sleep 1 threads=`ps axu|grep parser_jobs|grep -v grep|wc -l` done $ws/parser_jobs.sh $pagedir/$d1 > $ws/job.log 2>&1 & done
#!/bin/bash pagedir=/u01/recovery/pages-1372436970/FIL_PAGE_INDEX logdir=/u01/recovery/log rectool=/u01/recovery/percona-data-recovery-tool-for-innodb-0.5/constraints_parser logfile="$logdir/`basename $1`.log" echo "$1" > $logfile if [ -d $1 ];then for d2 in `ls $1` do $rectool -5 -f $1/$d2 >> $logfile 2>/dev/null done fi
3. 從索引中恢復(fù)
如果知道數(shù)據(jù)表的索引結(jié)構(gòu),如果數(shù)據(jù)部分損壞,但是索引部分完整,可以通過這個(gè)辦法提取出來(lái)更多的字段信息。
4. 緊急情況下的問題處理
這次下廚房的技術(shù)總結(jié)中提到,"***時(shí)間停止MySQL防止硬盤繼續(xù)寫入這個(gè)應(yīng)急措施是錯(cuò)誤的",正常如果進(jìn)程沒有被關(guān)閉,進(jìn)程所打開的文件是不會(huì)被覆蓋的,可以通過從/proc文件系統(tǒng)拷貝的方式恢復(fù)出當(dāng)前仍然打開的文件(參考:Recovering files from /Proc)。如果數(shù)據(jù)文件和日志文件都能夠cp出來(lái),那么有希望讓MySQL自己?jiǎn)?dòng),并根據(jù)事務(wù)日志恢復(fù)出當(dāng)前一致的數(shù)據(jù)。
5. ***,沒有***了
如果你需要數(shù)據(jù)恢復(fù),可以聯(lián)系我,提供免費(fèi)的咨詢,和收費(fèi)的恢復(fù)服務(wù)。另外,如果需要專業(yè)服務(wù)可以聯(lián)系沃趣科技,他們提供專業(yè)的、完整的數(shù)據(jù)庫(kù)服務(wù)。
原文鏈接:http://www.orczhou.com/index.php/2013/07/how-to-recover-data-from-mysql-innodb-data-file-ibd-file/