shell-mysql

　　(1)腳本背景:

　　由于要在Linux上，遠程讀取mysql的表的數(shù)據(jù)，然后做一定清洗后，把數(shù)據(jù)上傳至Hadoop集群中，使用Java寫吧，感覺太麻煩了，得在Win上開發(fā)好，還得打成jar包， 上傳到Linux上，如果那里出了問題，還得重復這樣，非常不方便，那就用shell寫一個吧，也不需要什么jdbc驅(qū)動包，只需要在Linux上裝個MySQL的 客戶端即可，用一行yum命令即可搞定，所以就花了點時間，封裝了一個小腳本

　　(2)功能介紹:

　　直接在Linux下使用shell腳本遠程分頁讀取MySQL表的數(shù)據(jù)的一個小腳本，已測過讀取600萬+的數(shù)據(jù) 效率與jdbc相差無幾

　　(3)腳本介紹:

　　主要有三個腳本構(gòu)成

　　1，page.sh 這是一主腳本，里面定義了分頁的條件，大家看下便知

　　2，f.sh 一個小包裝的腳本吧，里面會用sed去掉表頭一些信息

　　3，port.sh 分頁讀取數(shù)據(jù)的執(zhí)行腳本

　　(4)如何使用?

　　使用非常簡單，需要改下page.sh里面的查詢字段，以及分頁查詢的數(shù)量，默認是10000，然后執(zhí)行sh page.sh databaseName tableName傳入數(shù)據(jù)庫名和表名即可

　　Github項目地址

#***個參數(shù)表名 
#第二個參數(shù)是start 
#第三個參數(shù)是offset 
#分頁讀取數(shù)據(jù)后，刪除***行表頭，并寫入一個文件中，文件名與表名一樣 
sh port.sh $1 $2 $3  | sed '1d' >> tables/$1 
 
#刪除無用的html字符 
#sed -i 's/<[^>]*>//g;/^$/d'  tables/$1    
#刪除無用的一些特殊符號 
#sed -i 's/[a-zA-Z\.():;><-]//g' tables/$1  

#登陸mysql，負責查詢某個表數(shù)據(jù)總量 
MYSQL=`which mysql` 
count=`$MYSQL -hmysqlhost --default-character-set=utf8   -P3306 -uname -ppwd  <<EOF   
use $1; 
select    count(1)  from $2  ; 
EOF`  
 
#得到某一個表的總數(shù)量 
count=`echo "$count" | sed '1d' ` 
#定義一個每頁讀取的***數(shù)量 
pageSize=10000 
#計算總共的分頁數(shù) 
totalPage=0; 
#判斷總數(shù)量，求模是否等于0，等于0，就是相除多少頁 
temp=` echo "$count%$pageSize" | bc ` 
if [ 0 -eq $temp ] ;then 
totalPage=`echo  "$count/$pageSize" | bc` 
else 
#否則，就是相除后+1，作為總的分頁數(shù) 
totalPage=`echo  "$count/$pageSize+1" | bc` 
fi 
 
echo "總數(shù)量：$count 每頁讀取數(shù)量：$pageSize  分頁數(shù)量：$totalPage" 
 
#把總頁數(shù)減一，方便分頁處理，因為后面咱的下標從0開始 
totalPage=`echo "$totalPage-1" | bc ` 
#echo "處理后：$totalPage" 
 
#for循環(huán)遍歷總頁數(shù) 
for page in `seq 0 $totalPage` 
do 
#計算每頁的偏移量 
offset=`echo "$page*$pageSize" | bc ` 
echo "當前處理到第$page頁,分頁信息： limit $offset $pageSize  " 
###***個參數(shù)表名 
###第二個參數(shù)偏移量 
###第三個參數(shù)每頁讀取數(shù)據(jù) 
#調(diào)用f.sh獲取數(shù)據(jù) 
sh f.sh $1 $offset $pageSize  
done 
 
 
 
#sed -i 's/<[^>]*>//g;/^$/d'  tables/$1 
 
#sed -i 's/[a-zA-Z\.():;><-]//g' tables/$1 

#連接mysql 
#        -h主機地址                                                             -u用戶名 -p密碼 
 
#下面的語句，是登陸到數(shù)據(jù)庫后，使用某個數(shù)據(jù)庫，然后根據(jù)條件查詢表 
MYSQL=`which mysql` 
 
 $MYSQL -hmysqlhost --default-character-set=utf8   -P3306 -uname -ppwd  <<EOF   
 
 
use db_conform; 
 
 
select    concat_ws('#',ifNull(id,''),ifNULL(title,''),ifNULL(replace(replace(replace(content ,'\n','' ), '\r' , '' ),'#','' ) ,''),ifNULL(doc_no,'')) from $1 limit $2 , $3   ; 
 
 
 
 
EOF 
 
 
 
#echo $query