本篇文章來說道說道如何診斷HBase寫數(shù)據(jù)的異常問題以及優(yōu)化寫性能。和讀相比，HBase寫數(shù)據(jù)流程倒是顯得很簡單：數(shù)據(jù)先順序?qū)懭際Log，再寫入對應的緩存Memstore，當Memstore中數(shù)據(jù)大小達到一定閾值(128M)之后，系統(tǒng)會異步將Memstore中數(shù)據(jù)flush到HDFS形成小文件。

　　HBase數(shù)據(jù)寫入通常會遇到兩類問題，一類是寫性能較差，另一類是數(shù)據(jù)根本寫不進去。這兩類問題的切入點也不盡相同，如下圖所示：

　　寫性能優(yōu)化切入點

　　1. 是否需要寫WAL?WAL是否需要同步寫入?

　　優(yōu)化原理：數(shù)據(jù)寫入流程可以理解為一次順序?qū)慦AL+一次寫緩存，通常情況下寫緩存延遲很低，因此提升寫性能就只能從WAL入手。WAL機制一方面是為了確保數(shù)據(jù)即使寫入緩存丟失也可以恢復，另一方面是為了集群之間異步復制。默認WAL機制開啟且使用同步機制寫入WAL。首先考慮業(yè)務是否需要寫WAL，通常情況下大多數(shù)業(yè)務都會開啟WAL機制(默認)，但是對于部分業(yè)務可能并不特別關心異常情況下部分數(shù)據(jù)的丟失，而更關心數(shù)據(jù)寫入吞吐量，比如某些推薦業(yè)務，這類業(yè)務即使丟失一部分用戶行為數(shù)據(jù)可能對推薦結果并不構成很大影響，但是對于寫入吞吐量要求很高，不能造成數(shù)據(jù)隊列阻塞。這種場景下可以考慮關閉WAL寫入，寫入吞吐量可以提升2x~3x。退而求其次，有些業(yè)務不能接受不寫WAL，但可以接受WAL異步寫入，也是可以考慮優(yōu)化的，通常也會帶來1x～2x的性能提升。

　　優(yōu)化推薦：根據(jù)業(yè)務關注點在WAL機制與寫入吞吐量之間做出選擇

　　其他注意點：對于使用Increment操作的業(yè)務，WAL可以設置關閉，也可以設置異步寫入，方法同Put類似。相信大多數(shù)Increment操作業(yè)務對WAL可能都不是那么敏感～

　　2. Put是否可以同步批量提交?

　　優(yōu)化原理：HBase分別提供了單條put以及批量put的API接口，使用批量put接口可以減少客戶端到RegionServer之間的RPC連接數(shù)，提高寫入性能。另外需要注意的是，批量put請求要么全部成功返回，要么拋出異常。

　　優(yōu)化建議：使用批量put進行寫入請求

　　3. Put是否可以異步批量提交?

　　優(yōu)化原理：業(yè)務如果可以接受異常情況下少量數(shù)據(jù)丟失的話，還可以使用異步批量提交的方式提交請求。提交分為兩階段執(zhí)行：用戶提交寫請求之后，數(shù)據(jù)會寫入客戶端緩存，并返回用戶寫入成功;當客戶端緩存達到閾值(默認2M)之后批量提交給RegionServer。需要注意的是，在某些情況下客戶端異常的情況下緩存數(shù)據(jù)有可能丟失。

　　優(yōu)化建議：在業(yè)務可以接受的情況下開啟異步批量提交

　　使用方式：setAutoFlush(false)

　　4. Region是否太少?

　　優(yōu)化原理：當前集群中表的Region個數(shù)如果小于RegionServer個數(shù)，即Num(Region of Table) < Num(RegionServer)，可以考慮切分Region并盡可能分布到不同RegionServer來提高系統(tǒng)請求并發(fā)度，如果Num(Region of Table) > Num(RegionServer)，再增加Region個數(shù)效果并不明顯。

　　優(yōu)化建議：在Num(Region of Table) < Num(RegionServer)的場景下切分部分請求負載高的Region并遷移到其他RegionServer;

　　5. 寫入請求是否不均衡?

　　優(yōu)化原理：另一個需要考慮的問題是寫入請求是否均衡，如果不均衡，一方面會導致系統(tǒng)并發(fā)度較低，另一方面也有可能造成部分節(jié)點負載很高，進而影響其他業(yè)務。分布式系統(tǒng)中特別害怕一個節(jié)點負載很高的情況，一個節(jié)點負載很高可能會拖慢整個集群，這是因為很多業(yè)務會使用Mutli批量提交讀寫請求，一旦其中一部分請求落到該節(jié)點無法得到及時響應，就會導致整個批量請求超時。因此不怕節(jié)點宕掉，就怕節(jié)點奄奄一息!

　　優(yōu)化建議：檢查RowKey設計以及預分區(qū)策略，保證寫入請求均衡。

　　6. 寫入KeyValue數(shù)據(jù)是否太大?

　　KeyValue大小對寫入性能的影響巨大，一旦遇到寫入性能比較差的情況，需要考慮是否由于寫入KeyValue數(shù)據(jù)太大導致。KeyValue大小對寫入性能影響曲線圖如下：

　　圖中橫坐標是寫入的一行數(shù)據(jù)(每行數(shù)據(jù)10列)大小，左縱坐標是寫入吞吐量，右坐標是寫入平均延遲(ms)?？梢钥闯鲭S著單行數(shù)據(jù)大小不斷變大，寫入吞吐量急劇下降，寫入延遲在100K之后急劇增大。

　　說到這里，有必要和大家分享兩起在生產(chǎn)線環(huán)境因為業(yè)務KeyValue較大導致的嚴重問題，一起是因為大字段業(yè)務寫入導致其他業(yè)務吞吐量急劇下降，另一起是因為大字段業(yè)務scan導致RegionServer宕機。

　　案件一：大字段寫入導致其他業(yè)務吞吐量急劇下降

　　部分業(yè)務反饋集群寫入忽然變慢、數(shù)據(jù)開始堆積的情況，查看集群表級別的數(shù)據(jù)讀寫QPS監(jiān)控，發(fā)現(xiàn)問題的***個關鍵點：業(yè)務A開始寫入之后整個集群其他部分業(yè)務寫入QPS都幾乎斷崖式下跌，初步懷疑黑手就是業(yè)務A。

　　下圖是當時業(yè)務A的寫入QPS(事后發(fā)現(xiàn)腦殘忘了截取其他表QPS斷崖式下跌的慘象)，但是***感覺是QPS并不高啊，憑什么去影響別人!

　　于是就繼續(xù)查看其他監(jiān)控信息，首先確認系統(tǒng)資源(主要是IO)并沒有到達瓶頸，其次確認了寫入的均衡性，直至看到下圖，才追蹤到影響其他業(yè)務寫入的第二個關鍵點：RegionServer的handler(配置150)被殘暴耗盡：

　　對比上面兩張圖，是不是發(fā)現(xiàn)出奇的一致，那就可以基本確認是由于該業(yè)務寫入導致這臺RegionServer的handler被耗盡，進而其他業(yè)務拿不到handler，自然寫不進去。那問題來了，為什么會這樣?正常情況下handler在處理完客戶端請求之后會立馬釋放，唯一的解釋是這些請求的延遲實在太大。

　　試想，我們?nèi)h堡店排隊買漢堡，有150個窗口服務，正常情況下大家買一個很快，這樣150個窗口可能只需要50個服務。假設忽然來了一批大漢，要定制超大漢堡，好了，所有的窗口都工作起來，而且因為大漢堡不好制作導致服務很慢，這樣必然會導致其他排隊的用戶長時間等待，直至超時。

　　可回頭一想這可是寫請求啊，怎么會有這么大的請求延遲!和業(yè)務方溝通之后確認該表主要存儲語料庫文檔信息，都是平均100K左右的數(shù)據(jù)，是不是已經(jīng)猜到了結果，沒錯，就是因為這個業(yè)務KeyValue太大導致。KeyValue太大會導致HLog文件寫入頻繁切換、flush以及compaction頻繁觸發(fā)，寫入性能急劇下降。

　　目前針對這種較大KeyValue寫入性能較差的問題還沒有直接的解決方案，好在社區(qū)已經(jīng)意識到這個問題，在接下來即將發(fā)布的下一個大版本HBase 2.0.0版本會針對該問題進行深入優(yōu)化，詳見 HBase MOB ，優(yōu)化后用戶使用HBase存儲文檔、圖片等二進制數(shù)據(jù)都會有***的性能體驗。

　　案件二：大字段scan導致RegionServer宕機

　　案件現(xiàn)場：有段時間有個0.98集群的RegionServer經(jīng)常頻繁宕機，查看日志是由于”java.lang.OutOfMemoryError: Requested array size exceeds VM limit”，如下圖所示：

　　原因分析：通過查看源碼以及相關文檔，確認該異常發(fā)生在scan結果數(shù)據(jù)回傳給客戶端時由于數(shù)據(jù)量太大導致申請的array大小超過JVM規(guī)定的***值( Interge.Max_Value-2)。造成該異常的兩種最常見原因分別是：

　　表列太寬(幾十萬列或者上百萬列)，并且scan返回沒有對列數(shù)量做任何限制，導致一行數(shù)據(jù)就可能因為包含大量列而數(shù)據(jù)超過array大小閾值

　　KeyValue太大，并且scan返回沒有對返回結果大小做任何限制，導致返回數(shù)據(jù)結果大小超過array大小閾值

　　有的童鞋就要提問啦，說如果已經(jīng)對返回結果大小做了限制，在表列太寬的情況下是不是就可以不對列數(shù)量做限制呢。這里需要澄清一下，如果不對列數(shù)據(jù)做限制，數(shù)據(jù)總是一行一行返回的，即使一行數(shù)據(jù)大小大于設置的返回結果限制大小，也會返回完整的一行數(shù)據(jù)。在這種情況下，如果這一行數(shù)據(jù)已經(jīng)超過array大小閾值，也會觸發(fā)OOM異常。

　　解決方案：目前針對該異常有兩種解決方案，其一是升級集群到1.0，問題都解決了。其二是要求客戶端訪問的時候?qū)Ψ祷亟Y果大小做限制(scan.setMaxResultSize(2*1024*1024))、并且對列數(shù)量做限制(scan.setBatch(100))，當然，0.98.13版本以后也可以對返回結果大小在服務器端進行限制，設置參數(shù)hbase.server.scanner.max.result.size即可

　　寫異常問題檢查點

　　上述幾點主要針對寫性能優(yōu)化進行了介紹，除此之外，在一些情況下還會出現(xiàn)寫異常，一旦發(fā)生需要考慮下面兩種情況(GC引起的不做介紹)：

　　Memstore設置是否會觸發(fā)Region級別或者RegionServer級別flush操作?

　　問題解析：以RegionServer級別flush進行解析，HBase設定一旦整個RegionServer上所有Memstore占用內(nèi)存大小總和大于配置文件中upperlimit時，系統(tǒng)就會執(zhí)行RegionServer級別flush，flush算法會首先按照Region大小進行排序，再按照該順序依次進行flush，直至總Memstore大小低至lowerlimit。這種flush通常會block較長時間，在日志中會發(fā)現(xiàn)“ Memstore is above high water mark and block 7452 ms”，表示這次flush將會阻塞7s左右。

　　問題檢查點：

　　Region規(guī)模與Memstore總大小設置是否合理?如果RegionServer上Region較多，而Memstore總大小設置的很小(JVM設置較小或者upper.limit設置較小)，就會觸發(fā)RegionServer級別flush。集群規(guī)劃相關內(nèi)容可以參考文章《》

　　列族是否設置過多，通常情況下表列族建議設置在1～3個之間，***一個。如果設置過多，會導致一個Region中包含很多Memstore，導致更容易觸到高水位upperlimit

　　Store中HFile數(shù)量是否大于配置參數(shù)blockingStoreFile?

　　問題解析：對于數(shù)據(jù)寫入很快的集群，還需要特別關注一個參數(shù)：hbase.hstore.blockingStoreFiles，此參數(shù)表示如果當前hstore中文件數(shù)大于該值，系統(tǒng)將會強制執(zhí)行compaction操作進行文件合并，合并的過程會阻塞整個hstore的寫入。通常情況下該場景發(fā)生在數(shù)據(jù)寫入很快的情況下，在日志中可以發(fā)現(xiàn)” Waited 3722ms on a compaction to clean up ‘too many store files “

　　問題檢查點：

　　參數(shù)設置是否合理? hbase.hstore.compactionThreshold表示啟動compaction的***閾值，該值不能太大，否則會積累太多文件，一般建議設置為5～8左右。 hbase.hstore.blockingStoreFiles默認設置為7，可以適當調(diào)大一些。

　　寫性能還能再提高么?

　　上文已經(jīng)從寫性能優(yōu)化以及寫異常診斷兩個方面對HBase中數(shù)據(jù)寫入可能的問題進行了詳細的解釋，相信在0.98版本的基礎上對寫入來說已經(jīng)是***的解決方案了。但是有些業(yè)務可能依然覺得不夠快，畢竟”更快”是所有存儲系統(tǒng)活著的動力，那還有提高空間嗎?當然，接下來簡單介紹HBase之后版本對寫性能優(yōu)化的兩點核心改進：

　　Utilize Flash storage for WAL(HBASE-12848)

　　這個特性意味著可以將WAL單獨置于SSD上，這樣即使在默認情況下(WALSync)，寫性能也會有很大的提升。需要注意的是，該特性建立在HDFS 2.6.0+的基礎上，HDFS以前版本不支持該特性。具體可以參考官方jira： https://issues.apache.org/jira/browse/HBASE-12848

　　Multiple WALs(HBASE-14457)

　　該特性也是對WAL進行改造，當前WAL設計為一個RegionServer上所有Region共享一個WAL，可以想象在寫入吞吐量較高的時候必然存在資源競爭，降低整體性能。針對這個問題，社區(qū)小伙伴(阿里巴巴大神)提出Multiple WALs機制，管理員可以為每個Namespace下的所有表設置一個共享WAL，通過這種方式，寫性能大約可以提升20%～40%左右。具體可以參考官方jira： https://issues.apache.org/jira/browse/HBASE-14457

　　好了，這篇文章和大家一起分享了個人對HBase寫入性能優(yōu)化以及寫入異常問題的一些理解，如有紕漏，還望指正!另外，如果大家有任何關于此話題的案例也很歡迎一起討論～