偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

HBASE+Solr實(shí)現(xiàn)詳單查詢

企業(yè)動(dòng)態(tài)
最近群里面討論HBASE的使用場景,本文只對基于Solr的HBase多條件查詢方案進(jìn)行測試和驗(yàn)證。

背景

某電信項(xiàng)目中采用HBase來存儲(chǔ)用戶終端明細(xì)數(shù)據(jù),供前臺(tái)頁面即時(shí)查詢。HBase無可置疑擁有其優(yōu)勢,但其本身只對rowkey支持毫秒級的快速檢索,對于多字段的組合查詢卻無能為力。針對HBase的多條件查詢也有多種方案,但是這些方案要么太復(fù)雜,要么效率太低,本文只對基于Solr的HBase多條件查詢方案進(jìn)行測試和驗(yàn)證。

原理

基于Solr的HBase多條件查詢原理很簡單,將HBase表中涉及條件過濾的字段和rowkey在Solr中建立索引,通過Solr的多條件查詢快速獲得符合過濾條件的rowkey值,拿到這些rowkey之后在HBASE中通過指定rowkey進(jìn)行查詢。

在HBASE中通過指定rowkey進(jìn)行查詢

HBase與Solr系統(tǒng)架構(gòu)設(shè)計(jì)

使用HBase搭建結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)云,用來存儲(chǔ)海量數(shù)據(jù);使用SolrCloud集群用來搭建搜索引擎,將要查找的結(jié)構(gòu)化數(shù)據(jù)的ID查找出來,只配置它存儲(chǔ)ID。

HBase與Solr系統(tǒng)架構(gòu)設(shè)計(jì)

wd代表用戶write data寫數(shù)據(jù),從用戶提交寫數(shù)據(jù)請求wd1開始,經(jīng)歷wd2,寫入MySQL數(shù)據(jù)庫,或?qū)懭虢Y(jié)構(gòu)數(shù)據(jù)存儲(chǔ)云中,wd3,提交到Solr集群中,從而依據(jù)業(yè)務(wù)需求創(chuàng)建索引。

rd代表用戶read data讀數(shù)據(jù),從用戶提交讀數(shù)據(jù)請求rd1開始,經(jīng)歷rd2,直接讀取MySQL中數(shù)據(jù),或向Solr集群請求搜索服務(wù),rd3,向Solr集群請求得到的搜索結(jié)果為ID,再向結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)云中通過ID取出數(shù)據(jù),***返回給用戶結(jié)果。

實(shí)現(xiàn)方法有兩種

  • 手工編碼,直接用HBASE的API,可以參考下文:http://www.cnblogs.com/chenz/articles/3229997.html
  • 可以使用HBASE/Solr的LUNA接口,就不用自己管理兩者。

【本文為51CTO專欄作者“大數(shù)據(jù)和云計(jì)算”的原創(chuàng)稿件,轉(zhuǎn)載請通過微信公眾號獲取聯(lián)系和授權(quán)】

戳這里,看該作者更多好文

責(zé)任編輯:趙寧寧 來源: 51CTO專欄
相關(guān)推薦

2010-11-22 13:13:30

MySQL模糊查詢

2014-08-22 11:04:39

大數(shù)據(jù)架構(gòu)

2010-11-24 10:35:34

MySQL單表多字段

2010-10-08 15:37:21

MySQL單表

2023-12-18 20:46:49

MySQLB+Tree單引擎查詢

2015-02-04 14:50:29

2009-12-11 09:20:09

Visual Stud

2009-11-06 17:21:36

驗(yàn)證Oracle SQ

2015-05-11 09:43:07

路由traceroute

2011-08-02 10:01:21

Linux系統(tǒng)負(fù)荷

2015-10-27 09:19:24

2024-03-04 00:10:00

并發(fā)并行JavaScript

2023-08-03 09:12:02

2025-06-19 02:11:00

2009-11-05 17:53:05

Oracle用戶表空間

2013-12-16 10:20:48

MySQL數(shù)據(jù)庫

2010-09-25 16:42:45

sql語句

2022-09-06 07:02:17

棋盤布局CSS

2022-03-10 17:02:51

Rust單鏈表數(shù)據(jù)結(jié)構(gòu)

2011-06-28 15:18:45

Qt 單例模式
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號