為什么要使用solr+hbase組合：

某電信項目中采用HBase來存儲用戶終端明細數據，供前臺頁面即時查詢。HBase無可置疑擁有其優勢，但其本身只對rowkey支持毫秒級的快速檢索，對于多字段的組合查詢卻無能為力。針對HBase的多條件查詢也有多種方案，但是這些方案要么太復雜，要么效率太低，本文只對基于Solr的HBase多條件查詢方案進行測試和驗證。

solr+habse組合的原理：

基于Solr的HBase多條件查詢原理很簡單，將HBase表中涉及條件過濾的字段和rowkey在Solr中建立索引，通過Solr的多條件查詢快速獲得符合過濾條件的rowkey值，拿到這些rowkey之后在HBASE中通過指定rowkey進行查詢。

環境

1.????????????? 已搭建好的hadoop集群，3節點hadoop測試集群（見文檔hadoop2.5完全分布式集群搭建）

2.????????????? 在hadoop集群之上搭建hbase集群（文檔中hadoop2.5分布式中已包含）

3.????????????? 已搭建好的solrcloud集群，3節點solrcloud集群（見文檔solrcloud分布式集群）

4.????????????? 從oracle中導入數據到hbase中（可以通過普通java代碼或mapreduce，也可以直接使用工具sqoop）

5.????????????? 使用sqoop將oracle中的數據導入hbase中

sqoop實現數據從oracle導入hdfs(hbase)

?

sqoop import --append --connect jdbc:oracle:thin:@192.168.0.20:1521:orcl --username yqdev --password yq --m 1 --table c_text --columns id,url,title --hbase-create-table --hbase-table c_text --hbase-row-key id --column-family textinfo
?

注：需要在hbase中先創建c_text表，創建列族textinfo；我只導入了id,url,title三列，其中id為rowkey.

6.????????????? 創建索引

從hbase中讀取數據，將需要用作查詢字段添加索引到solr中（例如title）

????

/*** create solrIndex * * @throws IOException* @throws SolrServerException*/public static void addIndex() throws IOException, SolrServerException {// hbaseScan scan = new Scan();scan.addFamily(Bytes.toBytes(FAMILY_NAME));// scan.setCaching(500);scan.setCacheBlocks(false);ResultScanner rs = table.getScanner(scan);System.out.println("start......");Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();Long totalCount = 0l;for (Result r : rs) {SolrInputDocument doc = new SolrInputDocument();doc.addField("id", new String(r.getRow()));for (KeyValue kv : r.raw()) {String fieldName = new String(kv.getQualifier());String fieldValue = new String(kv.getValue());if (fieldName.equalsIgnoreCase("id")|| fieldName.equalsIgnoreCase("title")|| fieldName.equalsIgnoreCase("url")) {doc.addField(fieldName, fieldValue);}docs.add(doc);}if (docs.size() >= 1000) {cloudSolrServer.add(docs);cloudSolrServer.commit();totalCount = totalCount + docs.size();docs = new ArrayList<SolrInputDocument>();System.out.println("already deal with : " + totalCount);}}}

?

7.????????????? 查詢測試

?????

/*** 1.query solrIndex pass some condition 2.query data from hbase pass rowkey* * @throws IOException* @throws SolrServerException*/public static void query() throws IOException, SolrServerException {Get get = null;List<Get> list = new ArrayList<Get>();SolrQuery query = new SolrQuery("title:基金");query.setStart(0);query.setRows(40);QueryResponse response = cloudSolrServer.query(query);SolrDocumentList docs = response.getResults();System.out.println("total:" + docs.getNumFound());System.out.println("query time:" + response.getQTime());//get rowkey from solrfor (SolrDocument doc : docs) {get = new Get(Bytes.toBytes((String) doc.getFieldValue("id")));list.add(get);}//order rowkey query data from hbasefor (Get gt : list) {Result result = table.get(gt);byte[] value = result.getValue("textinfo".getBytes(),"title".getBytes());System.out.println("title------- \t" + new String(value));}}

hbase+solr多條件查詢的設計方案：

（利用hbase的大數據存儲和solr的強大的索引，達到互補的效果）

基于Solr的HBase多條件查詢原理很簡單，將HBase表中涉及條件過濾的字段和rowkey在Solr中建立索引，通過Solr的多條件查詢快速獲得符合過濾條件的rowkey值，拿到這些rowkey之后在HBASE中通過指定rowkey進行查詢。

?

參考：http://www.cnblogs.com/chenz/articles/3229997.html

總結

以上是生活随笔為你收集整理的Solr+Hbase多条件查（优劣互补）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。