Solr6 快速入門教程

安裝

環(huán)境要求

JDK1.8

下載Solr,本文試驗時,使用的Solr6.6.0

開始安裝

解壓solr-6.6.0.zip

cd solr-6.6.0\

啟動solr，run: bin\solr start -e cloud -noprompt

D:\machine\solr\solr-6.6.0>bin\solr start -e cloud -noprompt

Welcome to the SolrCloud example!

Starting up 2 Solr nodes for your example SolrCloud cluster.

...

Started Solr server on port 8983. Happy searching!

...

Started Solr server on port 7574. Happy searching!

...

SolrCloud example running, please visit: http://localhost:8983/solr

D:\machine\solr\solr-6.6.0>

訪問Solr管理可視化頁面: http://localhost:8983/solr，檢測Solr是否運行。

Solr 現(xiàn)在將運行兩個節(jié)點,一個在端口7574，一個在端口8983,有一個自動創(chuàng)建的文檔gettingstarted,默認有兩個分片收集,每個分片有兩個副本,這管理頁面的Cloud tab 可以很直觀的查看。

Solr服務(wù)器已經(jīng)啟動并運行，但是它不包含任何數(shù)據(jù)。Solr安裝包括了bin/post工具，以便從一開始就方便地從Solr的文檔中獲得各種類型的文檔。

注意:當前的bin/post工具沒有一個可以比擬的Windows腳本，但是調(diào)用的底層Java程序是可用的。

學(xué)習(xí)post.jar

在windows中,bin/post可以委托給一個獨立運行的Java程序叫SimplePostTool,可以執(zhí)行運行 java -jar example/exampledocs/post.jar

D:\machine\solr\solr-6.6.0>java -jar example\exampledocs\post.jar -h查看幫助可以(獲取文件，遞歸到一個網(wǎng)站或文件系統(tǒng)文件夾，或者向Solr服務(wù)器發(fā)送直接命令)

SimplePostTool version 5.0.0

Usage: java [SystemProperties] -jar post.jar [-h|-] [ [...]]

...

...

重點在這里:

java [SystemProperties] -jar post.jar [-h|-] [ [...]]

要看懂這個post.jar，首先要知道，被中括號包住的參數(shù)表示可選參數(shù)，|表示或者，SystemProperties表示系統(tǒng)屬性;

什么叫系統(tǒng)屬性呢?即通過System.setProperty(key,value)設(shè)置的參數(shù);

這里的key，value值都是隨便定義的，沒什么特別要求，這樣你隨后通過System.getProperty(key)通過key就能在任意時刻獲取到該key對應(yīng)的參數(shù)值，如果是在dos命令行下，你也可以通過java -Dkey=value這種方式指定，至此java [SystemProperties]這部分你應(yīng)該理解了，至于后面的-jar是java命令的參數(shù)，即執(zhí)行一個jar文件，-jar后面指定一個jar包路徑，默認是相對于當前所在路徑，-h即表示添加了這個即會打印命令提示信息，就好比你敲java -h是類似的，后面的file,folder,url,args分別表示你要提交的數(shù)據(jù)的幾種不同表示形式，file即表示你要提交的數(shù)據(jù)是存在于文件中，而folder即表示你要提交的存在于文件夾中，url即表示你要提交的數(shù)據(jù)是存在于互聯(lián)網(wǎng)上的一個URL地址表示的資源，它可能是一個HTML頁面，可能是一個PDF文件，可能是一個圖片等等，args即表示你要提交的數(shù)據(jù)直接在命令行敲出來，但arges并不是隨隨便便一個字符串就行的，它需要有固定的格式，solr才能解析

java -jar example\exampledocs\post.jar -h查看幫助列出的內(nèi)容說到:

Supported System Properties and their defaults:

-Dc=

-Durl= (overrides -Dc option if specified)

-Ddata=files|web|args|stdin (default=files)

-Dtype= (default=application/xml)

-Dhost= (default: localhost)

-Dport= (default: 8983)

-Dbasicauth= (sets Basic Authentication credentials)

-Dauto=yes|no (default=no)

-Drecursive=yes|no| (default=0)

-Ddelay= (default=0 for files, 10 for web)

-Dfiletypes=[,,...] (default=xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log)

-Dparams="=[&=...]" (values must be URL-encoded)

-Dcommit=yes|no (default=yes)

-Doptimize=yes|no (default=no)

-Dout=yes|no (default=no)

-D是命令行下指定系統(tǒng)屬性的固定前綴

c表示collection名稱，你需要對solr admin里的哪個collection進行索引數(shù)據(jù)添加/修改/刪除

url表示solr admin后臺索引更新的請求URL，這個URL是固定的，一般格式是http://host:port/solr/${collectionName}/update,這里的${collectionName}和上面的c屬性值保持一致

data表示你要提交數(shù)據(jù)的幾種模式，files模式表示你要提交的數(shù)據(jù)在文件里

web表示你要提交的數(shù)據(jù)在互聯(lián)網(wǎng)上的一個URL表示的資源文件里

args表示你要提交的數(shù)據(jù)你會直接在post.jar命令后面直接輸入

stdin表示你要提交的數(shù)據(jù)需要在dos命令行下通過System.in輸入流臨時接收，跟args有點類似，但不同的是，stdin模式下，post.jar后面不需要指定任何參數(shù)，直接回車即可，然后程序會等待用戶輸入，用戶輸入完畢再回車，post.jar會接收到用戶輸入，post.jar重新被喚醒繼續(xù)執(zhí)行。而args是直接在post.jar后面輸入?yún)?shù)，沒有一個中斷過程，而stdin模式下如果用戶一直沒有輸入，那post.jar就會一直阻塞在那里等待用戶輸入為止。

type表示你要提交數(shù)據(jù)的MIME類型，默認是application/xml即默認會當作是XML來處理

host表示你要鏈接的SOlr Admin部署服務(wù)器的主機名或者IP地址，默認是localhost

port表示你要鏈接的Solr Admin部署的Web容器監(jiān)聽的端口號，默認post.jar里設(shè)置為8983port具體值取決于你實際部署環(huán)境而定

auto表示是否自動猜測文件類型

recursive表示是否遞歸，這里遞歸有兩種情況，比如你data=folder即表示是否遞歸查找文件夾下的所有文件，如data=web即表示是否遞歸抓取URL,設(shè)置為no即表示不遞歸操作，設(shè)置為一個數(shù)字，即表示遞歸深度

delay：這里的時間延遲也分兩種，如果你post的是file,那么每個file的post間隔為0，即不做延遲處理而如果你是post的是網(wǎng)絡(luò)上的一個url資源，因為需要受到對方服務(wù)器的訪問限制，所以必須要做一個抓取頻率限制即每抓一個睡眠一會兒，否則抓取太快太頻率容易被對方封IP。

filetypes表示post.jar支持提交哪些文件類型，后面有列出默認支持的文件類型，如果你想覆蓋默認值，那么請指定此參數(shù)

params表示需要追加到Solr Admin的請求URL后面的請求參數(shù)如id=1&name=yida之類的

commit表示是否提交到solr admin后臺進行索引寫入，設(shè)置為false表示不提交至sor admin,但設(shè)置為true也不一定就意味著就一定會把索引寫入磁盤，這取決于solrconfig中directory配置的實現(xiàn)是什么，如果配置的是RAMDirectory，就僅僅只在內(nèi)存中操作了。

optimize表示是否需要對索引進行優(yōu)化操作，默認為no即表示不對索引進行優(yōu)化

out即OutputStream表示輸出流，這個參數(shù)作用就是，你請求Solr Admin添加索引數(shù)據(jù)，Solr Admin后臺會返回數(shù)據(jù)給你，Solr Admin后臺返回的數(shù)據(jù)你拿什么輸出流來接收，默認是System.out即表示把后臺返回的信息輸出打印到控制臺

參數(shù)這里應(yīng)該已經(jīng)搞得清楚了,再來看看官方提供的幾個post.jar使用命令示例:

Examples:

java -Dc=gettingstarted -jar post.jar *.xml

java -Ddata=args -Dc=gettingstarted -jar post.jar '42'

java -Ddata=stdin -Dc=gettingstarted -jar post.jar < hd.xml

java -Ddata=web -Dc=gettingstarted -jar post.jar http://example.com/

java -Dtype=text/csv -Dc=gettingstarted -jar post.jar *.csv

java -Dtype=application/json -Dc=gettingstarted -jar post.jar *.json

java -Durl=http://localhost:8983/solr/techproducts/update/extract -Dparams=literal.id=pdf1 -jar post.jar solr-word.pdf

java -Dauto -Dc=gettingstarted -jar post.jar *

java -Dauto -Dc=gettingstarted -Drecursive -jar post.jar afolder

java -Dauto -Dc=gettingstarted -Dfiletypes=ppt,html -jar post.jar afolder

更多關(guān)于post.jar的信息請點擊這里

建立索引

索引一個包含多種文件的目錄

bin/post可以循環(huán)提取文件目錄,將每個文件的原始內(nèi)容發(fā)送到Solr以提取和索引

Solr安裝后,包括一個docs/子目錄,windows下使用如下命令:java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar docs/

linux下可以使用bin/post -c gettingstarted docs/

命令解析:

-c gettingstarted:要索引的集合的名稱

docs/: Solr安裝目錄下的/docs的相對路徑

Solr索引XML

使用bin/post，索引示例Solr XML文件中的示例/example文檔/:

linux下使用:bin/post -c gettingstarted example/exampledocs/*.xml

windows下使用:

java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\*.xml

你將會看到:

D:\machine\solr\solr-6.6.0>java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\*.xml

SimplePostTool version 5.0.0

Posting files to [base] url http://localhost:8983/solr/gettingstarted/update...

Entering auto mode. File endings considered are xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log

Entering recursive mode, max depth=999, delay=0s

POSTing file gb18030-example.xml (application/xml) to [base]

POSTing file hd.xml (application/xml) to [base]

POSTing file ipod_other.xml (application/xml) to [base]

POSTing file ipod_video.xml (application/xml) to [base]

POSTing file manufacturers.xml (application/xml) to [base]

POSTing file mem.xml (application/xml) to [base]

POSTing file money.xml (application/xml) to [base]

POSTing file monitor.xml (application/xml) to [base]

POSTing file monitor2.xml (application/xml) to [base]

POSTing file mp500.xml (application/xml) to [base]

POSTing file sd500.xml (application/xml) to [base]

POSTing file solr.xml (application/xml) to [base]

POSTing file utf8-example.xml (application/xml) to [base]

POSTing file vidcard.xml (application/xml) to [base]

14 files indexed.

COMMITting Solr index changes to http://localhost:8983/solr/gettingstarted/update...

Time spent: 0:00:03.233

索引JSON

Solr支持索引JSON，即任意結(jié)構(gòu)化JSON或“Solr JSON”(類似于Solr XML)

Solr包含一個很小的示例Solr JSON文件，以演示該功能。再次使用bin/post，索引示例JSON文件:

linux使用: bin/post -c gettingstarted example/exampledocs/books.json

windows使用:java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\books.json

你將看到如下信息:

D:\machine\solr\solr-6.6.0>java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\books.json

SimplePostTool version 5.0.0

Posting files to [base] url http://localhost:8983/solr/gettingstarted/update...

Entering auto mode. File endings considered are xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log

Entering recursive mode, max depth=999, delay=0s

POSTing file books.json (application/json) to [base]/json/docs

1 files indexed.

COMMITting Solr index changes to http://localhost:8983/solr/gettingstarted/update...

Time spent: 0:00:01.211

要了解關(guān)于索引Solr JSON的更多信息，請參閱Solr參考指南部分Solr-Style JSON

索引CSV

數(shù)據(jù)到Solr的一個重要通道是通過CSV,尤其是當文檔是均勻的，所有的記錄都有相同的字段。CSV可以方便地從電子表格中導(dǎo)出，例如Excel，或者從MySQL等數(shù)據(jù)庫導(dǎo)出。在開始使用Solr時，通常最容易將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為CSV格式，然后將其索引到Solr，而不是一個更復(fù)雜的單步操作。

使用bin/post索引包含的示例CSV文件:

linux下使用：bin/post -c gettingstarted example/exampledocs/books.csv

windows下使用:java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\books.csv

在你的終端，你會看到:

D:\machine\solr\solr-6.6.0>java -Dc=gettingstarted -Dauto=yes -Ddata=files -Drecursive=yes -jar example/exampledocs/post.jar example\exampledocs\books.csv

SimplePostTool version 5.0.0

Posting files to [base] url http://localhost:8983/solr/gettingstarted/update...

Entering auto mode. File endings considered are xml,json,jsonl,csv,pdf,doc,docx,ppt,pptx,xls,xlsx,odt,odp,ods,ott,otp,ots,rtf,htm,html,txt,log

Entering recursive mode, max depth=999, delay=0s

POSTing file books.csv (text/csv) to [base]

1 files indexed.

COMMITting Solr index changes to http://localhost:8983/solr/gettingstarted/update...

Time spent: 0:00:00.874

其他索引技術(shù)

使用Solr在基于jvm的語言或其他Solr客戶端，以編程方式創(chuàng)建文檔發(fā)送到Solr。

使用Solr管理頁面的文檔選項卡粘貼一個要被索引的文檔,或者選擇Document Type的下拉選項卡選擇Document Builder每次添加一個字段來構(gòu)建文檔.單擊表單下面的Submit文檔按鈕，以索引文檔。

數(shù)據(jù)操作

更新數(shù)據(jù)

默認情況下,schema.xml指定了一個uniqueKey字段id,即使我們索引一個內(nèi)容多次,它也不會重復(fù)添加,當我們POST命令到Solr添加文檔時,如果uniqueKey字段當前值已存在,它會自動替換原來的內(nèi)容.

刪除數(shù)據(jù)

可以通過將delete命令發(fā)送到更新URL并指定文檔的惟一鍵字段的值，或者匹配多個文檔的查詢(小心使用這個！)來刪除數(shù)據(jù)。

執(zhí)行以下命令刪除一個特定的文檔:

linux使用:bin/post -c gettingstarted -d "SP2514N"

windows使用:java -Dc=gettingstarted -Ddata=args -jar example\exampledocs\post.jar "1"

搜索

Solr可以通過REST客戶端,cURL,wget,POSTMAN等來查詢,以及許多編程語言都可以使用的本地客戶端。

Solr管理UI包含一個查詢構(gòu)建器接口——gettingstarted默認文檔查詢:http://localhost:8983/solr/#/...如果你不改變表單里的任何內(nèi)容,直接點擊Execute Query按鈕,你將得到默認10條JSON格式的文檔(*:*作為q的參數(shù)表示匹配所有文檔)

由Admin UI發(fā)送到Solr的URL顯示在上面屏幕右上角的淺灰色中，如果你點擊它，你的瀏覽器將會顯示原始的響應(yīng)。要使用cURL，請在cURL命令行中使用相同的URL:

curl "http://localhost:8983/solr/gettingstarted/select?indent=on&q=*:*&wt=json"

基礎(chǔ)

搜索一個詞

搜索一個特定的詞,需要把在Solr Admin UI查詢板塊中的q的參數(shù)值*:*替換成你想要查詢的詞

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=foundation"

你將得到:

$ curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=foundation"

% Total % Received % Xferd Average Speed Time Time Time Current

Dload Upload Total Spent Left Speed

100 2017 100 2017 0 0 123k 0 --:--:-- --:--:-- --:--:-- 123k{

"responseHeader":{

"zkConnected":true,

"status":0,

"QTime":17,

"params":{

"q":"foundation",

"indent":"true",

"wt":"json"}},

"response":{"numFound":3,"start":0,"maxScore":3.4038174,"docs":[

{

"id":"0553293354",

"cat":["book"],

"name":["Foundation"],

"price":[7.99],

"inStock":[true],

"author":["Isaac Asimov"],

"series_t":["Foundation Novels"],

"sequence_i":1,

"genre_s":"scifi",

"_version_":1576664844219711488},

{

...

響應(yīng)表明，有3個命中("numFound":3)，其中前10個被返回，因為默認的start=0，rows=10。您可以通過指定這些params查詢結(jié)果，其中start是第一個結(jié)果返回的(基于零的)位置，而raws是一頁的大小。

要限制響應(yīng)中返回的字段，請使用fl param，該命令將使用逗號分隔的字段名列表。只返回id字段:

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=foundation&fl=id"

q=foundation匹配了我們已經(jīng)索引的幾乎所有文檔，因為文檔中的大多數(shù)文件都包含“Apache軟件基金會”。要限制搜索到特定字段，使用語法"q=field:value"，例如只在name字段中搜索Foundation:

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=name:Foundation"

短語檢索

要搜索一個多詞短語，用雙引號括起來:q="這里的多個詞語"。例如，搜索"CAS latency"注意，術(shù)語之間的空格必須轉(zhuǎn)換為"+"(Admin UI將自動處理URL編碼):

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=true&q=\"CAS+latency\""

你將看到:

"responseHeader":{

"zkConnected":true,

"status":0,

"QTime":9,

"params":{

"q":"\"CAS latency\"",

"indent":"true",

"wt":"json"}},

"response":{"numFound":2,"start":0,"maxScore":2.9027793,"docs":[

{

"id":"TWINX2048-3200PRO",

"name":["CORSAIR XMS 2GB (2 x 1GB) 184-Pin DDR SDRAM Unbuffered DDR 400 (PC 3200) Dual Channel Kit System Memory - Retail"],

"manu":["Corsair Microsystems Inc."],

"manu_id_s":"corsair",

"cat":["electronics",

"memory"],

"features":["CAS latency 2, 2-3-3-6 timing, 2.75v, unbuffered, heat-spreader"],

...

組合搜索

默認情況下，當你在單一查詢中搜索多個詞或短語時，Solr只要求其中一個匹配，以便讓文件匹配,包含更多詞語的文檔將在結(jié)果列表中排序更高。

你可以查詢一個詞通過前綴加上"+"來限定;相反，為了不允許出現(xiàn)一個詞，用"-"前綴來限定。

因為"+"字符在url中有一個保留的目的(空格字符編碼),所以必須使用URL encode進行編碼在curl中使用.

curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=on&q=%2Baaa+%2BFoundatio"

查找含有"Foundation"但是不含有"aaa"的文檔,在Admin UI 的查找頁面的q參數(shù)中輸入+Foundation -one,在curl中將"+"編碼為"%2B"

$ curl "http://localhost:8983/solr/gettingstarted/select?wt=json&indent=on&q=%2BFoundation+-aaa"

深入學(xué)習(xí):要了解更多Solr搜索選項，請參閱Solr參考指南的搜索部分。

清除

當你在完成了上面示例后，你可能想要阻止Solr，并把環(huán)境重新設(shè)定到起點。下面的命令行將停止Solr并刪除開始腳本創(chuàng)建的兩個節(jié)點的目錄:

bin/solr stop -all ; rm -Rf example/cloud/

接下來去哪里?

有關(guān)Solr的更多信息，請查看以下參考資料:

Solr參考指南(確保您將參考指南的版本與您的Solr版本匹配)

也可以參考一些額外的資源

總結(jié)

以上是生活随笔為你收集整理的solr6 java_Solr6 快速入门教程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。