文章目錄

• • 1. Index API
  • 2. automatic index creation ( 自動創(chuàng)建索引 )
  • 3. Operation type ( 操作類型 )
  • 4. automatic ID generation ( 自動 ID 生成 )
  • 5. 樂觀鎖使用
  • 6. Routing ( 路由信息 )
  • 7. Distributed ( 分布式 )
  • 8. wait for active shards ( 等待活動分片 )
  • 9. Refresh ( 刷新 )
  • 10. Noop Updates
  • 11. Timeout ( 超時 )
  • 11. Versioning ( 版本控制 )
  • • 1. Version types ( 版本類型 )

1. Index API

索引 API 在特定索引中 add ( 添加 ) 或 update ( 更新 ) a typed JSON document ( 類型化的 JSON 文檔 )，使其可搜索。以下示例將 JSON 文檔插入到 “twitter” 索引中，ID 為1 ：

curl -XPUT 'localhost:9200/tweet/_doc/1?pretty' -H 'Content-Type: application/json' -d' {"user" : "kimchy","post_date" : "2009-11-15T14:12:12","message" : "trying out Elasticsearch" } '

上邊的索引操作結(jié)果為：

{"_shards" : {"total" : 2,"failed" : 0,"successful" : 2},"_index" : "twitter","_type" : "_doc","_id" : "1","_version" : 1,"created" : true,"result" : created }

_shards header 提供有關(guān)索引操作的復(fù)制過程的信息。

total - 指示應(yīng)對多少 shard copies ( 分片副本 )（ primary ( 主 )分片和 replica ( 副本 ) 分片）執(zhí)行索引操作。
successful - 表示索引操作成功的分片副本的數(shù)量。
failed - 在索引操作在副本碎片上失敗的情況下包含與復(fù)制相關(guān)的錯誤的數(shù)組。
在 successful 至少為 1 的情況下索引操作成功。

注意事項

當(dāng)索引操作 successful 返回時，并不一定所有的replica shard都啟動了（默認(rèn)情況下，只需要primary shard是必須的，但可以更改此行為）。在這種情況下， total 將等于基于 number_of_replicas 設(shè)置的總分片(也就是理論上的shard數(shù)量)，并且 successful 將等于已啟動的分片數(shù)（主副本和已經(jīng)啟動的副本）。如果沒有失敗， failed 將是 0 。

2. automatic index creation ( 自動創(chuàng)建索引 )

如果索引操作尚未創(chuàng)建，則索引操作自動創(chuàng)建索引（check out 用于手動創(chuàng)建索引的 create index API），并且如果尚未創(chuàng)建，則自動為特定類型創(chuàng)建 dynamic type mapping( 動態(tài)類型映射 )（check out put mapping API 用于手動創(chuàng)建類型映射）。

mapping ( 映射 ) 本身非常靈活，并且是 schema-free ( 無模式的 )。New fields ( 新字段 ) 和 objects ( 對象 )將自動添加到指定類型的映射定義。查看映射部分以獲取有關(guān)映射定義的更多信息。

可以通過在所有節(jié)點的配置文件中將 action.auto_create_index 設(shè)置為 false 來禁用 自動創(chuàng)建索引。可以通過將index mapping.dynamic 設(shè)置為 false 來禁用當(dāng)前索引自動映射創(chuàng)建。

自動索引創(chuàng)建可以包括 a pattern based white/black list ( 基于模式的 白/黑 列表 )，例如，設(shè)置

action.auto_create_index to +aaa,-bbb,+ccc,- （ + 表示 允許，- 表示不允許）。

PUT _cluster/settings {"persistent": {"action.auto_create_index": "twitter,index10,-index1*,+ind*" } }PUT _cluster/settings {"persistent": {"action.auto_create_index": "false" } }PUT _cluster/settings {"persistent": {"action.auto_create_index": "true" } }

3. Operation type ( 操作類型 )

除了允許 “put-if-absent” 行為,index操作還接受可用于強制創(chuàng)建操作的 op_type，使用 create 時，如果索引中已存在該標(biāo)識的文檔，索引操作將失敗。

下面是使用 op_type 參數(shù)的示例：

curl -XPUT 'localhost:9200/twitter/_doc/1?op_type=create&pretty' -H 'Content-Type: application/json' -d' {"user" : "kimchy","post_date" : "2009-11-15T14:12:12","message" : "trying out Elasticsearch" } '

指定 create 的另一個選項是使用以下 uri ：

curl -XPUT 'localhost:9200/twitter/_doc/1/_create?pretty' -H 'Content-Type: application/json' -d' {"user" : "kimchy","post_date" : "2009-11-15T14:12:12","message" : "trying out Elasticsearch" } '

4. automatic ID generation ( 自動 ID 生成 )

可以在不指定 ID 的情況下執(zhí)行索引操作。在這種情況下，將自動生成 id 。此外，op_type 將自動設(shè)置為 create 。這里是一個例子（注意 POST 使用，而不是 PUT）：

curl -XPOST 'localhost:9200/twitter/_doc/?pretty' -H 'Content-Type: application/json' -d' {"user" : "kimchy","post_date" : "2009-11-15T14:12:12","message" : "trying out Elasticsearch" } '

上述索引操作的結(jié)果是：

{"_shards" : {"total" : 2,"failed" : 0,"successful" : 2},"_index" : "twitter","_type" : "_doc","_id" : "6a8ca01c-7896-48e9-81cc-9f70661fcb32","_version" : 1,"created" : true,"result": "created" }

5. 樂觀鎖使用

索引操作可以是有條件來控制的，可以控制僅在文檔的最后一次因為修改分配的_seq_no和_primary_term 參數(shù)和請求時傳進(jìn)來的if_seq_no和if_primary_term參數(shù)相等的情況下才能執(zhí)行操作。如果檢測到不匹配，則該操作將導(dǎo)致VersionConflictException和狀態(tài)碼409。有關(guān)更多詳細(xì)信息，請參見樂觀并發(fā)控制。

PUT products/_doc/1567?if_seq_no=362&if_primary_term=2 {"product" : "r2d2","details" : "A resourceful astromech droid","tags": ["droid"] }

6. Routing ( 路由信息 )

默認(rèn)情況下，請求分發(fā)到那個分片(routing 路由 ) ——通過使用文檔的 id 值的哈希值來控制。對于更明確的控制，饋送到由路由使用的散列函數(shù)的值可以使用路由參數(shù)基于每個操作直接指定。例如：

curl -XPOST 'localhost:9200/twitter/_doc?routing=kimchy&pretty' -H 'Content-Type: application/json' -d' {"user" : "kimchy","post_date" : "2009-11-15T14:12:12","message" : "trying out Elasticsearch" } '

在上面的示例中，“tweet” 文檔根據(jù)提供的 routing parameter ( 路由參數(shù) ) kimchy發(fā)送到 shard ( 分片 ) .

如果顯示的設(shè)置mapping的話，也可以指定使用doc的某個一個字段來作為routing,如果過設(shè)置了_routing mapping 請求的時候沒有rounting value或者無法從文檔中提取routing value，則請求會報錯

7. Distributed ( 分布式 )

索引操作基于其路由定向到 primary shard ( 主分片 ) （參見上面的路由部分），并在包含此分片的實際節(jié)點上執(zhí)行。在主分片完成操作后，如果需要，將更新分發(fā)到適用的副本。

8. wait for active shards ( 等待活動分片 )

為了提高寫入系統(tǒng)的 resiliency ( 彈性 )，索引操作可以配置為在繼續(xù)操作之前等待一定數(shù)量的活動分片副本。如果所需的活動分片副本數(shù)不可用，則寫操作必須等待并重試，直到必需的分片副本已啟動或發(fā)生超時為止。默認(rèn)情況下，寫操作只等待主分片處于活動狀態(tài)，然后再繼續(xù)（wait_for_active_shards=1）。可以通過設(shè)置 index.write.wait_for_active_shards 來動態(tài)地在索引設(shè)置中覆蓋此默認(rèn)值。要更改每個操作的此行為，可以使用 wait_for_active_shards 請求參數(shù)。

有效值是所有或任何正整數(shù)，直到索引中每個分片的配置副本的總數(shù)（即 number_of_replicas+1）。指定負(fù)值或者大于分片副本數(shù)的數(shù)字將拋出錯誤。

例如，假設(shè)我們有一個三個節(jié)點A，B和C的集群，我們創(chuàng)建一個索引，索引副本數(shù)設(shè)置為 3 （導(dǎo)致 4 個 shard 副本，比節(jié)點多一個副本）。如果我們嘗試索引操作，默認(rèn)情況下，操作將僅確保每個分片的主副本在繼續(xù)之前可用。這意味著，即使 B 和 C 下降，并且 A 托管主分片副本，索引操作仍然將繼續(xù)只有一個數(shù)據(jù)副本。如果對請求設(shè)置 wait_for_active_shards 設(shè)置為 3 （并且所有3個節(jié)點都已啟動），則索引操作將在繼續(xù)之前需要 3 個活動分片副本，這是應(yīng)該滿足的要求，因為在集群有3個活動節(jié)點，每個節(jié)點有一個碎片的副本。但是，如果我們將 wait_for_active_shards 設(shè)置為 all （或者 4， 這是相同的），索引操作將不會繼續(xù)，因為索引中的每個碎片的所有的 4 個副本沒有處于活動狀態(tài)。該操作將超時，除非在集群中啟動新節(jié)點以托管分片的第四個副本。

重要的是要注意，這個設(shè)置極大地減少了寫操作不寫入所需數(shù)量的分片副本的機會，但是它不能完全消除可能性，因為這種檢查在寫操作開始之前發(fā)生。一旦寫操作正在進(jìn)行，復(fù)制仍然可能在任意數(shù)量的 shard 副本上失敗，但在主數(shù)據(jù)庫上仍然成功。寫操作響應(yīng)的 _shard 部分顯示復(fù)制成功/失敗的分片副本的數(shù)量。

{"_shards" : {"total" : 2,"failed" : 0,"successful" : 2} }

9. Refresh ( 刷新 )

控制此請求所做的更改對搜索可見。請參閱 刷新 。

10. Noop Updates

當(dāng)使用索引 API 更新文檔時，即使文檔沒有更改，也始終創(chuàng)建新版本的文檔。如果不想這樣，請在使用_update API的時候?qū)?detect_noop 設(shè)置為 true 。此選項在index API 上不可用，因為index api doesn’t fetch the old source ( 不提取舊源 )，并且無法將其與 new source ( 新源 ) 進(jìn)行比較。

沒有一個強制和快速的規(guī)則來判定 noop 更新是不是應(yīng)該使用。它是許多因素的組合，例如發(fā)送noops 的更新的頻率，以及每秒有多少次請求。

11. Timeout ( 超時 )

執(zhí)行索引操作時分配的 primary shard ( 主分片 ) 可能不可用。這種情況的一些原因可能是主分片當(dāng)前正在從 gateway ( 網(wǎng)關(guān) ) 恢復(fù)或正在進(jìn)行重定位。默認(rèn)情況下，索引操作將在主分片上等待最多 1 分鐘，然后失敗并響應(yīng)錯誤。 timeout 參數(shù)可以用于顯式指定等待時間。以下是將其設(shè)置為 5 分鐘的示例：

curl -XPUT 'localhost:9200/twitter/_doc/1?timeout=5m&pretty' -H 'Content-Type: application/json' -d' {"user" : "kimchy","post_date" : "2009-11-15T14:12:12","message" : "trying out Elasticsearch" } '

11. Versioning ( 版本控制 )

目前version是一個update的標(biāo)識，可以是外部的或者是內(nèi)部的，但是已經(jīng)不建議用來作為并發(fā)控制了，而是建議使用if_seq_no和if_primary_term參數(shù)來進(jìn)行并發(fā)控制
每個索引的文檔都有一個版本號。默認(rèn)情況下，使用內(nèi)部版本控制，該版本從1開始，并隨著每次更新（包括刪除）而遞增。可以選擇將版本號設(shè)置為外部值（例如，如果維護(hù)在數(shù)據(jù)庫中）。要啟用此功能，應(yīng)將version_type設(shè)置為external。提供的值必須是大于或等于0且小于9.2e + 18左右的數(shù)字長值。

使用外部版本類型時，系統(tǒng)檢查以查看傳遞給索引請求的版本號是否大于當(dāng)前存儲文檔的版本。如果為true，將為文檔建立索引并使用新的版本號。如果提供的值小于或等于存儲的文檔的版本號，則將發(fā)生版本沖突，并且索引操作將失敗

PUT twitter/_doc/1?version=2&version_type=external {"message" : "elasticsearch now has versioning support, double cool!" }

注意：

version是完全實時的，并且不受搜索操作的 near real time( 近實時 ) 方面的影響。如果沒有提供版本，則在沒有任何版本檢查的情況下執(zhí)行操作。

對于上面的操作，由于提供的版本2高于當(dāng)前文檔版本1，因此以上操作將成功。如果文檔已更新且其版本設(shè)置為2或更高，則索引命令將失敗并導(dǎo)致沖突（409 HTTP狀態(tài)碼）。

使用external version一個很好的作用是，只要使用源數(shù)據(jù)庫中的版本號(目標(biāo)是要將源數(shù)據(jù)中的version導(dǎo)入到es當(dāng)中)，就不需要維護(hù)由于對源數(shù)據(jù)庫進(jìn)行更改而執(zhí)行的異步索引操作的嚴(yán)格順序。如果使用外部版本控制，即使使用數(shù)據(jù)庫中的數(shù)據(jù)更新Elasticsearch索引的簡單情況也得以簡化，因為如果索引操作由于任何原因而亂序出現(xiàn)，則僅使用最新版本。

1. Version types ( 版本類型 )

在上邊解釋的 internal ( 內(nèi)部 ) 和 external ( 外部 ) 版本類型旁邊，Elasticsearch 還支持特定用例的其他類型。這里是不同版本類型及其語義的概述。

** 1. internal**

僅在給定版本與存儲的文檔的版本相同時索引文檔。

** 2. external 或 external_gt **

如果給定版本嚴(yán)格高于存儲的文檔的版本或如果沒有現(xiàn)有文檔，則僅索引文檔。給定版本將用作新版本，并與新文檔一起存儲。提供的版本必須是 non-negative long number ( 非負(fù)長數(shù)字 ) 。

** 3. external_gte **

如果給定版本 等于 或者 高于 存儲的文檔的版本，則僅索引文檔。如果沒有現(xiàn)有文檔，操作也將成功。給定版本將用作新版本，并與新文檔一起存儲。提供的版本必須是 non-negative long number ( 非負(fù)長數(shù)字 )。

注意：

external_gte 版本類型適用于特殊用例，應(yīng)謹(jǐn)慎使用。如果使用不正確，可能會導(dǎo)致數(shù)據(jù)丟失。還有一個選項，force ，它也被棄用，因為它可能導(dǎo)致主分片和副本分片。

總結(jié)

以上是生活随笔為你收集整理的03.elasticsearch_index操作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。