GitHub：https://github.com/milvus-io/milvus

Milvus 能夠幫助用戶輕松應(yīng)對海量非結(jié)構(gòu)化數(shù)據(jù)（圖片/視頻/語音/文本）檢索。單節(jié)點(diǎn) Milvus 可以在秒內(nèi)完成十億級的向量搜索，分布式架構(gòu)亦能滿足用戶的水平擴(kuò)展需求。

18位貢獻(xiàn)者；3,600次commit；5個(gè)release迭代；近一年的深入調(diào)研與密集開發(fā)；以及無數(shù)根頭發(fā)，共同見證了Milvus的研發(fā)歷程。

我們將 Milvus 全面開源，希望幫助更多的用戶應(yīng)對非結(jié)構(gòu)數(shù)據(jù)和AI帶來的機(jī)遇與挑戰(zhàn)。

數(shù)據(jù)智能的挑戰(zhàn)

隨著信息化技術(shù)的不斷進(jìn)步，人們正經(jīng)歷爆炸式的數(shù)據(jù)增長。非結(jié)構(gòu)數(shù)據(jù)（如圖片、視頻、語音和文字）比傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)增長更快，數(shù)據(jù)量更大。之所以稱其為非結(jié)構(gòu)數(shù)據(jù)，是因?yàn)檫@些數(shù)據(jù)無法以傳統(tǒng)方式進(jìn)行處理與價(jià)值挖掘。如何從非結(jié)構(gòu)數(shù)據(jù)中提取有價(jià)值的內(nèi)容與信息，已經(jīng)逐漸成為企業(yè)進(jìn)一步挖掘數(shù)據(jù)價(jià)值的關(guān)鍵。

非結(jié)構(gòu)數(shù)據(jù)的向量化

深度學(xué)習(xí)目前被認(rèn)為是最有效的非結(jié)構(gòu)數(shù)據(jù)處理方式之一。非結(jié)構(gòu)數(shù)據(jù)經(jīng)過深度學(xué)習(xí)模型的處理，會(huì)被向量化。于是，海量非結(jié)構(gòu)數(shù)據(jù)的分析處理被轉(zhuǎn)化為對海量向量的近似搜索。雖然處理圖片，視頻，語音和文字的深度學(xué)習(xí)模型各不相同，但最終的向量處理需求卻是相同的。因此，向量搜索引擎是AI應(yīng)用的基石之一。

AI時(shí)代非結(jié)構(gòu)數(shù)據(jù)分析處理平臺

Milvus，開源AI基礎(chǔ)組件

Milvus是一個(gè)開源的分布式向量搜索引擎。Milvus不但集成了業(yè)界成熟的向量相似度搜索技術(shù)，更在此基礎(chǔ)上對高性能計(jì)算框架進(jìn)行了大幅度優(yōu)化。Milvus為AI應(yīng)用開發(fā)者帶來了如下價(jià)值：

高性能

Milvus為海量向量搜索場景而設(shè)計(jì)。Milvus不但集成了業(yè)界成熟的向量搜索技術(shù)如Faiss和SPTAG，Milvus也實(shí)現(xiàn)了高效的NSG圖索引。同時(shí)，Milvus團(tuán)隊(duì)針對Faiss IVF索引進(jìn)行了深度優(yōu)化，實(shí)現(xiàn)了CPU與多GPU的融合計(jì)算，大幅提高了向量搜索性能。Milvus可以在單機(jī)環(huán)境下完成SIFT1b十億級向量搜索任務(wù)。 更多信息請參考 GitHub 文檔：https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md

智能索引

針對不同應(yīng)用場景，Milvus提供多種向量相似度計(jì)算方式和索引類型。Milvus目前支持主流的歐式距離、點(diǎn)積、余弦相似度（未來Milvus會(huì)集成更多的相似度計(jì)算方式）。同時(shí)，Milvus提供適用于n:N查詢的量化索引，適用于1:N查詢的圖索引或樹圖混合索引。

易于開發(fā)

Milvus為用戶提供向量數(shù)據(jù)管理服務(wù)，以及集成的應(yīng)用開發(fā)SDK（Java/Python/C++/RESTful API）。相比直接調(diào)用Faiss和SPTAG那樣的程序庫，Milvus上的應(yīng)用開發(fā)更便捷，數(shù)據(jù)管理更簡單。

計(jì)算成本可控

Milvus不僅提供傳統(tǒng)的CPU計(jì)算方案，通過引入GPU等高算力ASIC，Milvus可以有效降低大規(guī)模向量搜索所需的硬件規(guī)模，從而降低系統(tǒng)的成本。

應(yīng)用場景廣泛

Milvus向量搜索引擎可以對接包括圖片識別，視頻處理，聲音識別，自然語言處理等深度學(xué)習(xí)模型。為向量化后的非結(jié)構(gòu)數(shù)據(jù)提供搜索分析服務(wù)。

Milvus整體架構(gòu)

Milvus索引類型：

• IVF：Faiss IVF（CPU計(jì)算，或GPU計(jì)算），Milvus深度優(yōu)化的IVF（CPU/GPU混合計(jì)算）
• Graph：Milvus實(shí)現(xiàn)的NSG索引
• Tree & Graph：集成微軟SPTAG
• IVF & Graph：Milvus實(shí)現(xiàn)中

歡迎加入Milvus社區(qū)

• 主頁：https://milvus.io/
• Github：https://github.com/milvus-io/milvus
• 知乎：https://zhuanlan.zhihu.com/milvus
• Slack：https://milvusio.slack.com
• Twitter：https://twitter.com/milvusio
• Facebook：https://www.facebook.com/io.milvus.5

總結(jié)

以上是生活随笔為你收集整理的向量距离计算 java_Milvus 向量搜索引擎开源了！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。