向量距离计算 java_Milvus 向量搜索引擎开源了!
GitHub:https://github.com/milvus-io/milvus
Milvus 能夠幫助用戶輕松應對海量非結構化數據(圖片/視頻/語音/文本)檢索。單節點 Milvus 可以在秒內完成十億級的向量搜索,分布式架構亦能滿足用戶的水平擴展需求。
18位貢獻者;3,600次commit;5個release迭代;近一年的深入調研與密集開發;以及無數根頭發,共同見證了Milvus的研發歷程。
我們將 Milvus 全面開源,希望幫助更多的用戶應對非結構數據和AI帶來的機遇與挑戰。
數據智能的挑戰
隨著信息化技術的不斷進步,人們正經歷爆炸式的數據增長。非結構數據(如圖片、視頻、語音和文字)比傳統的結構化數據增長更快,數據量更大。之所以稱其為非結構數據,是因為這些數據無法以傳統方式進行處理與價值挖掘。如何從非結構數據中提取有價值的內容與信息,已經逐漸成為企業進一步挖掘數據價值的關鍵。
非結構數據的向量化深度學習目前被認為是最有效的非結構數據處理方式之一。非結構數據經過深度學習模型的處理,會被向量化。于是,海量非結構數據的分析處理被轉化為對海量向量的近似搜索。雖然處理圖片,視頻,語音和文字的深度學習模型各不相同,但最終的向量處理需求卻是相同的。因此,向量搜索引擎是AI應用的基石之一。
AI時代非結構數據分析處理平臺Milvus,開源AI基礎組件
Milvus是一個開源的分布式向量搜索引擎。Milvus不但集成了業界成熟的向量相似度搜索技術,更在此基礎上對高性能計算框架進行了大幅度優化。Milvus為AI應用開發者帶來了如下價值:
高性能
Milvus為海量向量搜索場景而設計。Milvus不但集成了業界成熟的向量搜索技術如Faiss和SPTAG,Milvus也實現了高效的NSG圖索引。同時,Milvus團隊針對Faiss IVF索引進行了深度優化,實現了CPU與多GPU的融合計算,大幅提高了向量搜索性能。Milvus可以在單機環境下完成SIFT1b十億級向量搜索任務。 更多信息請參考 GitHub 文檔:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md
智能索引
針對不同應用場景,Milvus提供多種向量相似度計算方式和索引類型。Milvus目前支持主流的歐式距離、點積、余弦相似度(未來Milvus會集成更多的相似度計算方式)。同時,Milvus提供適用于n:N查詢的量化索引,適用于1:N查詢的圖索引或樹圖混合索引。
易于開發
Milvus為用戶提供向量數據管理服務,以及集成的應用開發SDK(Java/Python/C++/RESTful API)。相比直接調用Faiss和SPTAG那樣的程序庫,Milvus上的應用開發更便捷,數據管理更簡單。
計算成本可控
Milvus不僅提供傳統的CPU計算方案,通過引入GPU等高算力ASIC,Milvus可以有效降低大規模向量搜索所需的硬件規模,從而降低系統的成本。
應用場景廣泛
Milvus向量搜索引擎可以對接包括圖片識別,視頻處理,聲音識別,自然語言處理等深度學習模型。為向量化后的非結構數據提供搜索分析服務。
Milvus整體架構Milvus索引類型:
- IVF:Faiss IVF(CPU計算,或GPU計算),Milvus深度優化的IVF(CPU/GPU混合計算)
- Graph:Milvus實現的NSG索引
- Tree & Graph:集成微軟SPTAG
- IVF & Graph:Milvus實現中
歡迎加入Milvus社區
- 主頁:https://milvus.io/
- Github:https://github.com/milvus-io/milvus
- 知乎:https://zhuanlan.zhihu.com/milvus
- Slack:https://milvusio.slack.com
- Twitter:https://twitter.com/milvusio
- Facebook:https://www.facebook.com/io.milvus.5
總結
以上是生活随笔為你收集整理的向量距离计算 java_Milvus 向量搜索引擎开源了!的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python 加密解密_python实现
- 下一篇: 线程安全的map_ThreadLocal