咱們把全球領先的向量搜索引擎 Milvus 開源了



Milvus 高性能向量搜索引擎已經開源了。GitHub Repo:https://github.com/milvus-io/milvus (或點擊閱讀原文查看)。git

Milvus 可以幫助用戶輕鬆應對海量非結構化數據(圖片/視頻/語音/文本)檢索。單節點 Milvus 能夠在秒內完成十億級的向量搜索,分佈式架構亦能知足用戶的水平擴展需求。github

18位貢獻者;3,600次commit;5個release迭代;近一年的深刻調研與密集開發以及無數根頭髮,共同見證了Milvus的研發歷程。微信

一路走來,Milvus 已被10多家科技公司使用,助力互聯網娛樂(圖片搜索/視頻搜索)、新零售(以圖搜商品)、智慧金融(用戶認證)和智能物流(車輛識別)等領域。架構

咱們將 Milvus 全面開源,但願幫助更多的用戶應對非結構數據和AI帶來的機遇與挑戰。框架


數據智能的挑戰分佈式

隨着信息化技術的不斷進步,人們正經歷爆炸式的數據增加。非結構數據(如圖片、視頻、語音和文字)比傳統的結構化數據增加更快,數據量更大。之因此稱其爲非結構數據,是由於這些數據沒法以傳統方式進行處理與價值挖掘。如何從非結構數據中提取有價值的內容與信息,已經逐漸成爲企業進一步挖掘數據價值的關鍵。性能

非結構數據的向量化學習


深度學習目前被認爲是最有效的非結構數據處理方式之一。非結構數據通過深度學習模型的處理,會被向量化。因而,海量非結構數據的分析處理被轉化爲對海量向量的近似搜索。雖然處理圖片,視頻,語音和文字的深度學習模型各不相同,但最終的向量處理需求倒是相同的。所以,向量搜索引擎是AI應用的基石之一。優化

次世代非結構數據分析處理平臺ui


Milvus 應運而生!


Milvus,開源AI基礎組件

Milvus是一個開源的分佈式向量搜索引擎。Milvus不但集成了業界成熟的向量類似度搜索技術,更在此基礎上對高性能計算框架進行了大幅度優化。Milvus爲AI應用開發者帶來了以下價值:

高性能

Milvus爲海量向量搜索場景而設計。Milvus不但集成了業界成熟的向量搜索技術如Faiss和SPTAG,Milvus也實現了高效的NSG圖索引。同時,Milvus團隊針對Faiss IVF索引進行了深度優化,實現了CPU與多GPU的融合計算,大幅提升了向量搜索性能。Milvus能夠在單機環境下完成SIFT1b十億級向量搜索任務。

更多信息請參考 GitHub 文檔:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md

智能索引

針對不一樣應用場景,Milvus提供多種向量類似度計算方式和索引類型。Milvus目前支持主流的歐式距離、點積、餘弦類似度(將來Milvus會集成更多的類似度計算方式)。同時,Milvus提供適用於n:N查詢的量化索引,適用於1:N查詢的圖索引或樹圖混合索引。


易於開發

Milvus爲用戶提供向量數據管理服務,以及集成的應用開發SDK(Java/Python/C++/RESTful API)。相比直接調用Faiss和SPTAG那樣的程序庫,Milvus上的應用開發更便捷,數據管理更簡單。


計算成本可控

Milvus不只提供傳統的CPU計算方案,經過引入GPU等高算力ASIC,Milvus能夠有效下降大規模向量搜索所需的硬件規模,從而下降系統的成本。


應用場景普遍

Milvus向量搜索引擎能夠對接包括圖片識別,視頻處理,聲音識別,天然語言處理等深度學習模型。爲向量化後的非結構數據提供搜索分析服務。



Milvus 索引類型

IVF:Faiss IVF(CPU計算,或GPU計算),Milvus深度優化的IVF(CPU/GPU混合計算)

Graph:Milvus實現的NSG索引

Tree & Graph:集成微軟SPTAG

IVF & Graph:Milvus實現中


歡迎加入Milvus社區

主頁: milvus.io

Github:github.com/milvus-io/milvus

知乎: zhuanlan.zhihu.com/milvus

Slack: milvusio.slack.com

Twitter:twitter.com/milvusio

Facebook:www.facebook.com/io.milvus.5

© 2019 ZILLIZ™

本文分享自微信公衆號 - ZILLIZ(Zilliztech)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。

相關文章
相關標籤/搜索