Milvus 高性能向量搜索引擎已經開源了。GitHub Repo:https://github.com/milvus-io/milvus (或點擊閱讀原文查看)。git
Milvus 可以幫助用戶輕鬆應對海量非結構化數據(圖片/視頻/語音/文本)檢索。單節點 Milvus 能夠在秒內完成十億級的向量搜索,分佈式架構亦能知足用戶的水平擴展需求。github
18位貢獻者;3,600次commit;5個release迭代;近一年的深刻調研與密集開發;以及無數根頭髮,共同見證了Milvus的研發歷程。微信
一路走來,Milvus 已被10多家科技公司使用,助力互聯網娛樂(圖片搜索/視頻搜索)、新零售(以圖搜商品)、智慧金融(用戶認證)和智能物流(車輛識別)等領域。架構
咱們將 Milvus 全面開源,但願幫助更多的用戶應對非結構數據和AI帶來的機遇與挑戰。框架
數據智能的挑戰分佈式
隨着信息化技術的不斷進步,人們正經歷爆炸式的數據增加。非結構數據(如圖片、視頻、語音和文字)比傳統的結構化數據增加更快,數據量更大。之因此稱其爲非結構數據,是由於這些數據沒法以傳統方式進行處理與價值挖掘。如何從非結構數據中提取有價值的內容與信息,已經逐漸成爲企業進一步挖掘數據價值的關鍵。性能
非結構數據的向量化學習
深度學習目前被認爲是最有效的非結構數據處理方式之一。非結構數據通過深度學習模型的處理,會被向量化。因而,海量非結構數據的分析處理被轉化爲對海量向量的近似搜索。雖然處理圖片,視頻,語音和文字的深度學習模型各不相同,但最終的向量處理需求倒是相同的。所以,向量搜索引擎是AI應用的基石之一。優化
次世代非結構數據分析處理平臺ui
Milvus 應運而生!
Milvus,開源AI基礎組件
Milvus是一個開源的分佈式向量搜索引擎。Milvus不但集成了業界成熟的向量類似度搜索技術,更在此基礎上對高性能計算框架進行了大幅度優化。Milvus爲AI應用開發者帶來了以下價值:
高性能
Milvus爲海量向量搜索場景而設計。Milvus不但集成了業界成熟的向量搜索技術如Faiss和SPTAG,Milvus也實現了高效的NSG圖索引。同時,Milvus團隊針對Faiss IVF索引進行了深度優化,實現了CPU與多GPU的融合計算,大幅提升了向量搜索性能。Milvus能夠在單機環境下完成SIFT1b十億級向量搜索任務。
更多信息請參考 GitHub 文檔:https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md
智能索引
針對不一樣應用場景,Milvus提供多種向量類似度計算方式和索引類型。Milvus目前支持主流的歐式距離、點積、餘弦類似度(將來Milvus會集成更多的類似度計算方式)。同時,Milvus提供適用於n:N查詢的量化索引,適用於1:N查詢的圖索引或樹圖混合索引。
易於開發
Milvus爲用戶提供向量數據管理服務,以及集成的應用開發SDK(Java/Python/C++/RESTful API)。相比直接調用Faiss和SPTAG那樣的程序庫,Milvus上的應用開發更便捷,數據管理更簡單。
計算成本可控
Milvus不只提供傳統的CPU計算方案,經過引入GPU等高算力ASIC,Milvus能夠有效下降大規模向量搜索所需的硬件規模,從而下降系統的成本。
應用場景普遍
Milvus向量搜索引擎能夠對接包括圖片識別,視頻處理,聲音識別,天然語言處理等深度學習模型。爲向量化後的非結構數據提供搜索分析服務。
Milvus 索引類型
IVF:Faiss IVF(CPU計算,或GPU計算),Milvus深度優化的IVF(CPU/GPU混合計算)
Graph:Milvus實現的NSG索引
Tree & Graph:集成微軟SPTAG
IVF & Graph:Milvus實現中
歡迎加入Milvus社區
主頁: milvus.io
Github:github.com/milvus-io/milvus
知乎: zhuanlan.zhihu.com/milvus
Slack: milvusio.slack.com
Twitter:twitter.com/milvusio
Facebook:www.facebook.com/io.milvus.5
© 2019 ZILLIZ™
本文分享自微信公衆號 - ZILLIZ(Zilliztech)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。