狼廠項目實踐：通用檢索框架準實時流的設計與實現

背景 檢索對實時性的要求很高，不僅是對索引建立、結果召回、策略干擾等核心部分，也包括數據錄入的部分。檢索的數據流主要包括全量數據與增量數據，其中全量數據是在運行前就已經生成好的，在檢索進程運行開始時就直接解析加載了，後面不會再產生，所以不會對錄入有高實時性的需求；而增量數據理論上在整個檢索進程運行過程中隨時都可能新增，新增了就需要錄入。所以，提高增量數據錄入的實時性，對提升整個檢索的性能有重要作用

>>阅读原文<<