Beam-search

Beam search搜索策略是貪心策略和窮舉策略的一個折中方案,它在預測的每一步,都保留Top-k高概率的詞,作爲下一個時間步的輸入。k稱爲beam size,k越大,得到更好結果的可能性更大,但計算消耗也越大。請注意,這裏的Top-k高概率不僅僅指當前時刻的ytyt的最高概率,而是截止目前這條路徑上的累計概率之和,如下圖的公式所示。舉例如下,假設k=2k=2,第一個時間步保留Top-2的詞爲"
相關文章
相關標籤/搜索