Beam-search

Beam search搜索策略是貪心策略和窮舉策略的一個折中方案，它在預測的每一步，都保留Top-k高概率的詞，作爲下一個時間步的輸入。k稱爲beam size，k越大，得到更好結果的可能性更大，但計算消耗也越大。請注意，這裏的Top-k高概率不僅僅指當前時刻的ytyt的最高概率，而是截止目前這條路徑上的累計概率之和，如下圖的公式所示。舉例如下，假設k=2k=2，第一個時間步保留Top-2的詞爲"

>>阅读原文<<