soft和hard的理解

soft attention/hard attention soft attention輸出注意力分佈的概率值,hard attention 輸出onehot向量,  soft的優勢> hard 知識蒸餾(knowledge distill)和遷移學習
相關文章
相關標籤/搜索