BERT疑惑記錄
1、單個句子的任務，我們拿第一個cls向量，上面接一些全連接層,做一個分類，標註的數據 fine-tuningbert參數也包括全連接的一個參數，爲什麼選擇第一個？ bert任務還是預測這個詞，預測的時候會參考其他的詞，如eat本身還是吃的語義，直接根據eat去分類，顯然是不可以的，cls沒有太多其他詞的語義，所以它的語義完全來自其他的語義 來自整個句子，編碼了整個句子的語義，用它做可以，當然也可
相關文章
- 1. pytorch學習疑惑記錄01
- 2. 疑惑
- 3. 疑惑點答疑
- 4. Class.getDeclaredMethods()疑惑
- 5. OCP test 疑惑
- 6. xpath疑惑
- 7. require.js疑惑
- 8. loader疑惑
- 9. 一些疑惑
- 10. Atmel Studio疑惑
- 更多相關文章...
- • ADO 添加記錄 - ADO 教程
- • ADO 更新記錄 - ADO 教程
- • Tomcat學習筆記（史上最全tomcat學習筆記）
- • 使用阿里雲OSS+CDN部署前端頁面與加速靜態資源
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. pytorch學習疑惑記錄01
- 2. 疑惑
- 3. 疑惑點答疑
- 4. Class.getDeclaredMethods()疑惑
- 5. OCP test 疑惑
- 6. xpath疑惑
- 7. require.js疑惑
- 8. loader疑惑
- 9. 一些疑惑
- 10. Atmel Studio疑惑