BERT可視化工具bertviz體驗

BERT可視化工具體驗：bertviz是用於BERT模型注意力層的可視化頁面。

1，bertviz的github地址：https://github.com/jessevig/bertviz

2，將bertviz項目clone到本地，啓動Jupyter notebbok。

D:\PycharmProjects\bertviz-master>jupyter notebook

3，bertviz可視化頁面分別包括bertviz_detail.ipynb、bertviz_map.ipynb  、bertviz_summary.ipynb頁面。

 

4，BERT bertviz的可視化頁面效果以下： 

 

 

 

 

 

5，BERT可視化內容參考連接：

https://github.com/tensorflow/tensor2tensor
https://github.com/huggingface/pytorch-pretrained-BERT
https://colab.research.google.com/drive/1vlOJ1lhdujVjfH857hvYKIdKPTD9Kid8
https://towardsdatascience.com/deconstructing-bert-distilling-6-patterns-from-100-million-parameters-b49113672f77
https://towardsdatascience.com/deconstructing-bert-part-2-visualizing-the-inner-workings-of-attention-60a16d86b5c1?gi=88e6da975567
---------------------
做者：段智華
來源：CSDN
原文：https://blog.csdn.net/duan_zhihua/article/details/87388646
版權聲明：本文爲博主原創文章，轉載請附上博文連接！