這是一篇論文閱讀筆記。web
Modelling Context and Syntactical Features for Aspect-based Sentiment Analysis（https://www.aclweb.org/anthology/2020.acl-main.293/）算法
這是ACL2020上的一篇長文，做者來自澳大利亞伍倫港大學。（感受wollongong翻譯成臥龍崗更帶感）微信
在這篇文章中，做者沒有使用一個端到端的模型，而是對屬性詞抽取（AE）和屬性級情感分類（ASC）進行獨立的研究。在AE任務中，做者結合了roberta、詞法信息和句法信息；在ASC任務中，做者研究瞭如何在預訓練語言中更好地結合句子和屬性詞。app
CSAE：在AE中結合語法信息
做者將結合語法信息的AE任務稱爲CSAE（contextualized syntax-based AE）。在AE中使用語法信息的工做有不少，可是結合了預訓練語言模型的卻是頭次見。dom
以下圖所示，句子的表示由三部分構成，分別是BERT的輸出、由詞法信息獲得的表示和由句法信息獲得的表示。獲得句子的表示後，經過一個全鏈接層來預測相應的BIO字標籤。下面分別介紹如何編碼詞法信息和句法信息。編輯器
利用詞法信息 做者首先經過一個詞法分析的工具[1]來獲得句子對應的詞性標籤序列，而後經過一個嵌入矩陣將詞性轉化爲向量，接着輸入到自注意力層來建模詞性之間的依賴關係。這裏應該使用了位置嵌入（做者沒有提到，但我以爲這裏應該是要的）。工具
利用句法信息 句法信息的利用則是參考了14年的一篇工做[2]，這裏介紹一下其大體思路。在skip-gram模型中，單詞被用來預測上下文，上下文是經過一個窗口肯定的；而此工做任務認爲應該根據句法關係來肯定上下文，做者將這種上下文稱爲Dependency-Based Contexts。具體來講，首先對給定句子進行句法解析，獲得句法解析樹，而後將其中的介詞和關係進行合併，因而一個單詞的Dependency-Based Contexts即爲在樹中該詞的相鄰節點和關係。性能
LCFS-ASC：在ASC更好地結合句子和屬性詞
最先在naacl19上有兩篇工做在ASC任務中使用BERT，他們都是將句子和屬性詞拼接在一塊兒送入到BERT模型中。但考慮到屬性詞是出如今BERT模型中的，這樣的作法會有一些不妥。所以，仍是在19年，有研究者提出了LCF-BERT[3]。這篇文章所提出的LCFS-ASC和LCF-BERT的思路基本相同。學習
不妨記句子爲S，屬性詞爲A。稱[CLS]+S+[SEP]+A+[SEP]爲global context，而[CLS]+S+[SEP]爲local context。以下圖所示，將兩者分別輸入到BERT模型中進行編碼。爲了在local context引入屬性詞的信息，LCF-BERT中提出了兩種方法（CDM/CDW）進行Local Context Focus(LCF)。下面簡單介紹一下CDW和CDM。ui
CDM即爲context dynamic mask，是指根據與屬性詞之間的距離來屏蔽句子中的一些單詞；而徹底屏蔽某些單詞可能過於絕對，所以CDW（context dynamic weighting）則是按照與屬性詞之間的距離爲單詞賦予一個0到1之間的權重。具體的細節這裏再也不介紹。
LCFS-ASC即local context focus on syntax - ASC，與LCF-BERT的不一樣之處在於，在進行CDM/CDW時所使用的單詞之間的距離，再也不是經過位置計算，而是兩個單詞在句法解析樹中的距離。
實驗及分析
對於ASC任務，以下表所示，使用了LCFS的策略以後，模型性能有了很大的提升，而且CDW優於CDM；LCFS稍微優於LCF。
參考
-
^ Universal POS tags （https://universaldependencies.org/u/pos/） -
^Omer Levy and Yoav Goldberg. 2014. Dependencybased word embeddings. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 302–308. （https://www.aclweb.org/anthology/P14-2050/） -
^Biqing Zeng, Heng Yang, Ruyang Xu, Wu Zhou, and Xuli Han. 2019. Lcf: A local context focus mechanism for aspect-based sentiment classification. Applied Sciences, 9(16):3389. https://www.researchgate.net/publication/335238076_LCF_A_Local_Context_Focus_Mechanism_for_Aspect-Based_Sentiment_Classification
做者簡介：godweiyang，知乎同名，華東師範大學計算機系碩士在讀，方向天然語言處理與深度學習。喜歡與人分享技術與知識，期待與你的進一步交流~
個人微信：godweiyang。有任何問題均可以在評論區留言，也歡迎加我微信深刻溝通~
本文分享自微信公衆號 - 算法碼上來（GodNLP）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。