知識圖譜最新權威綜述論文解讀：知識圖譜應用部分

知識圖譜在人工智能的許多領域都發揮了重要做用，綜述論文的這一章引入多個最新的基於深度學習的知識驅動方法，主要包括的應用領域有天然語言理解，推薦系統和問答系統。web

1 天然語言理解微信

知識感知的天然語言理解經過將結構化的知識注入一個統一的語義空間中來提升語言表示能力。最新的知識驅動方法將顯式的事實知識和隱式的語言表示用於許多天然語言理解任務中。Chen等人[1] 提出了在兩個知識圖譜上的雙圖隨機遊走方法，這兩個知識圖譜是基於槽的語義知識圖譜和基於詞的詞彙知識圖譜，以考慮口語理解中的內部槽關係。Wang等人 [2] 利用加權的詞-概念嵌入表示，以基於知識的概念化策略加強了短文本表示學習性能。Peng等人[3] 集成了外部知識庫，以創建用於短社交文本中事件分類的異構信息圖譜。網絡

語言建模做爲基本的NLP任務，須要預測給定的一段文本序列的下一個單詞。傳統語言建模沒有利用文本語料庫中常常觀察到的實體信息來引入事實知識。如何將知識融入到語言表示中已引發愈來愈多的關注。知識圖譜語言模型（KGLM）[4] 經過選擇和複製實體來學習知識。ERNIE-Tsinghua [5] 經過結合預訓練和隨機masking來融合有價值的實體。BERT-MK [6] 編碼圖譜的上下文知識，並專一於醫療語料庫。ERNIEBaidu[7] 引入了命名實體masking和短語masking機制以將知識集成到語言模型中，並進一步經過持續的多任務學習改進爲ERNIE 2.0 [8]。從新思考語言模型的大規模訓練和知識圖譜的檢索，Petroni等人[9] 對語言模型和知識庫進行了分析，發現某些事實知識能夠經過預訓練語言模型獲得。app

2 問答系統dom

問答系統應該是知識圖譜主要的應用場景之一。基於知識圖譜的問答（KGQA）是用知識圖譜中的事實來回答天然語言問題。基於神經網絡的KGQA方法在分佈式語義空間中表示問題和答案，有些方法還將符號知識注入以進行常識推理。KGQA方法分爲單一事實問答和多步推理問答。分佈式

2.1 單一事實問答工具

單一事實問答是以知識圖譜爲外部信息源，面向經過單個知識圖譜中的事實就能夠回答的簡單問題。Bordes等人[10] 利用記憶網絡將知識庫做爲外部記憶用於簡單的問答。Dai等人[11] 提出了一種帶有注意力剪枝的條件注意力神經網絡，以減小搜索空間。爲了以人們更能理解的方式生成天然語言答案，COREAQ[12] 引入了複製和檢索機制，以seq2seq的方式生成平滑天然的回答，這裏，從給定問題中複製或從知識圖譜中檢索獲得語料庫詞彙，並從中預測出答案。BAMnet[13]採用雙向注意機制對問題和知識圖譜之間的雙向交互進行建模。性能

雖然深度學習技術在KGQA中獲得了普遍的應用，但它們不可避免地增長了模型的複雜性。Mohammed等人[14]經過對有無神經網絡的簡單KGQA模型進行評估，發現複雜的深度學習模型，如LSTM和帶有啓發式的門控遞歸單元（GRU），達到了最早進的水平，非神經模型也取得了至關好的性能。學習

2.2 多跳推理編碼

這些基於神經網絡的方法經過與神經編解碼模型的結合獲得了改進，但要處理複雜的多跳關係須要更特殊的設計才能進行多跳常識推理。結構化知識提供了豐富的常識信息，並充當了關係概括誤差，這推進了近年來在符號空間和語義空間之間進行常識知識融合的多跳推理研究。Bauer等人[15] 提出了雙向注意力和指針生成解碼器，用於有效的多跳推理和答案生成，其中外部常識知識經過ConceptNet中對關係路徑進行選擇獲得。變分推理網絡（VRN）[16] 經過reasoning-graph嵌入技術進行多跳邏輯推理，同時可以解決主題實體識別中的不肯定性問題。KagNet[17] 從ConceptNet中構建模式子圖，並經過GCN、LSTM和基於層次路徑的注意力機制來學習基於路徑的關係表示。CogQA[18] 將隱式抽取和顯式推理相結合，提出了一種基於BERT和GNN的多跳QA認知圖譜模型。

3 推薦系統

知識圖譜的另外一個重要應用就是推薦系統。傳統的推薦系統主要是利用用戶的歷史信息進行協同過濾的方法。然而，這類方法每每沒法解決稀疏性問題和冷啓動問題。將知識圖譜做爲外部信息進行集成，使推薦系統具備常識推理的能力。經過注入知識圖譜中的實體、關係和屬性，許多工做致力於利用基於嵌入的正則化來改進推薦系統。協同CKE[19] 經過基於翻譯思想的KGE模型（如TransE）和堆疊的自編碼器來聯合訓練KGE、item的文本信息和視覺內容。MKR[20]經過特徵共享和建模高階項目-實體關聯，將多任務知識圖譜表示和推薦聯繫起來。KPRN[21] 將用戶和項目之間的交互視爲知識圖譜中的實體-關係路徑，並使用LSTM對該路徑進行偏好推斷，以捕捉順序依賴性。PGPR[22] 在基於知識圖譜的用戶-項目交互上執行強化學習策略引導的路徑推理。KGAT [23] 將圖注意力網絡應用於實體-關係圖譜和用戶-項目圖譜的協同知識圖譜上，以經過嵌入傳播和基於注意力的聚合操做來編碼多跳關係。

參考文獻

[1] Y.-N.Chen, W. Y. Wang, and A. Rudnicky, 「Jointly modeling inter-slot relations by random walk on knowledge graphs for unsupervised spoken language understanding,」 in NAACL, 2015, pp. 619–629.

[2] J.Wang, Z. Wang, D. Zhang, and J. Yan, 「Combining knowledge with deep convolutional neural networks for short text classification.」 in IJCAI, 2017,pp. 2915–2921.

[3] H.Peng, J. Li, Q. Gong, Y. Song, Y. Ning, K. Lai, and P. S. Yu, 「Fine-grained event categorization with heterogeneous graph convolutional networks,」 inIJCAI, 2019, pp. 3238–3245.

[4] R.Logan, N. F. Liu, M. E. Peters, M. Gardner, and S. Singh, 「Barack’s wife hillary: Using knowledge graphs for fact-aware language modeling,」 in ACL,2019, pp. 5962–5971.

[5] Z.Zhang, X. Han, Z. Liu, X. Jiang, M. Sun, and Q. Liu, 「ERNIE: Enhanced language representation with informative entities,」 in ACL, 2019, pp. 1441–1451.

[6] B.He, D. Zhou, J. Xiao, Q. Liu, N. J. Yuan, T. Xu et al., 「Integrating graph contextualized knowledge into pre-trained language models,」 arXiv preprintarXiv:1912.00147, 2019.

[7] Y.Sun, S. Wang, Y. Li, S. Feng, X. Chen, H. Zhang, X. Tian, D. Zhu, H. Tian, andH. Wu, 「ERNIE: Enhanced representation through knowledge integration,」 arXiv preprint arXiv:1904.09223, 2019.

[8] Y.Sun, S. Wang, Y. Li, S. Feng, H. Tian, H. Wu, and H. Wang, 「ERNIE 2.0: A continual pre-training framework for language understanding,」 in AAAI, 2020.

[9] F.Petroni, T. Rocktaschel, S. Riedel, P. Lewis, A. Bakhtin, Y. Wu, ¨ and A.Miller, 「Language models as knowledge bases?」 in EMNLP-IJCNLP, 2019, pp.2463–2473.

[10] Bordes,N. Usunier, S. Chopra, and J. Weston, 「Large-scale simple question answering with memory networks,」 arXiv preprint arXiv:1506.02075, 2015.

[11] Z.Dai, L. Li, and W. Xu, 「CFO: Conditional focused neural question answering with large-scale knowledge bases,」 in ACL, vol. 1, 2016, pp. 800–810.

[12] S.He, C. Liu, K. Liu, and J. Zhao, 「Generating natural answers by incorporating copying and retrieving mechanisms in sequence-to-sequence learning,」 in ACL,2017, pp. 199–208.

[13] Y.Chen, L. Wu, and M. J. Zaki, 「Bidirectional attentive memory networks for question answering over knowledge bases,」 in NAACL, 2019, pp. 2913–2923.

[14] S.Mohammed, P. Shi, and J. Lin, 「Strong baselines for simple question answering over knowledge graphs with and without neural networks,」 in NAACL, 2018, pp.291–296.

[15] L.Bauer, Y. Wang, and M. Bansal, 「Commonsense for generative multi-hop question answering tasks,」 in EMNLP, 2018, pp. 4220– 4230.

[16] Y.Zhang, H. Dai, Z. Kozareva, A. J. Smola, and L. Song, 「Variational reasoning for question answering with knowledge graph,」 in AAAI, 2018, pp. 6069–6076.

[17] B.Y. Lin, X. Chen, J. Chen, and X. Ren, 「KagNet: Knowledgeaware graph networks for commonsense reasoning,」 in EMNLPIJCNLP, 2019, pp. 2829–2839.

[18] M.Ding, C. Zhou, Q. Chen, H. Yang, and J. Tang, 「Cognitive graph for multi-hop reading comprehension at scale,」 in ACL, 2019, pp. 2694–2703.

[19] F.Zhang, N. J. Yuan, D. Lian, X. Xie, and W.-Y. Ma, 「Collaborative knowledge base embedding for recommender systems,」 in SIGKDD, 2016, pp. 353–362.

[20] H.Wang, F. Zhang, M. Zhao, W. Li, X. Xie, and M. Guo, 「Multi-task feature learning for knowledge graph enhanced recommendation,」 in WWW, 2019, pp.2000–2010.

[21] X.Wang, D. Wang, C. Xu, X. He, Y. Cao, and T.-S. Chua, 「Explainable reasoning over knowledge graphs for recommendation,」 in AAAI, vol. 33, 2019, pp.5329–5336.

[22] Y.Xian, Z. Fu, S. Muthukrishnan, G. de Melo, and Y. Zhang, 「Reinforcement knowledge graph reasoning for explainable recommendation,」 in SIGIR, 2019.

[23] X.Wang, X. He, Y. Cao, M. Liu, and T.-S. Chua, 「KGAT: Knowledge graph attentionnetwork for recommendation,」 in SIGKDD, 2019, pp. 950–958.

往期精選：

若是您對文章感興趣歡迎關注微信公衆號「人工智能趕上知識圖譜」，也歡迎關注同名知乎專欄「人工智能趕上知識圖譜「，讓咱們一塊兒學習並交流討論人工智能與知識圖譜技術。

長按二維碼｜ 關注咱們

微信號 : AIKGbyzeyu

知乎專欄 : 人工智能趕上知識圖譜

本文分享自微信公衆號 - 人工智能趕上知識圖譜（AIKGbyzeyu）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。