基於自然語言中多模態融合

多模態融合學習路程 一、主體內容 設定一種新知識的輸入形式，單張圖片（利用卷積和神經網絡設計一種圖片相似性檢測模型，高於權重屬於同類圖片、處於一定權重區間則屬於該圖片結點的父節點、低於一定權重則無關）；單段文本可以直接沿用段落文本三元組抽取工具抽取和融合，或者自己改進一下；多模態的另一個圖譜則集成結點語義消歧融合、知識鏈匹配對齊這些算法實現。如果要用遷移學習你肯定得需要兩個數據集，爲了進行文本的三

>>阅读原文<<