多模態融合算法——Multimodal Compact Bilinear Pooling

【摘要】 很多多模態任務,都需要融合兩個模態的特徵。特徵融合即輸入兩個模態的特徵向量,輸出融合後的向量。最常用的方法是拼接(concatenation)、按位乘(element-wise product)、按位加(element-wise sum)。MCB的作者認爲這些簡單的操作效果不如外積(outer product),不足以建模兩個模態間的複雜關係。但外積計算存在複雜度過高的問題。 Multi
相關文章
相關標籤/搜索