跨媒體安全

網絡空間安全前沿技術介紹----跨媒體安全

傳統多媒體

• 特色
  • 獲取容易
  • 數據量大
  • 關聯度高

跨媒體大數據

• 交通監控
• 樓宇監控
• 24小時監控視頻雲備份服務
• 3D圖形
• 3D照相館
• 電子商務在線試衣

跨媒體大數據分析與計算

• 文本
• 音頻
• 圖像
• 視頻

• 3D

  位置等多種類型媒體與之相關的社會屬性信息混合在一塊兒，造成了跨媒體形式。

研究熱點

• 跨媒體時代的表達
• 跨媒體檢索和排序
• 面向跨媒體數據的因果推理
• 基於跨媒體分析的態勢感知

跨越的含義

• 不一樣類型數據之間的跨越
• 不一樣來源數據之間的跨越
• 信息空間與物理空間之間的跨越

安全問題

• 面向安全的跨媒體內容分析
• 跨媒體安全監控
• 有害內容的識別
• 跨媒體取證分析
• 跨媒體內容辨僞
• 基於跨媒體的信息安全技術
• 跨媒體信息隱藏
• 跨媒體驗證技術
• 跨媒體自身的信息安全技術
• 跨媒體版權保護
• 跨媒體安全存儲
• 跨媒體安全傳輸
• 跨媒體安全處理 可視密碼

研究背景與意義

• 雲端媒體安全監管
• 安全人臉識別
• 雲環境下的視頻監控

973面向公共安全的跨媒體計算理論與方法

關鍵科學問題之一：跨媒體數據統一表示和建模方法

跨媒體數據的天然屬性和社會屬性具備異構、多階、高維等特色，隨時間、空間動態變化。蘊含關聯性語義的異構屬性之間存在着內在一致、相互互補和動態演化等特性。基於類似度量學習和拓撲分析，發現這些異構特徵屬性之間所內嵌的本徵結構，經過圖、矩陣和張量等理論和方法創建跨媒體數據關聯性語義結構一致性描述，對高層語義進行總體性表達，最終實現跨媒體數據天然屬性、社會屬性以及交互行爲等上下文之間存在的複雜關係建模，是關鍵的科學問題。

關鍵科學問題之二：跨媒體數據關聯推理和深度挖掘

蘊含着相同語義、主題和事件的文本、圖像和視頻等跨媒體數據在不一樣網絡平臺上瞬時涌現，而後迅速傳播和演化，最終引起熱點話題。發現跨媒體數據與現實生活個體和羣體行爲之間的相互影響規律，揭示特定事件爲內容的跨媒體數據傳播與演化機制，對跨媒體數據所蘊含話題、事件和模式進行語義理解，創建跨媒體推理模型，挖掘話題、事件和模式之間的隱性關聯，進而對隨用戶交互及數據流式增長狀況下新話題、事件和模式的產生和遷移進行預測預警，是關鍵的科學問題。

關鍵科學問題之三：跨媒體數據綜合搜索和內容合成

跨媒體所蘊含的話題、事件和模式每每文本、圖像、視頻和空間位置等媒體數據從不一樣側面進行總體性表現。爲了充分利用海量跨媒體數據，須要理解用戶以天然語言和跨媒體樣例來表達的檢索意圖，研究考慮內容、質量和熱度等屬性的跨媒體排序方法和相關反饋機制，創建從一類媒體數據檢索另一類媒體數據的綜合檢索理論和方法。同時，析取跨媒體數據所蘊含的熱點話題中決定性因素和重要閾值，選擇重要性單詞、文本、圖像、視頻、空間位置和評價等，提取熱點話題的摘要及表明性語義單元，進一步經過類比和聯想等手段，合成潛在性熱點話題，對其進行多粒度和多視點回溯、仿真和預測，高效利用跨媒體數據。

跨媒體數據統一表示和建模機制

針對具備海量、異構、高維和多階特性跨媒體數據及其所具備社會屬性，研究跨媒體基元提取與描述方法，對跨媒體數據關聯性語義結構進行一致性描述，創建跨媒體數據中天然屬性和社會屬性相互關聯的模型，實現海量跨媒體高效索引。

內容：

• （1）跨媒體基元提取與描述
  研究具備異構、高維和多階特性跨媒體局部特徵和全局特徵之間映射機制，提取具備不變性的跨媒體基元元素，創建跨媒體對象特徵提取、描述理論和方法，使之既能充分表達跨媒體的語義內容，又便於構建海量跨媒體的索引結構。

• （2）跨媒體關聯性語義結構一致性描述
  研究跨媒體複雜異構特徵稀疏表示和選擇方法，構造不一樣類型屬性所造成的幾何拓撲結構，揭示跨媒體屬性特有的內嵌結構。在張量、矩陣和圖模型基礎上，深刻研究異構特徵之間存在的共享子空間，造成跨媒體數據關聯性語義結構一致性描述。研究基於上下文屬性的跨媒體度量學習方法。

• （3）跨媒體關聯建模
  研究跨媒體多任務學習的並行計算模型，揭示跨媒體多任務學習的協同耦合機制；研究跨媒體中所具有異質領域知識的遷移學習方法；利用圖模型對跨媒體多重屬性關係和實例關係進行建模；研究跨媒體模型時序動態演化機理。

• （4）跨媒體增量整合和高效索引
  面向動態變化的海量跨媒體流式數據，研究可伸縮跨媒體建模方法，突破和拓展處理海量、實時和流式跨媒體數據瓶頸問題；研究跨媒體高效索引方法和相應增量整合技術，創建緊湊、高效的索引結構，對跨媒體模型所反映關聯關係進行層次化增量整合。

跨媒體屬性感知模型與行爲計算

從不一樣網絡平臺上可獲取大量包含豐富天然屬性和社會屬性的跨媒體數據，能反映人們在社會生活中的行爲方式。本課題將創建跨媒體屬性感知模型，對大規模、實時、連續、動態呈現的跨媒體數據及其相應社會屬性的有效性和質量進行辨識，發現網絡跨媒體數據與現實世界行爲相互影響規律，爲理解個體和羣體行爲提供指導。

內容：

• （1）跨媒體數據有效性辨識
  結合跨媒體數據底層特徵、標註和評價等豐富的天然屬性和社會屬性上下文關係，研究跨媒體數據有效性檢測等算法，經過對歷史靜態網絡數據和當前動態網絡數據進行挖掘，實現辨識存在矛盾、不真實的跨媒體數據方法。
• （2）跨媒體數據重要性選擇機制
  借鑑視覺認知機理，在融合跨媒體多模態特徵基礎上，結合用戶點擊、評價和轉發等個體或羣體社會行爲，研究跨媒體數據注意力模型，從而創建跨媒體數據質量評估方法，給出跨媒體重要性選擇機制。
• （3）社會個體和羣體交互機制
  研究人們對跨媒體數據進行點擊、評價和轉發等社會行爲屬性的高效收集方法，結合數據挖掘和時序分析等技術，辨識隨機性、重複性、傾向性以及真實性等不一樣模式社會屬性行爲，創建社會關注度模型，以指導發現瞬時涌現和動態發展的熱點話題和重大事件。
• （4）跨媒體數據與社會行爲相互做用規律
  引入稀疏圖模型，有效利用重要實體、關鍵連接、子圖、角色與傳播機制等網絡特性，經過跨媒體數據的天然屬性和社會屬性來定義用戶個體和羣體之間所存在的社區，深刻分析社區間和社區外用戶分享和傳遞觀點和事件方法，揭示網絡跨媒體數據與社會行爲之間相互做用規律，爲創建可計算跨媒體模型提供理論基礎。

跨媒體語義學習與內容理解

圍繞跨媒體數據呈現的多態性、異構性、海量性和社會性特色，分析跨媒體數據所蘊含的熱點話題及重大事件結構模式，提出檢測突發性熱點話題及重大事件的方法，造成基於羣體智能的協同反饋計算手段，創建符合社會感知與網絡特性的跨媒體內容理解理論與方法。

內容:

• (1) 熱點話題及重大事件結構模式表示
  研究網絡中熱點話題與重大事件造成機理，提出融合跨媒體數據的主題與事件表示方法，關聯網絡事件中不一樣模態的數據，構建事件結構化計算模型，實現有效的跨媒體主題與事件之間的相關性度量，創建主題與事件間的結構化描述。
• (2) 熱點話題及重大事件檢測
  研究在不一樣網絡渠道下同時涌現跨媒體數據的類似性計算方法，創建可計算的通感（synaesthesia）模型，挖掘圖像、網頁、評註和標籤等之間關聯性，對歷史數據和在線數據進行綜合分析，利用通感，在跨領域學習和多任務學習基礎上，實現流式跨媒體數據中熱點話題及重大事件檢測方法。
• (3) 跨媒體語義單元學習和標註
  針對跨媒體數據異構多樣、歧義性大的特色，擴展傳統多核學習方法，經過非線性迴歸模型和多核學習方法對天然屬性和社會屬性之間關聯關係進行學習，對圖像、網頁、評註和標籤中有意義單元進行標註和提取，提出相應的適合多核學習的高效低複雜度優化求解策略。
• (4) 基於羣體智能的協同交互機制
  結合個體和羣體的標註、評價、瀏覽和搜索等交互行爲信息，研究個體和羣體行爲參與跨媒體語義理解的協同交互機制，提出針對網絡羣體智能的協同語義學習方法，挖掘跨媒體數據天然屬性和社會屬性之間，以及與個體和羣體之間的深度關聯關係，提高對跨媒體語義分析和理解的能力。

海量跨媒體數據挖掘與公共安全態勢分析

跨媒體數據所蘊含的話題和事件會隨時間動態發展，不一樣話題和事件在社會個體和羣體交互下會不斷演化，針對這一特色，本課題研究面向公共安全的跨媒體數據挖掘理論，突破海量數據實時處理瓶頸問題，創建公共安全中熱點和敏感話題及重大事件發展、滲透與演化模型，對公共安全態勢進行跟蹤、評估和預測。

內容

• （1）海量跨媒體數據高效處理
  拓展示有機器學習的理論和方法，在大規模數據採樣、優化求解、矩陣分解和並行算法等方面取得突破。在複雜度平滑分析理論指導下，經過數據擾動等手段，探討並創建海量數據處理關鍵算法的實際性能分析機制。
• （2）跨媒體數據關聯挖掘
  利用複雜圖聚類和典型性相關分析等方法，研究海量跨媒體數據挖掘的理論與方法，經過區別式或生成式，監督學習或半監督學習等方法，發現話題、事件和對象之間蘊含的關聯關係，創建跨媒體數據關聯關係全景譜圖，提取蘊含在跨媒體數據中與公共安全相關的模式和知識。
• （3）多尺度公共安全事件跟蹤與演化模型
  分析公共安全事件中熱點話題及重大事件呈現特色和組成要素，從不一樣的時間和空間尺度對其進行跟蹤。結合滲透理論和社會關注度方法，創建不一樣話題和事件在社會個體和羣體交互下不斷擴散和演化模型，從不一樣層次對公共安全事件動態發展趨勢進行評估。
• （4）公共安全態勢分析與預測
  構建公共安全態勢評估指標和模型，以當前的公共安全事件爲基礎，對公共安全態勢進行客觀評估；揭示公共安全事件自身的發展規律，以及事件之間的做用機理，預測公共安全事件和態勢的走向。

跨媒體搜索與內容整合

研究對網頁、圖像、視頻、標籤和評價等異構數據以及瀏覽、點擊和熱度等交互屬性經過聯想和類比等手段進行合成的方法，使之對熱點和敏感話題及重大事件從不一樣角度和側面進行總體表示。研究結合語義內容和信息質量的排序模型及其相關反饋方法，提升跨媒體數據檢索質量。

內容：

• （1） 跨媒體搜索
  經過研究遷移學習、跨域（cross-domain）學習、多任務學習和典型相關性學習等理論和方法，挖掘關聯性異構媒體數據之間存在的共享子空間，以支持從一種類型媒體數據檢索另一種媒體數據。創建高效海量數據索引機制，以提升跨媒體檢索性能。
• （2） 問答式檢索意圖理解
  研究對用戶以文本和圖像等跨媒體樣例來表達檢索意圖進行理解的方法，反映用戶檢索的個性化需求。在理解用戶檢索意圖基礎上，實現跨媒體數據的問答式檢索，以不一樣類型數據對用戶檢索請求匹配的結果進行呈現。
• （3） 跨媒體排序和相關反饋
  改變傳統之內容匹配程度來對檢索結果進行排序的方法，辨識網絡跨媒體數據質量，分析網絡跨媒體數據的影響力，研究綜合考慮熱度、質量和內容等屬性的排序方法。研究對跨媒體中所包含的豐富天然屬性和社會屬性進行交互反饋，改善跨媒體檢索結果的方法。
• （4） 跨媒體內容整合
  經過類似度計算和關聯性分析，以類比和聯想等手段，對網頁、圖像、視頻、標籤和評價等異構數據以及瀏覽、點擊和熱度等交互屬性進行合成，按照摘要、主題、演化進程以及表明性語義單元等不一樣粒度對熱點話題及重大事件進行表示。

面向公共安全的跨媒體呈現與驗證和示範平臺

基於因果推斷理論，研究推進熱點話題和突發事件涌現、發展和演化重要因素的析取方法及其可控仿真手段；經過高質量高解析度的立體動態多媒體顯示手段，緊扣熱點話題和突發事件涌現、發展和演化的時間軸，在虛擬模擬與真實仿真環境下，身臨其境地體驗回溯歷史和預測未來經歷，構建一個特定社會事件的跨媒體呈現和驗證平臺。

內容：

• （1）社會事件因果推演與可控仿真
  對蘊含熱點話題和突發事件跨媒體數據的統計分佈進行分析，基於因果推斷相關理論，析取演化過程當中的重要因素和決定性閾值，觀察其在不一樣條件下的時空動態變化和積累，真實感知其不一樣的演化過程和相應的結果，充分展現真實社會感知過程當中多樣性、不肯定性和不完整性，從而創建熱點話題和突發事件可控、可重複性的仿真體驗環境。
• （2）熱點話題和突發事件跨媒體呈現
  以熱點話題和突發事件涌現、發展和演化的時間軸爲核心，按照空間地理索引，對某一熱點話題或突發事件及其包含主題、對象、摘要、熱度和表明性語義單元等屬性在網絡空間中及其在現實空間中相應的發展演化過程進行呈現。同時，對不一樣熱點話題及重大事件按照與查詢無關和與查詢有關聚合分析，呈現話題和事件之間複雜關聯關係及其相關社會關係網絡。
• （3）公共安全快速預警與決策支持
  分析影響當前公共安全態勢的因素，基於歷史範例，在不一樣條件下對特定社會事件進行仿真，以跨媒體形式對其呈現，爲有關部門制定公共安全警惕指標和制定應急預案提供科學依據，並對預案進行模擬仿真和評價，輔助決策，依據公共安全態勢的評估結果，向有關部門提供快速預警服務。
• (4) 面向公共安全的綜合驗證和示範平臺
  制定接口規範，對相關算法和系統進行集成。針對具體應用問題，向有關部門提出整套預測預警方案和對其態勢發展的完整評估建議。創建綜合驗證和示範平臺，對本項目的研究內容進行驗證與示範。

總結

跨媒體隨着移動時代的到來已經到了融合時代，跨媒體安全也愈來愈重要。 大數據與人工智能時代的到來，也爲圖形媒體這些傳統應用普遍，技術發展緩慢的科研領域注入了新的活力。 跨媒體中的難點：跨媒體數據統一表示和建模方法、跨媒體數據關聯推理和深度挖掘、跨媒體數據綜合搜索和內容合成，在大數據時代下數據量的處理統一表示和建模都有了新的解決方案，在人工智能時代下跨媒體數據關聯與深度挖掘也有了新的方案。 隨着時代的發展，技術的變革。跨媒體進入了新時代，跨媒體安全解決也進入到了新時代。