20189221 2018-2019-2 《密碼與安全新技術專題》第三週做業

時間 2019-11-12

標籤密碼與安全新技術專題第三欄目系統安全简体版

原文原文鏈接

20189221 2018-2019-2 《密碼與安全新技術專題》第三週做業

課程：《密碼與安全新技術專題》html

班級： 201892
姓名：郭開世
學號：20189221
上課教師：謝四江
上課日期：2019年3月26日
必修/選修：選修前端

1.本次講座的學習總結

講座主題：基於深度學習的密碼分析與設計

人工智能分類：
web

機器學習分類：
算法

機器學習和網絡安全資源數據庫

密碼分析與機器學習

函數	$x$	$F(x)$	$y$
機器學習	樣本	模型	樣本
密碼分析	明文	密鑰	密文

深度學習簡介與現狀

深度學習「四大天王」express

Geoffrey Hinton：多倫多大學的特聘教授，Google AI團隊領軍人
後端

Hinton即是將BP算法應用到神經網絡與深度學習中人員之一，而且是主導者(co-inventor). Hinton 提出了「Dark Knowledge」黑暗知識概念，該概念是受小几率比率事件中的「大部分知識」對於訓練與測試中的代價函數是沒有影響的。api

Hinton在人工智能領域中無人不知無人不曉是由於其在人工神經網絡(Artificial Neural Networks)中所做出的貢獻。安全

但事實是，直到2004年，學術界對Hinton的研究仍然提不起興趣。而這時距離他們首次提出「反向傳播」算法已通過了20年，學術界AI廣泛的研究方向也與他們相反，都在試圖尋找捷徑，直接模擬出行爲，而不是試圖經過模仿大腦的運做來實現。Hinton牛逼的地方在於，在那個充滿懷疑的時期，承受着世界的質疑和嘲諷，他仍然潛心於他所相信的科學。網絡

Hinton和他的團隊強力將「神經網絡」從垂死邊緣一步步帶入到當今的研究與應用的熱潮，變成了煊赫一時的的學術界課題，將「深度學習」從邊緣課題變成了Google等互聯網巨頭仰賴的核心技術。目前神經網絡與深度學習已在天然語言處理、語音處理以及計算機視覺等領域中獲得了空前普遍與成功地應用。

Yann Lecun：紐約大學終身教授，Facebook AI實驗室負責人

Lecun在多倫多大學隨Hinton讀博士後，沒錯，他是Hinton的學生，另外一個神經網絡與深度學習大拿。他在皮埃爾瑪麗居里大學攻讀計算機科學博士學位期間提出後向傳播算法。

他現在在Facebook帶領團隊進行人工智能工做，即他是Facebook人工智能實驗室的負責人。他在紐約大學任職了12年，是紐約大學的終身教授，是紐約大學數據科學中心的負責人。爲了表彰他在深度學習領域裏

Yoshua Bengio：蒙特利爾大學終身教授，CIFAR項目負責人

他是ApSTAT技術的發起人與研發大牛。他也是蒙特利爾大學(Université de Montréal)的終身教授，任教超過22年，是機器學習實驗室(MILA)的負責人，是CIFAR項目的負責人之一，負責神經計算和自適應感知器等方面。又是加拿大統計學習算法學會的主席，而且是NSERC-Ubisoft主席以及其它。在蒙特利爾大學任教以前，他是ATT MIT的一名機器學習研究員。他的主要貢獻在於深度學習與人工智能等領域。

他的研究工做主要聚焦在高級機器學習方面，致力於用其解決人工智能問題，他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一。

Andrew Ng：斯坦福大學副教授，曾就任於谷歌，百度首席科學家

是否能跟前三位大牛並列彷佛是一件富有爭議的事情。的確，在純理論研究上面NG的光芒不如三大牛，甚至能夠說有不小的差距，可是在工程方面的應用他仍然是人工智能領域的權威。NG讓人熟知並非學術上的研究，而是他和Daphne
Koller共同建立Coursera（在線教育平臺）這一流大學在線課程平臺，相信不少受益於Coursera的朋友要跪拜了。

最新消息：Yann LeCun、Geoff Hinton 和 Yoshua Bengio三位教父得到「圖靈獎

深度學習與密碼分析

基於卷積神經網絡的測信道攻擊
基於循環神經網絡的明文破譯
基於生成對抗網絡的口令破譯
基於深度學習的密碼基元識別

深度學習與密碼設計

生成對抗網絡設計密碼

谷歌深度學習項目Google Brain的一個團隊已經證實，機器能夠學習如何保護他們的信息免受窺探。

研究人員MartínAbadi和David Andersen證實神經網絡或「神經網絡」 - 鬆散地基於人工神經元的計算系統 - 能夠解決如何使用簡單的加密技術。

在他們的實驗中，計算機可以使用機器學習進行本身的加密形式，而不須要教授特定的加密算法。加密是很是基礎的，特別是與咱們當前的人工設計系統相比。即使如此，它仍然是神經網絡的一個有趣的步驟，做者聲稱「一般並不意味着在密碼學方面很出色」。

最初，神經網絡在發送祕密消息方面至關差。但隨着他們更多的練習，愛麗絲慢慢開發了本身的加密策略，鮑勃研究出如何解密它。

在場景播放15,000次以後，Bob可以將Alice的密文短信轉換回純文本，而Eve能夠猜想造成該消息的16位中的8位。因爲每一個位只有1或0，這與純粹機會所指望的成功率相同。該研究發表在arXiv上。

咱們並不確切知道加密方法是如何工做的，由於機器學習提供了一種解決方案，但並非一種簡單的方法來理解它是如何實現的。在實踐中，這也意味着很難爲以這種方式建立的加密方法提供任何安全保證，所以對該技術的實際影響多是有限的。

2.學習中遇到的問題及解決

問題1：最近熱度很高的AI發展到底怎麼樣？

問題1解決：

人工智能（英語：Artificial Intelligence，縮寫爲 AI）亦稱機器智能，指由人制造出來的機器所表現出來的智能。一般人工智能是指經過普通計算機程序來呈現人類智能的技術。該詞也指出研究這樣的智能系統是否可以實現，以及如何實現。同時，有些預測則認爲人類的無數職業也逐漸被其取代。

人工智能在通常教材中的定義領域是「智能主體（intelligent agent）的研究與設計」，智能主體指一個能夠觀察周遭環境並做出行動以達致目標的系統。約翰·麥卡錫於1955年的定義是「製造智能機器的科學與工程」。安德里亞斯•卡普蘭（Andreas Kaplan）和邁克爾•海恩萊因（Michael Haenlein）將人工智能定義爲「系統正確解釋外部數據，從這些數據中學習，並利用這些知識經過靈活適應實現特定目標和任務的能力」。

人工智能的研究是高度技術性和專業的，各分支領域都是深刻且各不相通的，於是涉及範圍極廣。人工智能的研究能夠分爲幾個技術問題。其分支領域主要集中在解決具體問題，其中之一是，如何使用各類不一樣的工具完成特定的應用程序。

AI的核心問題包括建構可以跟人相似甚至超越的推理、知識、規劃、學習、交流、感知、移動和操做物體的能力等。人工智能當前仍然是該領域的長遠目標。當前強人工智能已經有初步成果，甚至在一些影像識別、語言分析、棋類遊戲等等單方面的能力達到了超越人類的水平，並且人工智能的通用性表明着，能解決上述的問題的是同樣的AI程序，無須從新開發算法就能夠直接使用現有的AI完成任務，與人類的處理能力相同，但達到具有思考能力的統合強人工智能還須要時間研究，比較流行的方法包括統計方法，計算智能和傳統意義的AI。當前有大量的工具應用了人工智能，其中包括搜索和數學優化、邏輯推演。而基於仿生學、認知心理學，以及基於機率論和經濟學的算法等等也在逐步探索當中。思惟來源於大腦，而思惟控制行爲，行爲須要意志去實現，而思惟又是對全部數據採集的整理，至關於數據庫，因此人工智能最後會演變爲機器替換人類。

AI四小龍

若是說過去五年是中國人工智能的上半場，那麼從2019年開始，這個行業正式進入了下半場。

這一年，以計算機視覺起家的AI四小龍，差別化戰略正在變得愈發清晰。

商湯向後：全面聚焦雲端的獨角獸——聚焦雲端，作城市級視覺中樞平臺。
曠視向前：終端最「重」的獨角獸——從後端到前端全面覆蓋，走軟硬一體化之路。
依圖向上：首個跳出人臉識別的獨角獸——跳出人臉識別，把醫學影像分析做爲等同於人臉識別戰略地位
雲從向下：惟一切入金融核心業務流程的CV公司——金融產品線增長了以風控系統爲表明的金融決策方案

「2019 中國人工智能安防峯會」在杭州正式開幕（3.23）

主題一：城市大腦與邊緣計算
《城市視覺智能計算平臺》：阿里巴巴集團副總裁、達摩院AI中心負責人華先勝
《AI賦能，共築將來》：海康威視高級副總裁、研究院院長浦世亮
《人工智能提高場景化應用體驗》：大華股份研發中心副總裁、先進技術研究院院長殷俊
《地平線AIoT邊緣計算芯片，賦能萬千行業》：地平線芯片解決方案事業部總經理張永謙
《安防行業的AI革命》：深瞐科技董事長陳瑞軍
《智能城市的視覺中樞》：商湯科技智慧城市綜合業務事業羣副總裁張果琲
《AI安防：浪潮商用機器爲AI安防提供強大的計算引擎》：浪潮商用機器有限公司產品部張琪

主題二：世界頂尖算法應用
《三維視覺從新定義人工智能安防》：港科大教授，CVPR、ICCV大會主席權龍
《視頻監控場景下無約束人臉識別與圖像加強》：松下（新加坡）研究院原副院長，澎思科技首席科學家申省梅

主題三：前端動態識別與智能視頻雲
《智能進化，安防進入新時代》：華爲智能安防產品線副總裁餘虎
《智能安防的精益之道》：觸景無限聯合創始人 & CEO 肖洪波

主題四：城市AIoT與邊緣智能引擎
《人工智能擦亮「城市之眼」》：曠視科技安防事業部總經理安洋
《智慧園區，無感通行》：千視通CTO 胡大鵬
《助力產業升級，打造方案定義式算法》：騰訊優圖首席方案架構師、安防業務線負責人李牧青
《AI中臺引擎：鏈接、計算與賦能》：中科院自動化所研究員，中科視語創始人王金橋

問題2：生成對抗網絡

問題2解決：

生成對抗網絡（Generative Adversarial Network，簡稱GAN）是非監督式學習的一種方法，經過讓兩個神經網絡相互博弈的方式進行學習。該方法由伊恩·古德費洛等人於2014年提出。

生成對抗網絡由一個生成網絡與一個判別網絡組成。生成網絡從潛在空間（latent space）中隨機採樣做爲輸入，其輸出結果須要儘可能模仿訓練集中的真實樣本。判別網絡的輸入則爲真實樣本或生成網絡的輸出，其目的是將生成網絡的輸出從真實樣本中儘量分辨出來。而生成網絡則要儘量地欺騙判別網絡。兩個網絡相互對抗、不斷調整參數，最終目的是使判別網絡沒法判斷生成網絡的輸出結果是否真實。

生成對抗網絡經常使用於生成以假亂真的圖片。此外，該方法還被用於生成視頻、三維物體模型等。

GAN的原理：

GAN的主要靈感來源於博弈論中零和博弈的思想，應用到深度學習神經網絡上來講，就是經過生成網絡G（Generator）和判別網絡D（Discriminator）不斷博弈，進而使G學習到數據的分佈，若是用到圖片生成上，則訓練完成後，G能夠從一段隨機數中生成逼真的圖像。G， D的主要功能是：

● G是一個生成式的網絡，它接收一個隨機的噪聲z（隨機數），經過這個噪聲生成圖像

● D是一個判別網絡，判別一張圖片是否是「真實的」。它的輸入參數是x，x表明一張圖片，輸出D（x）表明x爲真實圖片的機率，若是爲1，就表明100%是真實的圖片，而輸出爲0，就表明不多是真實的圖片

訓練過程當中，生成網絡G的目標就是儘可能生成真實的圖片去欺騙判別網絡D。而D的目標就是儘可能辨別出G生成的假圖像和真實的圖像。這樣，G和D構成了一個動態的「博弈過程」，最終的平衡點即納什均衡點.

GAN的特色：

● 相比較傳統的模型，他存在兩個不一樣的網絡，而不是單一的網絡，而且訓練方式採用的是對抗訓練方式

● GAN中G的梯度更新信息來自判別器D，而不是來自數據樣本

GAN 的優勢：

（如下部分摘自ian goodfellow 在Quora的問答）

● GAN是一種生成式模型，相比較其餘生成模型（玻爾茲曼機和GSNs）只用到了反向傳播,而不須要複雜的馬爾科夫鏈

● 相比其餘全部模型, GAN能夠產生更加清晰，真實的樣本

● GAN採用的是一種無監督的學習方式訓練，能夠被普遍用在無監督學習和半監督學習領域

● 相比於變分自編碼器, GANs沒有引入任何決定性偏置( deterministic bias),變分方法引入決定性偏置,由於他們優化對數似然的下界,而不是似然度自己,這看起來致使了VAEs生成的實例比GANs更模糊

● 相比VAE, GANs沒有變分下界,若是鑑別器訓練良好,那麼生成器能夠完美的學習到訓練樣本的分佈.換句話說,GANs是漸進一致的,可是VAE是有誤差的

● GAN應用到一些場景上，好比圖片風格遷移，超分辨率，圖像補全，去噪，避免了損失函數設計的困難，無論三七二十一，只要有一個的基準，直接上判別器，剩下的就交給對抗訓練了。

GAN的缺點：

● 訓練GAN須要達到納什均衡,有時候能夠用梯度降低法作到,有時候作不到.咱們尚未找到很好的達到納什均衡的方法,因此訓練GAN相比VAE或者PixelRNN是不穩定的,但我認爲在實踐中它仍是比訓練玻爾茲曼機穩定的多

● GAN不適合處理離散形式的數據，好比文本

● GAN存在訓練不穩定、梯度消失、模式崩潰的問題（目前已解決）

3.本次講座的學習感悟、思考等

金鑫老師講課節奏很快。相應的，這次新技術專題課也是我近期收穫最大的一堂課。

金鑫老師不只帶我瞭解了不少深度學習、信息安全方面的東西，並且主要帶給個人啓發是研究方法及研究模式。

在研究生階段，我仍是想要作些事情的，要抓緊了。

4.GAN研究現狀

Unsupervised cipher cracking using discrete GANs

做者：Aidan N. Gomez

投稿：ICLR會議,目前已經做爲POSTER接收

年份：2018年

主題：利用GAN破譯移位密碼和維吉尼亞密碼，將GAN應用於離散數據。

移位密碼的數學定義，其中p表示明文,c表示密文,k表示密鑰，也就是明文要移的位數：

維吉尼亞密碼的數學定義,P表示明文，C表示密文，Ｋ爲密鑰，運算在 $Z_{26}$ 上進行

GAN：

2014年，Goodfellow等人首次提出生成對抗網絡GAN，GAN是一種經過對抗過程估計生成模型的深度學習模型，GAN框架中同時訓練兩個模型，生成模型G和判別模型D，生成模型G以噪聲爲輸入生成數據，判別器Ｄ判別生成模型生成的輸出數據和真實數據，生成模型想要生成可以與真實數據同樣的數據來迷惑判別器Ｄ，判別器想要最大機率地判斷出僞造的數據和真實數據，Ｇ和Ｄ構成了一個動態的‘博弈’，經過兩個模型互相對抗達到最好的生成效果。原始GAN的目標方程當判別器最優時，最小化真實數據分佈 $P_{r}$ 與生成數據分佈 $P_{g}$ 之間的JS散度，因爲 $P_{r}$ 和 $P_{g}$ 之間幾乎不可能有不可忽略的重疊，因此不管它們相距多遠，JS散度都是常數log2，最終致使生成器的梯度近似於0,梯度消失，這也是原始GAN模型崩潰，訓練不穩定的緣由。爲了使模型訓練更加固，WGAN中提出了Wasserstein距離，又稱Earth-Mover(EM)距離，度量兩個機率分佈 $P_{r}$ 和 $P_{g}$ 之間的距離。Wasserstein距離相比KL散度,JS散度的優越性在於，即便兩個分佈沒有重疊，Wasserstein距離仍然可以反映它們的遠近。雖然WGAN解決了原始GAN訓練不穩定的問題，可是WGAN中因爲使用K-Lipschitz函數，限制參數在一個範圍中，參數的修剪策略(weight clipping)會致使最優化困難，後來又有論文對WGAN提出改進，提出gradient penalty策略，使得學習到的參數分佈正常

cipherGAN：

對非平穩嵌入（non-stationary embeddings）進行訓練的判別器將不能任意逼近δ-函數分佈；這意味着對於X內的元素而言，存在某種「安全區」（safe-zones），在「安全區」內生成器能夠有效「欺騙」判別器，防止發生誤判。
在實驗中，咱們同時訓練了嵌入向量做爲模型的參數。嵌入向量的梯度更新在訓練迭代之間引入噪聲；咱們觀察到在初始訓練步驟以後，嵌入向量傾向於保持在有界區域。咱們發現，利用嵌入向量替換數據與執行命題1中描述的隨機抽樣具備類似的效果。
重要命題證實：

結論：
CipherGAN顯示了生成對抗網絡應用於離散數據解決一些對細微差異極其敏感的困難任務。咱們的工做有助於促進CycleGAN架構對於多類數據的無監督對齊任務的承諾。CipherGAN提出了一種訓練中較爲穩定的算法，改進了CycleGAN架構。實驗證明，使用離散變量的continuous relaxation，不只促進經過離散節點的梯度流動，並且防止常常出現到的誤判問題。CipherGAN在結構上是很是通用的，能夠直接應用於各類無監督的文本對齊。

Identity-preserving Conditional Generative Adversarial Network

做者：Zhonghua Zhai; Jian Zhai

投稿：2018 International Joint Conference on Neural Networks (IJCNN)

年份：2018

主題：提出了一種用於圖像到圖像轉換的身份保持條件生成對抗網絡（IPcGAN）

提出的框架能夠在兩個域中沒有任何對應圖像的狀況下學習翻譯功能，並將真實圖像映射到潛在空間和條件表示。與其餘做品相反，本論文引入了一個微調過程和一個新穎的聯合損失，以保持人的原始身份，同時保持合成面孔的真實性。本論文使用特徵錯誤評估新模型，並證實它比現有模型產生更好的結果。

Modeling Urbanization Patterns with Generative Adversarial Networks

做者：Adrian Albert; Emanuele Strano; Jasleen Kaur; Marta González

投稿：IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium

年份：2018

主題：提出了一種使用全球城市土地利用庫存培訓的生成對抗網絡來模擬超現實城市模式的新方法

現代生成機器學習模型（如GAN）能夠成功地用於模擬真實的城市模式。

比較真實的城市建成用地地圖（左）和用生成對抗網絡（gan）模擬的合成地圖（右）。在每種狀況下，像素值在[0,1]中而且表示建築物佔據的土地的分數:

Automatic Generation of Facial Expression Using Generative Adversarial Nets

做者：Yoshiharu Kawai; Masataka Seo; Yen-Wei Chen

投稿：2018 IEEE 7th Global Conference on Consumer Electronics (GCCE)

年份：2018

主題：過使用生成對抗網絡從天然（無表情）圖像生成靜態面部表情圖像

本論文提出使用條件對抗網絡（簡稱pix2pix）進行圖像到圖像的翻譯。Pix2pix學習從輸入圖像到輸出圖像的映射，以及用於訓練該映射的損失函數。此方法對於從標籤貼圖合成照片，從邊緣貼圖重建對象，着色圖像以及其餘任務很是有效。做者們使用該網絡經過使用圖像轉換任務生成面部表情變化的圖像。

網絡結構：

實驗結果：

Generating Adversarial Examples With Conditional Generative Adversarial Net

做者：Ping Yu; Kaitao Song; Jianfeng Lu

投稿：2018 24th International Conference on Pattern Recognition (ICPR)

年份：2018

主題：提出了兩種新的生成模型來直接生成自適應攻擊實例，其中採用條件生成對抗網絡，併爲訓練設計了獨特的策略

論文貢獻：

與之前的工做不一樣，咱們的方法從噪聲中生成攻擊圖像。這樣，能夠在DNN攻擊中節省大量存儲成本。
大多數現有方法須要大量計算來產生攻擊示例，但咱們的方法只須要一輪前向傳播，這很是有效。
咱們在元素和以後應用歸一化來解決像素值溢出的問題。

CGAN-F：

CGAN經過註冊額外信息來控制網絡輸出 ÿ在鑑別器和發電機的訓練計劃中。額外的信息ÿ 能夠是任何類型的預期信息，例如，類標籤或數據分佈，而且一般將其做爲附加輸入層提供給生成模型和判別模型。

假圖像條件生成對抗網的總體架構圖：

訓練算法：

CGAN-Adv：

目標分類器的體系結構在（a）中描述。CGAN-f的鑑別器和發生器分別如（b）和（c）所示。CGAN-adv的鑑別器和發生器分別顯示在（b）和（c）中。

Avearge生成實例的時間對比：

Cloud-Gan: Cloud Removal for Sentinel-2 Imagery Using a Cyclic Consistent Generative Adversarial Networks

做者：Praveer Singh; Nikos Komodakis

投稿： IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium

年份：2018

主題：使用Cloud-GAN解決雲覆蓋遙感圖像在地表分析中產生的問題

本論文解決了這個問題並提出了一個Cloud-GAN來學習陰天圖像和無雲圖像之間的映射。所提出的方法中的adver-sarialloss將生成的圖像的分佈限制爲足夠接近非混濁圖像的基礎分佈。使用額外的循環一致性損失來進一步抑制發生器以僅預測與陰天圖像中反映的相同場景的無雲圖像。本論文的方法不只拒絕任何配對（雲/無雲）訓練數據集的必要性，並且還避免須要任何額外的（昂貴的）光譜信息源，例如雲可穿透的合成孔徑雷達圖像。不只拒絕任何配對（雲/無雲）訓練數據集的必要性，並且還避免須要任何額外的（昂貴的）光譜信息源

網絡架構：

結果：

Building Footprint Generation Using Improved Generative Adversarial Networks

做者：Yilei Shi ; Qingyu Li]() ; Xiao Xiang Zhu

投稿：IEEE Geoscience and Remote Sensing Letters ( Volume: 16 , Issue: 4 , April 2019 )

年份：2018

主題：提出了改進的生成對抗網絡（GAN），用於從衛星圖像自動生成建築物足跡。

本論文利用CGAN和WGAN的優點，提出了條件性Wasserstein生成對抗網絡（CWGAN），它能夠對生成的數據模式進行控制，也能夠實現更穩定的訓練。

網絡架構：

結果比較：

最近提出的GAN提供了一種學習深度表示的方法，而沒有普遍註釋的訓練數據。該研究旨在探索GAN在建築物足跡生成性能方面的潛力，並經過修改目標函數來提升其準確性。本論文提出了兩種集成了CGAN和WGAN的新型網絡架構（CWGAN和CWGAN-GP），以及一個梯度懲罰項，能夠指導數據生成過程，提升訓練的穩定性。
本論文所提出的方法包括兩個網絡：發生器中的U-Net架構和鑑別器中的PatchGAN。
做者調查了慕尼黑和柏林的PlanetScope衛星圖像，以評估擬議方法的能力。實驗結果證明，與現有網絡（例如，CGAN，U-Net和ResNet-DUC）相比，所提出的方法能夠顯着提升建築物足跡生成的質量。
應該注意的是，本論文提出的方法CWGAN-GP的穩定性幾乎消除了全部超參數調整。