人工智能這個詞，對於今天咱們來講已是不陌生了，特別是對於咱們這種搞互聯網的人。基本上每天都能聽到，可是彷佛離咱們仍是有點遙遠。儘管在有些地方已經開始運用了，但是目前來講還只是在少數的領域能清晰的看到它的影子。web
在seo方面，人工智能的影子就更少了。只有寥寥的幾家打着「AI僞原創」的幌子在招搖撞騙，反正不懂的人也不知道其真正的核心是什麼。能出效果就行了，不是嗎？算法
這些天正好有空，我就專門折騰了一下目前比較流利的真正的NLP模型GPT-2。並順利的在個人win10系統上搭建和運行起來了。雖然速度慢，但還能夠體驗一下人工智能的魅力的。微信
在進入正題以前，先給你們普及點小知識。架構
NLP是什麼
NLP，全稱 nature language processing,翻譯過來就是天然語言處理了。這玩意主要作的工做就是想盡辦法讓機器可以理解人類的語言。目前因爲芯片和算法以及設備的升級已經可以讓機器經過學習的方式從必定程度上理解了人類的語言了，可是仍是存在不少的難題哈。編輯器
你們用到的，天貓精靈、小愛同窗、Siri等等都是NLP的產物。性能
迴歸正題，想要讓機器理解咱們說的話，那就得須要一個比較重要的東西：語言模型；語言模型是根據語言客觀事實而進行的語言抽象數學建模，是一種對應關係。語言模型與語言客觀事實之間的關係，如同數學上的抽象直線與具體直線之間的關係。學習
簡單說來，語言模型的做用就是根據已有句子的一部分，來預測下一個單詞會是什麼。最著名的語言模型你必定見過，就是手機上的輸入法，它能夠根據當前輸入的內容智能推薦下一個詞。網站
而本文用到的GPT-2就是一個無監督學習的語言模型，聽說是目前最強大的。人工智能
GPT-2 有着超大的規模，是一個在海量數據集上基於 transformer 訓練的巨大模型。本文將帶你一塊兒探索取得優異性能的 GPT-2 模型架構，重點闡釋其中關鍵的自注意力（self-attention）層，而且看一看 GPT-2 採用的只有解碼器的 transformer 架構在語言建模以外的應用。spa
一通介紹也看不懂，咱們直接來看效果吧。
實際寫做效果
我從網上直接下載了一個別人訓練好的模型，而後開幹。
心酸歷程，爲了搭建這個環境，折騰了我一天的時間，後來發現原來是姿式不對
由於這個玩意必需要給個開頭它才能知道日後餘生怎麼走，因此我這裏就給了個秋天，讓它生成5篇樣本看看。
能夠看到，雖然看起來有的地方寫得沒毛病，可是有不少地方在邏輯以及通順上仍是有待改進的。不過至少能夠看到一些但願的曙光了，相信不久的未來，這些問題必定可以很好的解決。
我後來又試了一下其餘的字詞，發現毛病仍是很多的，主要仍是在語句的邏輯和可讀性上。不過這也是由於我選的這個模型自己比較小，只有100多兆，訓練的預料很少形成的。
想要把這些內容放到網站上還有必定的距離，不過對於作垃圾站來講應該是足夠的。
我就有一個學員在弄這個了，目前反饋來看彷佛效果還不錯？不過他這個不是單一的使用GPT-2模型，還結合了其它的語言模型一塊兒調優。
還有一點要說明的事，這個玩意特別的吃硬件，我筆記本的配置是：I7 9系列CPU 32G內存 RTX2060顯卡 6G的顯存 算力7.5 可是跑這個的時候，生成一篇文章都要1分鐘左右。得須要那種P100的顯卡（四五萬塊錢）才能更快。
後續有時間我再本身訓練一些其餘領域的文章來看看效果，敬請期待。
當AI寫做成熟的時候，就基本沒有編輯啥事了？？？
關注我，一塊兒學習更多的seo知識！
本文分享自微信公衆號 - brooks的技術小屋（bluekeso）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。