主題模型(LDA)案例：分析人民網留言板數據

原文連接

隨着網民規模的不斷擴大，互聯網不只是傳統媒體和生活方式的補充，也是民意凸顯的地帶。領導幹部參與網絡問政的制度化正在成爲一種發展趨勢，這種趨勢與互聯網發展的時代需求是分不開的。

▼

人民網《地方領導留言板》是備受百姓矚目的民生欄目,也是人民網品牌欄目,被稱爲「社情民意的集散地、親民愛民的迴音壁」。

基於以上背景，tecdat研究人員對北京留言板裏面的留言數據進行分析，探索網民們在呼籲什麼。

1

數量與情感

朝陽區羣衆最活躍

圖表

​

從上圖能夠看出不一樣地區留言板的情感傾向分佈，總的來講，負面情感留言數目和積極情感相差很少，負面情感留言較多，佔比46%，積極情感留言佔比42%，中立情感的留言佔比11%。

從地區來看，活躍在各大媒體的「朝陽區羣衆」留言數目也是最多的，其次是海淀區，昌平區。所以，從情感分佈來看大部分留言仍是在反應存在的問題，而不是一味讚美或者灌水。

2

主題分析

外地戶口問題呼聲最高

接下來，咱們對於語料進行LDA建模，就是從語料庫中挖掘出不一樣主題並進行分析，換言之，LDA提供了一種較爲方便地量化研究主題的機器學習方法。

咱們使用最大似然估計進行最優化主題個數的選取。當主題個數定爲20的時候，似然估計數最大，即留言板數據分爲20個主題的可能性比較大。將模型生成的20個主題中的前五個高頻詞取出，以下表所示。

圖表

​

而後咱們將佔比最高的前六個主題與它們的情感傾向進行分析。

圖表

​

從上圖能夠看出你們關於6大主題的討論：

主題1反應孩子，外地戶口辦理的問題是最多的，反應了外地落戶北京相關的難題（e.g.父母在京工做20多年，兒女上學卻因戶口問題不能進入好的高校就讀）。

主題2是反應環境改造及棚戶改造（e.g.棚戶房屋破舊、牆面潮溼、上下水管道老化腐爛現象嚴重常常形成跑冒滴漏，遇到雨雪天氣，道路積水、泥濘不堪，大院居民尤爲是老人小孩出行很是不便）。

主題3是反應高考和醫保（e.g.外地人衷心的但願政府能關注一下孩子在北京的高考問題）。

主題4是汽車搖號政策（e.g.現行的搖號方案是不可行,治標不治本.有的搖號是一我的搖不上,全家人都出動;有的是想買車根本搖不號;有的是不想買車就搖上了）。

主題5是反應工資和租房問題（e.g.我是外地退休教師。由於孩子在北京工做，故到北京幫助孩子料理家務，以支持孩子工做。由於北京房價昂貴，咱們買不起大房，三代人只能擠着住。我想問問市長，咱們是否也能住公租房）。

主題6是違法建築（e.g.XX雅苑許多一層業主私搭亂建成風,且物業無能,形成極大的安全隱患）。

3

地區、主題與情感得分

接下來咱們分析了不一樣主題和地區的情感傾向分佈。從下圖能夠看出，主題3高考和醫保、主題6 違法建築、主題13教育拆遷的留言內容中積極情感佔較大比例。

圖表

​

咱們發如今不一樣主題中情感得分最高的地區中海淀區最多，其次是朝陽區和大興區。同時也能夠發現，情感得分最高的是在主題11居民生活下的朝陽區留言內容。總的來講，根據積極情感的內容分佈來看，主題3高考和醫保、主題6 違法建築、主題13教育拆遷的留言內容中表現出較好的反饋。