Python多篇新聞自動採集

昨天用python寫了一個天氣預報採集，今天趁着興頭寫個新聞採集的。

　　目標是，將騰訊新聞主頁上全部新聞爬取下來，得到每一篇新聞的名稱、時間、來源以及正文。

　　接下來分解目標，一步一步地作。

 

　　步驟1：將主頁上全部連接爬取出來，寫到文件裏。

　　根據上一篇文章的方法，能夠簡單地獲取到整個主頁的文本內容。

　　咱們都知道html連接的標籤是「a」，連接的屬性是「href」，也就是要得到html中全部tag=a，attrs=href 值。

　　查閱了資料，一開始我打算用HTMLParser，並且也寫出來了。可是它有一個問題，就是遇到中文字符的時候沒法處理。

1 class parser(HTMLParser.HTMLParser):
2     def handle_starttag(self, tag, attrs):
3             if tag == 'a':
4             for attr, value in attrs:
5                 if attr == 'href':
6                     print value

　　後來使用了SGMLParser，它就沒有這個問題。

1 class URLParser(SGMLParser):       
2         def reset(self):
3                 SGMLParser.reset(self)
4                 self.urls = []
5  
6         def start_a(self,attrs):        
7                 href = [v for k,v in attrs if k=='href']          
8                 if href:
9                         self.urls.extend(href)

　　SGMLParser針對某個標籤都須要重載它的函數，這裏是把全部的連接放到該類的urls裏。

1 lParser = URLParser()#分析器來的
 2 socket = urllib.urlopen("http://news.qq.com/")#打開這個網頁
 3 
 4 fout = file('urls.txt', 'w')#要把連接寫到這個文件裏
 5 lParser.feed(socket.read())#分析啦
 6 
 7 reg = 'http://news.qq.com/a/.*'#這個是用來匹配符合條件的連接，使用正則表達式匹配
 8 pattern = re.compile(reg)
 9 
10 for url in lParser.urls:#連接都存在urls裏
11     if pattern.match(url):
12         fout.write(url+'\n')
13 
14 fout.close()

　　這樣子就把全部符合條件的連接都保存到urls.txt文件裏了。

 

　　步驟2：對於每個連接，獲取它的網頁內容。

　　很簡單，只須要打開urls.txt文件，一行一行地讀出來就能夠了。

　　也許這裏會顯得畫蛇添足，可是基於我對解耦的強烈願望，我仍是果斷地寫到文件裏了。後面若是採用面向對象編程，重構起來是十分方便的。

　　獲取網頁內容部分也是相對簡單的，可是須要把網頁的內容都保存到一個文件夾裏。

　　這裏有幾個新的用法：

1 os.getcwd()#得到當前文件夾路徑
 2 os.path.sep#當前系統路徑分隔符（是這個叫法嗎？）windows下是「\」，linux下是「/」
 3 
 4 #判斷文件夾是否存在，若是不存在則新建一個文件夾
 5 if os.path.exists('newsdir') == False:
 6     os.makedirs('newsdir')
 7 
 8 #str()用來將某個數字轉爲字符串
 9 i = 5
10 str(i)

　　有了這些方法，將字符串保存到某個文件夾下不一樣的文件就再也不是一件困難的事了。

 

　　步驟3：枚舉每個網頁，根據正則匹配得到目標數據。

　　下面的方法是用來遍歷文件夾的。

1 #這個是用來遍歷某個文件夾的
2 for parent, dirnames, filenames in os.walk(dir):
3     for dirname in dirnames
4         print parent, dirname
5     for filename in filenames:
6         print parent, filename

　　遍歷，讀取，匹配，結果就出來了。

　　我使用的數據提取的正則表達式是這樣的：

reg = '<div class="hd">.*?<h1>(.*?)</h1>.*?<span class="pubTime">(.*?)</span>.*?<a .*?>(.*?)</a>.*?<div id="Cnt-Main-Article-QQ" .*?>(.*?)</div>'

　　其實這個並不能匹配到騰訊網的全部新聞，由於上面的新聞有兩種格式，標籤有一點差異，因此只能提取出一種。

　　另一點就是經過正則表達式的提取確定不是主流的提取方法，若是須要採集其餘網站，就須要變動正則表達式，這但是一件比較麻煩的事情。

　　提取以後觀察可知，正文部分老是會參雜一些無關信息，好比「<script>...</script>」「<p></p>」等等。因此我再經過正則表達式將正文切片。

1 def func(str):#誰起的這個名字
2     strs = re.split("<style>.*?</style>|<script.*?>.*?</script>|&#[0-9]+;|<!--\[if !IE\]>.+?<!\[endif\]-->|<.*?>", str)#各類匹配，經過「|」分隔
3     ans = ''
4     #將切分的結果組合起來
5     for each in strs:
6         ans += each
7     return ans

　　這樣騰訊網上面的正文基本所有可以提取出來。

　　到此整個採集也就結束了。

　　展現一下我提取到的結果（不使用自動換行，右邊隱藏了）：

　　

　　注意：

　　一、打開某個網址的時候，若是網址是壞的（打不開），若不處理則會報錯。我簡單地使用處理異常的方式，估計應該有其餘方式。

try:
    socket = urllib.urlopen(url)
except:
    continue

　　二、Python正則表達式中的「.」號，能夠匹配任意字符，可是除了「\n」。

　　三、如何去除字符串末尾的「\n」？python的處理簡直優雅到死啊！

1 if line[-1] == '\n':
2     line = line[0:-1]