在上一節偷個懶,公號摳腚早報80%自動化——1.批量生成微信封面圖中,咱們利用opencv庫 與PIL庫生成半年份量的微信封面圖,每次發佈直接選圖,美滋滋。按照劇本,本節咱們的目標是:html
編寫爬蟲定時去爬取新聞,保存到本地數據庫中node
具體點:python
說到爬蟲,不得不提「爬蟲五步曲」:明確爬取目標,分析請求,模擬請求,解析數據,保存數據。 本節以「澎湃新聞和爬取各種日報微博」爲例講解,其餘的站點也是大同小異,有興趣的讀者自行擴展。mysql
很少嗶嗶,直接開始本節內容。linux
爬取站點:澎湃新聞:www.thepaper.cn/,網頁界面以下:web
肯定爬取目標:爬取首頁精選裏的新聞,採集新聞標題,概述,連接,來源等到數據庫中。ajax
首頁,滾動到底部,會加載更多,猜想是**Ajax動態加載
**,F12打開開發者工具,過濾XHR選項, 抓一波包,選項卡中出現一個請求:正則表達式
切換到Response選項卡,看下請求的響應數據:sql
行吧,XML類型的數據,接着開始分析URL的規則,滾動到底部幾回,採集下請求的URL:數據庫
https://www.thepaper.cn/load_chosen.jsp?nodeids=25949&topCids=2838382,2840563,2840504,2840260,&pageidx=2&lastTime=1547170820108
https://www.thepaper.cn/load_chosen.jsp?nodeids=25949&topCids=2838382,2840563,2840504,2840260,&pageidx=3&lastTime=1547170216130
https://www.thepaper.cn/load_chosen.jsp?nodeids=25949&topCids=2838382,2840563,2840504,2840260,&pageidx=4&lastTime=1547166699225
複製代碼
不難看出,www.thepaper.cn/load_chosen… 是 Ajax接口的基地址;pageidx是頁碼;lastTime是 時間戳;至於中間的中間這段:nodeids=25949&topCids=2838382,2840563,2840504,2840260,&pageidx=2, 可能須要咱們猜想一下。nodeids猜想是分類id?首頁瞎點一下其餘的分類,發現有兩類連接:
https://www.thepaper.cn/channel_26916
https://www.thepaper.cn/list_26912
複製代碼
em...也是五位的數字,分別替換25949成試試?果真,channel_25949顯示的內容和精選的內容一致。 而在這個頁面滾動到底部一樣會加載更多,Ajax的請求URL爲:
https://www.thepaper.cn/load_index.jsp?nodeids=&topCids=&pageidx=2&lastTime=1547175167792
複製代碼
So,nodeids=25949就是固定的咯,而後是topCids=2838382,2840563,2840504,2840260,回到精選頁:
這四個推,引發個人注意了,看下標題結點對應的HTML代碼:
嘖嘖嘖,行吧,這個topCids就是頂部的四個推薦對應的id,到此,請求URL的規則就摸清楚了。 另外,試了下把pageidx=2改爲1,響應的結果和2同樣。因此還須要分兩步走:
接着是請求頭:
referer: https://www.thepaper.cn/
user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36
x-requested-with: XMLHttpRequest
複製代碼
使用PostMan模擬下請求URL,加上請求頭,能夠,能拿到數據。
行吧,寫成Python代碼:
import time
import requests as r
index_url = "https://www.thepaper.cn/"
ajax_base_url = "https://www.thepaper.cn/load_chosen.jsp?"
headers = {
'referer': 'https://www.thepaper.cn/',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 '
'Safari/537.36',
'x-requested-with': 'XMLHttpRequest'
}
# 獲取Ajax數據
def fetch_ajax_data():
ajax_params = {
'nodeids':25949,
'topCids':'2840959,2840504,2840804,2841177,',
'pageidx': 2,
'lastTime': int(round(time.time() * 1000))
}
resp = r.get(ajax_base_url, params=ajax_params, headers=headers).text
print(resp)
複製代碼
數據拿到了,接着就到解析數據了,數據是XML格式的,截取其中一部分來分析:
<div class="news_li" id="cont2840440" contType="91">
<div class="news_tu">
<a href="newsDetail_forward_2840440" class="tiptitleImg" data-id="2840440" target="_blank">
<img src="//image.thepaper.cn/image/14/160/210.jpg" alt="雲南副廳級官員因迎接遲到大罵縣委書記,他爲什麼敢這麼狂?">
<span class="p_time"></span>
</a>
</div>
<h2>
<a href="newsDetail_forward_2840440" id="clk2840440" target="_blank">雲南副廳級官員因迎接遲到大罵縣委書記,他爲什麼敢這麼狂?</a>
</h2>
<p>
和建,是一個怎樣的人?他爲何在退休先後仍對權力依依不捨?從他的個案中能夠汲取什麼啓示和教訓?
</p>
<div class="pdtt_trbs">
<a href="govAffairs_index.jsp?nodeId=" target="_blank" class="govname">澎湃問政</a>
<span>2小時前</span>
<span class="trbszan">62</span>
</div>
<div id="last2" lastTime="1547174986415" pageIndex="2" style="display:none;"></div>
</div>
複製代碼
關於XML的解析,Python中能夠經過SAX,DOM,以及ElementTree三種方式來進行解析。 可是有個問題,這XML有點不對勁,全部元素都必須有關閉標籤,可是<img>那裏的標籤並無 結束標記。直接用ElementTree解析,直接就報錯了。若是想正常解析須要爲每一個img標籤 都加上'/',處置以外,你還要在外層裹一層標籤好比<start>數據</start>。那麼繁瑣, 直接寫個正則來提取咱們想要的數據吧。先明確下咱們想提取的數據結果: 新聞標題,新聞描述,新聞圖片連接,新聞連接,新聞來源,新聞發佈時間。 接着利用正則表達式分組來提取數據:
ajax_pattern = re.compile(
r'<a href="(.*?)".*?img src="(.*?)" alt="(.*?)".*?<p>(.*?)</p>.*?_blank">(.*?)</a>.*?<span>(.*?)</span>', re.S)
def fetch_ajax_data():
ajax_params = {
'nodeids': 25949,
'topCids': '2840959,2840504,2840804,2841177,',
'pageidx': 2,
'lastTime': int(round(time.time() * 1000))
}
resp = r.get(ajax_base_url, params=ajax_params, headers=headers).text
results = ajax_pattern.findall(resp)
for result in results:
print("\n新聞地址:", index_url + result[0])
print("圖片地址:", 'http:' + result[1])
print("新聞標題:", result[2])
print("新聞描述:", result[3].replace('\n', '').replace(' ', ''))
print("新聞來源:", result[4])
print("新聞時間:", result[5])
複製代碼
運行後的部分輸出結果以下:
能夠的,數據獲取到了,接着完善下這個方法,循環去獲取直到數據中出現1天前。 另外,爲了不訪問過於頻繁致使被封,每次訪問隨緣休眠0-3秒,由於腳本是早上 8j點定時去爬取的,採集完可能我可能都還沒醒,耗時一點也沒啥,就不上代理了。 修改完後的代碼:
def fetch_ajax_data():
ajax_params = {
'nodeids': 25949,
'topCids': '2840959,2840504,2840804,2841177,',
}
pageidx = 2
news_list = [] # 新聞列表
while True:
ajax_params['pageidx'] = pageidx
ajax_params['lastTime'] = int(round(time.time() * 1000))
resp = r.get(ajax_base_url, params=ajax_params, headers=headers)
resp_content = resp.text
print(resp.url)
results = ajax_pattern.findall(resp_content)
for result in results:
if result[5] == '1天前':
return news_list
else:
news_list.append([index_url + result[0], 'http:' + result[1], result[2],
result[3].replace('\n', '').replace(' ', ''), result[4], result[5]])
pageidx += 1
time.sleep(random.randint(0, 2))
複製代碼
部分輸出結果以下:
前面也說了Ajax的接口並不能獲取全部數據,還須要去解析一波首頁,拿兩個東西:
新聞的結點結構r
<div class="news_li" id="cont2845046" conttype="0">
<div class="news_tu">
<a href="newsDetail_forward_2845046" class="tiptitleImg" data-id="2845046" target="_blank"> <img src="//image1.thepaper.cn/image/14/202/688.jpg" alt="《紅色通緝》第二集:織網">
<span class="p_time"></span>
</a>
</div>
<h2>
<a href="newsDetail_forward_2845046" id="clk2845046" target="_blank">《紅色通緝》第二集:織網</a>
</h2>
<p>
2015年4月25日,「百名紅通人員」名單公佈僅三天,就傳來了首名嫌犯落網的消息,速度之快出人意料,也讓落網的第一人戴學民備受輿論關注。</p>
<div class="pdtt_trbs">
<a href="list_25424" target="_blank">一號專案</a>
<span>59分鐘前</span>
<div class="trbstxt">推薦</div>
</div>
複製代碼
使用lxml庫來解析:
# 提取topCids的正則
cids_pattern = re.compile('&topCids=(.*?)&', re.S)
# 提取首頁的新聞數據
index_resp = r.get(index_url).text
index_html = etree.HTML(index_resp)
news_urls = index_html.xpath('//div[@class="news_li"]/div[@class="news_tu"]/a') # 新聞連接列表
imgs_urls = index_html.xpath('//div[@class="news_li"]/div[@class="news_tu"]/a/img') # 新聞圖片列表
overviews = index_html.xpath('//div[@class="news_li"]/p') # 新聞簡介列表
times = index_html.xpath('//div[@class="pdtt_trbs"]/span') # 時間列表
origins = index_html.xpath('//div[@class="pdtt_trbs"]/a') # 來源列表
for i in range(0, int(len(news_urls) / 2)):
print(index_url + news_urls[i].get('href'))
print('http:' + imgs_urls[i].get('src'))
print(imgs_urls[i].get('alt'))
print(overviews[i].text.replace('\n', '').replace(' ', ''))
print(times[i].text)
print(origins[i].text)
# 正則提取topCids
topCids = cids_pattern.search(index_resp)
if topCids is not None:
print('topCids:', topCids.group(1))
複製代碼
部分輸出結果以下:
而後再自行整合下代碼,把採集到的新聞都放到同一個列表中,返回。
數據解析完了,接着就到數據存儲了,這裏咱們使用MySQL來保存數據,每次都傳字符有點繁瑣。 直接定義成一個類:
# 新聞類
class News:
def __init__(self, title, overview, url, image, create_time, origin):
self.title = title
self.overview = overview
self.url = url
self.image = image
self.create_time = create_time
self.origin = origin
def to_dict(self):
return {'title': self.title, 'overview': self.overview, 'url': self.url, 'image': self.image,
'create_time': self.create_time, 'origin': self.origin}
複製代碼
接着寫一個數據庫操做類,Python中操做MySQL須要安裝一波pymysql庫:
pip install pymysql
複製代碼
而後定義幾個操做數據庫的函數,顯示建立庫,表,以及刪除表:
# 建立數據庫
def create_db(self):
cursor = self.db.cursor()
cursor.execute("CREATE DATABASE IF NOT EXISTS news CHARACTER SET UTF8MB4")
cursor.close()
# 建立表
def create_table(self):
self.db = pymysql.connect('localhost', user='root', password='Jay12345', port=3306, db='news')
cursor = self.db.cursor()
cursor.execute("CREATE TABLE IF Not Exists news("
"id INT AUTO_INCREMENT PRIMARY KEY,"
"title TEXT NOT NULL,"
"overview TEXT,"
"url TEXT NOT NULL,"
"image TEXT NOT NULL,"
"create_time TEXT NOT NULL,"
"origin TEXT NOT NULL)")
cursor.close()
# 刪除表
def delete_table(self):
self.db = pymysql.connect('localhost', user='root', password='Jay12345', port=3306, db='news')
cursor = self.db.cursor()
cursor.execute("DROP TABLE news")
cursor.close()
複製代碼
接着是插入數據,不難寫出以下這樣的插入語句:
sql = "INSERT INTO news(title,overview,url,image,create_time,origin) VALUES (" + title + "," + overview + "," + url + "," + image + "," + create_time + "," + create_time + ")"
複製代碼
這樣拼接除了長很差看,還繁瑣,容易出錯,咱們可使用格式化符%s來替代,而後在調用execute() 函數時把value值經過元組的方式傳入,優化下:
sql = "INSERT INTO news(title,overview,url,image,create_time,origin) VALUES (%s, %s, %s, %s, %s, %s)"
cursor.execute(sql, (title,overview,url,image,create_time,origin))
複製代碼
還有個小的問題是,若是新增或刪除字段,數據庫語句又要更改,傳入的元組也要改。 其實能夠變通下,傳入一個動態變化的字典,而後SQL語句根據字典動態構造。
keys = ','.join(self.news_column_list)
values = ','.join(['%s'] * len(self.news_column_list))
sql = 'INSERT INTO news ({keys}) VALUES ({values})'.format(keys=keys, values=values)
cursor.execute(sql, tuple(news.to_dict().values()))jb
複製代碼
調整後的代碼:
def __init__(self):
self.db = pymysql.connect('localhost', user='root', password='Jay12345', port=3306)
self.news_column_list = ['title', 'overview', 'url', 'image', 'create_time', 'origin']
self.create_db()
self.create_table()
# 插入一條新聞
def insert_news(self, news):
cursor = self.db.cursor()
try:
keys = ','.join(self.news_column_list)
values = ','.join(['%s'] * len(self.news_column_list))
sql = 'INSERT INTO news ({keys}) VALUES ({values})'.format(keys=keys, values=values)
cursor.execute(sql, tuple(news.to_dict().values()))
self.db.commit()
except Exception as e:
print(str(e))
self.db.rollback()
finally:
cursor.close()
# 插入多條新聞
def insert_some_news(self, some_news):
cursor = self.db.cursor()
try:
keys = ','.join(self.news_column_list)
values = ','.join(['%s'] * len(self.news_column_list))
sql = 'INSERT INTO news ({keys}) VALUES ({values})'.format(keys=keys, values=values)
for news in some_news:
cursor.execute(sql, tuple(news.to_dict().values()))
self.db.commit()
except Exception as e:
print(str(e))
self.db.rollback()
finally:
cursor.close()
複製代碼
接着把前面直接print的都換成News類,傳參,添加到列表中,返回,而後調用批量插入函數,運行後能夠在 數據庫中看到咱們爬取到的新聞內容:
em...數據是爬取到了,可是貌似有些問題,除了上面的建立時間不對外,還有:
把提取的正則改下:
r'<a href="(.*?)".*?img src="(.*?)" alt="(.*?)".*?<p>(.*?)</p>.*?pdtt_trbs".*?<a.*?>(.*?)</a>.*?<span>(.*?)</span>', re.S)
複製代碼
接着再次審視下看看爬取到的數據,到此,澎湃新聞的爬取完成,除了這個站點外,讀者還可j以如法炮製 爬取相似的新聞站點,好比下面的這些,這裏就再也不作重複勞動的事咯~
接着是爬取各種新聞日報的微博,爬取網站時,若是PC端的網頁驗證比較複雜,能夠看看有沒有 M端(手機網頁端),試試從M端尋找突破口。好比新浪微博的M端:m.weibo.cn/ 能夠經過:m.weibo.cn/u/用戶id 來打開某個用戶的微博,好比:
接着打開抓包,過濾XHR,看下Ajax加載的請求URL:
看下返回的數據:
行吧,分析下URL的規律,基地址就不用說了:m.weibo.cn/api/contain… 接着是參數,能夠肯定的參數有以下兩個:
剩下的containerid和since_id,要跟一跟,先肯定是否是固定的,滾多幾遍,看看新的URL:
https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701&since_id=4328498967786823
https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701&since_id=4328416646208508
複製代碼
行吧containerid是不變的,而since_id應該是從上一個接口返回的,倒數第二請求搜下:4328416646208508,
果真,那就剩下containerid咯,把全部請求都清了,接着刷新一波頁面,搜下:1076032803301701:
可是這個URL中也有containerid啊,我都還沒拿到,怎麼拼URL?試試不加這個參數?訪問:
https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701
複製代碼
嘖嘖,拿到同樣的數據,行吧,接着捋下模擬請求的流程:
先是獲取containerid:
# 獲取containerid
def fetch_container_id(userid):
resp = r.get(ajax_url, headers=ajax_header, params={'type': 'uid', 'value': userid}).json()
print(resp.get('data').get('tabsInfo').get('tabs')[1].get('containerid'))
複製代碼
運行結果:
行吧,成功獲取到containerid了,接着就是構造ajax請求了。第一個請求是沒有since_id的, 然後續請求則從上一次的ajax結果中獲取since_id做爲下次請求的參數。
# 獲取微博
def fetch_weibo(userid, containerid):
since_id = ''
if since_id == '':
resp = r.get(ajax_url, headers=ajax_header, params={'type': 'uid', 'value': userid, 'containerid':
containerid}).json()
cards = resp.get('data').get('cards')
for card in cards:
mblog = card.get('mblog')
print("建立時間:", mblog.get('created_at'))
print("text:", mblog.get('text'))
複製代碼
部分輸出結果以下:
另外,在測試分頁的時候,發現一個很奇怪的問題,since_id拿不到???同一個連接,Requests拿到的結果 和瀏覽器拿到的結果居然不同,儘管我已經設置了各類Header:
# 請求URL
https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701
# Requests請求的響應結果
{'ok': 1, 'data': {'cardlistInfo': {'containerid': '1076032803301701', 'v_p': 42, 'show_style': 1, 'total': 95084, 'page': 2}
# 瀏覽器訪問結果
{"ok": 1, "data": {"cardlistInfo": {"containerid": "1076032803301701", "v_p": 42, "show_style": 1, "total": 95084, "since_id": 4328880058268227}
複製代碼
有知道怎麼拿到since_id的童鞋能夠在評論區留言。搜了下網上的方案,直接用page參數,而非since_id。
一開始,我是想着去解析微博標題的,而後去解析標題,提取數據,可是處理起來有點繁瑣。 後來想一想仍是算了,即刻APP也沒作這個,點擊新聞是直接跳微博詳情的。 詳情頁的url規則:
https://m.weibo.cn/detail/{微博id}
複製代碼
因此這裏要作只是解析:新聞標題,新聞建立時間,獲取微博id拼接URL做爲新聞詳情頁的連接。 先提取一波不一樣樣式的微博信息:
【送別林清玄 重溫他筆下的愜意與淡然】23日,臺灣知名做家林清玄過世,長年65歲。他的做品經常出如今《讀者》《青年文摘》上,每一個青少年或許都曾讀過。「全部時間裏的事物,都永遠不會回來了。」「和時間賽跑」的人,永遠不會回來了。重溫,送別!
【教科書式教育!公交車禮讓行人,家長教孩子鞠躬致謝<span class="url-icon"><img alt=[贊] src="//h5.sinaimg.cn/m/emoticon/icon/others/h_zan-6e88e6f51d.png" style="width:1em; height:1em;" /></span>】近日,山東青島,一輛公交車在斑馬線禮讓行人時,一位家長牽着孩子過馬路,一邊跟孩子說着什麼,一遍彎腰教孩子鞠躬致謝。公交公司的工做人員表示,平時禮讓常遇到路人豎大拇指的、微笑的,第一次遇到教育孩子感恩的。<a data-url="http://t.cn/E5lZLD1" href="http://miaopai.com/show/23UZs~CF6PAqyDdQ25HYMatq5jujmg0BQ4yfsQ__.htm?showurl=http%3A%2F%2Fmiaopai.com%2Fshow%2F23UZs%7ECF6PAqyDdQ25HYMatq5jujmg0BQ4yfsQ__.htm&url_open_direct=1&toolbar_hidden=1&url_type=39&object_type=video&pos=1&containerid=230442744560b81311e0be36d04147970e4dcf&luicode=10000011&lfid=1076032803301701" data-hide=""><span class='url-icon'><img style='width: 1rem;height: 1rem' src='https://h5.sinaimg.cn/upload/2015/09/25/3/timeline_card_small_video_default.png'></span><span class="surl-text">微辣Video的秒拍視頻</span></a>
<a href="https://m.weibo.cn/search?containerid=231522type%3D1%26t%3D10%26q%3D%23%E5%AE%88%E6%8A%A4%E5%AE%9D%E8%B4%9D%23&isnewpage=1&luicode=10000011&lfid=1076032803301701" data-hide=""><span class="surl-text">#守護寶貝#</span></a>【<span class="url-icon"><img alt=[話筒] src="//h5.sinaimg.cn/m/emoticon/icon/others/o_huatong-9f86617336.png" style="width:1em; height:1em;" /></span>急轉尋人!福建12歲女孩昨日走失】陳燕娟(女,12歲),1月22日12時40分許,從福建莆田荔城區拱辰街道富力小區走失。走失時,她上身穿紫色外套,下身穿牛仔褲,戴粉色眼鏡。若有線索,請迅速與警方聯繫:13799610199。速擴!<a href='/n/公安部兒童失蹤信息緊急發佈平臺'>@公安部兒童失蹤信息緊急發佈平臺</a>
【奶白鯽魚湯<span class="url-icon"><img alt=[饞嘴] src="//h5.sinaimg.cn/m/emoticon/icon/default/d_chanzui-ad3f4f182c.png" style="width:1em; height:1em;" /></span>】鯽魚湯這樣作,湯白如牛奶又沒腥味,喝一口根本停不下來!趕忙馬走試試~(吃貨祕籍)
【春運首日發送旅客6754.5萬人次 你坐火車仍是飛機回家?】21日,<a href="https://m.weibo.cn/search?containerid=231522type%3D1%26t%3D10%26q%3D%232019%E6%98%A5%E8%BF%90%23&luicode=10000011&lfid=1076032803301701" data-hide=""><span class="surl-text">#2019春運#</span></a>首日,全國鐵路、道路、水路、民航共發送旅客6754.5萬人次,比去年同期增加1.7%。其中鐵路發送旅客953.2萬人次,民航發送旅客166.2萬人次。<a data-url="http://t.cn/E5TC2Xl" href="https://media.weibo.cn/article?object_id=1022%3A2309351000024331564912780165&extparam=lmid--4331573362959560&luicode=10000011&lfid=1076032803301701&id=2309351000024331564912780165" data-hide=""><span class='url-icon'><img style='width: 1rem;height: 1rem' src='https://h5.sinaimg.cn/upload/2015/09/25/3/timeline_card_small_article_default.png'></span><span class="surl-text">春運首日發送旅客6754.5萬人次 你坐火車仍是飛機回家</span></a> 千山萬水,回家的路最美。今年,你的回家路,是什麼?
【畫面引發極度溫馨!這些<a href="https://m.weibo.cn/search?containerid=231522type%3D1%26t%3D10%26q%3D%23%E9%AB%98%E6%83%85%E5%95%86%E6%89%A7%E6%B3%95%E7%9E%AC%E9%97%B4%23&extparam=%23%E9%AB%98%E6%83%85%E5%95%86%E6%89%A7%E6%B3%95%E7%9E%AC%E9%97%B4%23&luicode=10000011&lfid=1076032803301701" data-hide=""><span class="surl-text">#高情商執法瞬間#</span></a>,真耐看<span class="url-icon"><img alt=[good] src="//h5.sinaimg.cn/m/emoticon/icon/others/h_good-55854d01bb.png" style="width:1em; height:1em;" /></span>】一則「交警要求司機撿起車窗拋出垃圾」的新聞引起好評。鐵面無私、執法必嚴是警察的擔當,而這些既講道理又有溫度的「高情商」更加珍貴,讓人感受極度溫馨。人性化執法,有溫度!<a data-url="http://t.cn/Eq8OzkF" href="http://miaopai.com/show/3W~4f56NCb1YfSaGEsG7jmTyiNYgVO3PiN7RDg__.htm?showurl=http%3A%2F%2Fmiaopai.com%2Fshow%2F3W%7E4f56NCb1YfSaGEsG7jmTyiNYgVO3PiN7RDg__.htm&url_open_direct=1&toolbar_hidden=1&url_type=39&object_type=video&pos=1&containerid=230442e07076f4d85282f6d54242841ee01b15&luicode=10000011&lfid=1076032803301701" data-hide=""><span class='url-icon'><img style='width: 1rem;height: 1rem' src='https://h5.sinaimg.cn/upload/2015/09/25/3/timeline_card_small_video_default.png'></span><span class="surl-text">人民日報的秒拍視頻</span></a>
複製代碼
觀察一波規律,不難發現標題都放在【】裏,寫個正則提取一波便可:
title_pattern = re.compile(r'【(.*?)】', re.S)
複製代碼
部分解析結果以下:
接着到數據清洗了,先過濾一波表情標籤:
<span class="url-icon"><img alt=[贊] src="//h5.sinaimg.cn/m/emoticon/icon/others/h_zan-6e88e6f51d.png" style="width:1em; height:1em;" /></span>
複製代碼
直接編寫正則,直接把這一部分替換爲空字符串。
# 過濾emoji表情的正則
emoji_filter_pattern = re.compile(r'<span class="url-icon">.*?</span>', re.S)
# 把表情替換爲空格
title = emoji_filter_pattern.sub('', title)
複製代碼
行吧,替換完了,接着是下面這種標題的處理:
中國交通<a href="https://m.weibo.cn/search?containerid=231522type%3D1%26t%3D10%26q%3D%23%E5%8D%81%E5%B9%B4%E5%AF%B9%E6%AF%94%E6%8C%91%E6%88%98%23&extparam=%23%E5%8D%81%E5%B9%B4%E5%AF%B9%E6%AF%94%E6%8C%91%E6%88%98%23&luicode=10000011&lfid=1076032803301701" data-hide=""><span class="surl-text">#十年對比挑戰#</span></a>
複製代碼
須要提取一波a標籤裏的,兩個#號夾着的文本,依舊是正則提取一波:
a_surl_text_pattern = re.compile(r'(.*?)<a.*?<span class="surl-text">#(.*?)#</span></a>(.*?)')
複製代碼
提取後,發現還有下面這樣的數據:
一樣寫個正則,過濾一波a標籤,提取文本:
a_text_pattern = re.compile(r'(.*?)<a.*?>(.*?)</a>')
複製代碼
爬個30頁看看結果標題是否正確,確認無問題後,接着就是獲取日期和微博id咯:
行吧,數據都拿到了,接着就是存數據庫裏咯,和上面那個同樣,直接存數據庫中。 比較簡單,咱們另外加一個字典,用來保存日報微博的名字和uid,好比這些:
news_ids = {
'人民日報': '2803301701',
'廣州日報': '1887790981',
'南方日報': '1682207150',
'中國日報': '1663072851',
'光明日報': '1402977920',
'央視新聞': '2656274875',
'環球時報': '1974576991',
'澎湃新聞': '5044281310',
'頭題新聞': '1618051664',
}
複製代碼
加上循環,最後的完整代碼以下:
""" 抓取新浪微博的爬蟲 """
import requests as r
import time
import random
import re
from DBHelper import News, DBHelper
index_url = 'https://m.weibo.cn/' # 首頁基地址
wb_detail_base_url = 'https://m.weibo.cn/detail/' # 微博詳情頁基地址
ajax_url = index_url + 'api/container/getIndex' # ajax請求基地址
ajax_header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 '
'Safari/537.36',
'X-Requested-With': 'XMLHttpRequest'
}
news_ids = {
'人民日報': '2803301701',
'廣州日報': '1887790981',
'南方日報': '1682207150',
'中國日報': '1663072851',
'光明日報': '1402977920',
'央視新聞': '2656274875',
'環球時報': '1974576991',
'澎湃新聞': '5044281310',
'頭題新聞': '1618051664',
}
title_pattern = re.compile(r'【(.*?)】', re.S) # 新聞標題獲取正則
emoji_filter_pattern = re.compile(r'<span class="url-icon">.*?</span>', re.S) # 新聞標題表情過濾正則
a_surl_text_pattern = re.compile(r'(.*?)<a.*?<span class="surl-text">#(.*?)#</span></a>(.*?)') # 提取連接中的文本
a_text_pattern = re.compile(r'(.*?)<a.*?>(.*?)</a>') # 提取連接中的文本
abstract_pattern = re.compile(r'', re.S) # 新聞概述提取正則
news_url_pattern = re.compile(r'<a\s+href="(.*)?".*?#(.*?)#', re.S) # 新聞概述提取正則
# 獲取containerid
def fetch_container_id(userid):
resp = r.get(ajax_url, headers=ajax_header, params={'type': 'uid', 'value': userid}).json()
return resp.get('data').get('tabsInfo').get('tabs')[1].get('containerid')
# 獲取微博
def fetch_weibo(userid, containerid, username):
news_list = []
cur_page = 1
while True:
resp = r.get(ajax_url, headers=ajax_header, params={'type': 'uid', 'value': userid, 'containerid':
containerid, 'page': cur_page})
print('爬取【%s】:%s' % (username, resp.url))
resp = resp.json()
cards = resp.get('data').get('cards')
for card in cards:
mblog = card.get('mblog')
text = mblog.get('text')
title_result = title_pattern.search(text)
if title_result is not None:
title = title_result.group(1)
# 過濾表情
title = emoji_filter_pattern.sub('', title)
# 過濾超連接
a_text_result = a_surl_text_pattern.search(title)
if a_text_result is not None:
title = a_text_result.group(1) + a_text_result.group(2) + a_text_result.group(3)
title = a_text_pattern.sub('', title)
if mblog.get('created_at').find('前') == -1:
return news_list
news_list.append(
News(title, '', wb_detail_base_url + mblog.get('id'), '', mblog.get('created_at'), username))
cur_page += 1
time.sleep(random.randint(5, 10))
if __name__ == '__main__':
helper = DBHelper()
for key, value in news_ids.items():
result_list = fetch_weibo(value, fetch_container_id(value), key)
helper.insert_some_news(result_list)
複製代碼
部分運行結果以下:
到此,各種日報的微博就爬取完了,另外每一個微博號對應的containerid是不變的, 你還能夠把這些直接存到數據庫中,這樣,就不用每次執行腳本都去請求一次了。
把代碼丟到遠程服務器上,筆者使用的是騰訊雲主機,先執行一波下述命令安裝MySQL:
# 安裝MySQL服務,輸入Y後,如圖會讓你輸入密碼,重複輸入確認
sudo apt-get install mysql-server
# 安裝MySQL客戶端
sudo apt-get install mysql-client
# 安裝libmysqlclient,輸入Y
sudo apt-get install libmysqlclient-dev
複製代碼
安裝完後執行一波腳本,缺什麼庫裝什麼庫,腳本跑起來就行。
MySQL默認是不容許遠程訪問的,下面簡單說下使用DataGrip鏈接遠程數據庫的流程。
sudo /etc/init.d/mysql stop
複製代碼
vim /etc/mysql/my.cnf
複製代碼
/etc/init.d/mysql start
複製代碼
netstat -an|grep 3306
複製代碼
mysql -u root -p # 用戶登陸
use mysql; # 選中mysql數據庫
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '密碼' WITH GRANT OPTION; # 受權
FLUSH PRIVILEGES; # 更新權限
EXIT # 退出mysql
複製代碼
注:上面設置的結果是全部ip都能訪問數據庫,如需指定特定ip才能訪問的話, 能夠把'@'%改爲特定ip。還有這裏用的是root帳戶,你能夠經過下述命令建立 一個新的用戶,而後用這個用戶進行訪問,能夠在此作一些權限控制操做。
CREATE USER 新用戶 IDENTIFIED BY '密碼';
GRANT ALL PRIVILEGES ON *.* TO '新用戶'@'%' IDENTIFIED BY '密碼' WITH GRANT OPTION; # 受權
FLUSH PRIVILEGES;
複製代碼
出現如圖所示的Successful,表明鏈接成功。
在linux中可使用cron來執行一些定時任務,linux自帶,默認開機就自動啓動, 啓動後會讀取全部配置文件(全局配置文件**/etc/crontab** 和 每一個用戶的計劃任務配置文件), cron會根據命令和執行時間來調度工做任務。cron的經常使用命令以下:
sudo service cron restart # 重啓cron
sudo service cron stop # 中止cron
sudo service cron start # 啓動cron
sudo service cron status # 查看cron狀態
複製代碼
除此以外,還有下述命令能夠操做crontab:
sudo crontab –l # 顯示crontab文件
sudo crontab –e # 修改crontab文件
sudo crontab –r # 刪除crontab文件
sudo crontab –ir # 刪除crontab文件前提醒用戶
複製代碼
接着執行上面的sudo crontab –e命令,修改一波計劃任務,命令的格式以下:
* * * * * command
參數依次爲:
除此以外還可使用通配符:
*
(任意值,好比在天的位置寫*表明天天),
(容許在某一個位填多個值,表示某幾個時間段執行,逗號分隔)/
(斜線,配合*使用,表明每隔多長時間,好比在小時位寫/2表明每隔兩小時)大概規則就這些,接着在配置文件中添加執行命令,8點鐘刪一波表,8點1分抓澎湃新聞, 8點15分抓新浪微博的新聞。具體內容以下:
0 8 * * * python3 /home/ubuntu/AutoNews/DBHelper.py > /home/ubuntu/AutoNews/db.txt
1 8 * * * python3 /home/ubuntu/AutoNews/PenpaiSpider.py > /home/ubuntu/AutoNews/pp.txt
15 8 * * * python3 /home/ubuntu/AutoNews/WeiboSpider.py > /home/ubuntu/AutoNews/wb.txt
複製代碼
配置完後,鍵入:sudo service cron restart,重啓一波,而後就能夠坐等次日早上看看結果咯(日誌文件的建立日期)。
若是你不想動/etc/crontab這個全局配置文件,也能夠單獨寫一個cron的文件,好比:news.cron, 接着鍵入下述命令添加定時任務:
crontab news.cron > news.log
複製代碼
添加後能夠鍵入:crontab -l
查看是否配置成功,或者看下/var/spool/cron目錄下是否生成了對應的腳本。 (注:此方法會直接替換該用戶下的crontabs,而不是新增)
行吧,本節的內容就這麼多,直接在DataGrip上看新聞仍是有些不方便, 下節,利用Flask寫幾個接口,可能會好看一些,有疑問的歡迎在評論區留言,謝謝~
Tips:公號目前只是堅持發早報,在慢慢完善,有點心虛,只敢貼個小圖,想看早報的能夠關注下~