偷個懶,公號摳腚早報80%自動化——2.手撕爬蟲定時爬新聞

簡述

在上一節偷個懶,公號摳腚早報80%自動化——1.批量生成微信封面圖中,咱們利用opencv庫 與PIL庫生成半年份量的微信封面圖,每次發佈直接選圖,美滋滋。按照劇本,本節咱們的目標是:html

編寫爬蟲定時去爬取新聞,保存到本地數據庫中node

具體點:python

  • 1.編寫爬取新聞站點的爬蟲;
  • 2.把爬取到的新聞保存到數據庫中;
  • 3.腳本定時執行,天天早上8點清空前一天的數據,再去爬取新聞;

說到爬蟲,不得不提「爬蟲五步曲」:明確爬取目標,分析請求,模擬請求,解析數據,保存數據。 本節以「澎湃新聞和爬取各種日報微博」爲例講解,其餘的站點也是大同小異,有興趣的讀者自行擴展。mysql

很少嗶嗶,直接開始本節內容。linux


1.爬取澎湃新聞


0x1 明確爬取目標

爬取站點:澎湃新聞:www.thepaper.cn/,網頁界面以下:web

肯定爬取目標爬取首頁精選裏的新聞,採集新聞標題,概述,連接,來源等到數據庫中。ajax


0x2 分析請求

首頁,滾動到底部,會加載更多,猜想是**Ajax動態加載**,F12打開開發者工具,過濾XHR選項, 抓一波包,選項卡中出現一個請求:正則表達式

切換到Response選項卡,看下請求的響應數據:sql

行吧,XML類型的數據,接着開始分析URL的規則,滾動到底部幾回,採集下請求的URL:數據庫

https://www.thepaper.cn/load_chosen.jsp?nodeids=25949&topCids=2838382,2840563,2840504,2840260,&pageidx=2&lastTime=1547170820108
https://www.thepaper.cn/load_chosen.jsp?nodeids=25949&topCids=2838382,2840563,2840504,2840260,&pageidx=3&lastTime=1547170216130
https://www.thepaper.cn/load_chosen.jsp?nodeids=25949&topCids=2838382,2840563,2840504,2840260,&pageidx=4&lastTime=1547166699225
複製代碼

不難看出,www.thepaper.cn/load_chosen…Ajax接口的基地址pageidx頁碼lastTime時間戳;至於中間的中間這段:nodeids=25949&topCids=2838382,2840563,2840504,2840260,&pageidx=2, 可能須要咱們猜想一下。nodeids猜想是分類id?首頁瞎點一下其餘的分類,發現有兩類連接:

https://www.thepaper.cn/channel_26916
https://www.thepaper.cn/list_26912
複製代碼

em...也是五位的數字,分別替換25949成試試?果真,channel_25949顯示的內容和精選的內容一致。 而在這個頁面滾動到底部一樣會加載更多,Ajax的請求URL爲:

https://www.thepaper.cn/load_index.jsp?nodeids=&topCids=&pageidx=2&lastTime=1547175167792
複製代碼

So,nodeids=25949就是固定的咯,而後是topCids=2838382,2840563,2840504,2840260,回到精選頁:

這四個推,引發個人注意了,看下標題結點對應的HTML代碼:

嘖嘖嘖,行吧,這個topCids就是頂部的四個推薦對應的id,到此,請求URL的規則就摸清楚了。 另外,試了下把pageidx=2改爲1,響應的結果和2同樣。因此還須要分兩步走:

  • 採集首頁未分頁
  • 加載的數據,而後再去請求Ajax的請求解析數據

接着是請求頭:

referer: https://www.thepaper.cn/
user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36
x-requested-with: XMLHttpRequest
複製代碼

0x3 模擬請求

使用PostMan模擬下請求URL,加上請求頭,能夠,能拿到數據。

行吧,寫成Python代碼:

import time
import requests as r

index_url = "https://www.thepaper.cn/"
ajax_base_url = "https://www.thepaper.cn/load_chosen.jsp?"
headers = {
    'referer': 'https://www.thepaper.cn/',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 '
                  'Safari/537.36',
    'x-requested-with': 'XMLHttpRequest'
}

# 獲取Ajax數據
def fetch_ajax_data():
    ajax_params = {
        'nodeids':25949,
        'topCids':'2840959,2840504,2840804,2841177,',
        'pageidx': 2,
        'lastTime': int(round(time.time() * 1000))
    }
    resp = r.get(ajax_base_url, params=ajax_params, headers=headers).text
    print(resp)
複製代碼

0x4 解析數據

數據拿到了,接着就到解析數據了,數據是XML格式的,截取其中一部分來分析:

<div class="news_li" id="cont2840440" contType="91">
    <div class="news_tu">
        <a href="newsDetail_forward_2840440" class="tiptitleImg" data-id="2840440" target="_blank">
            <img src="//image.thepaper.cn/image/14/160/210.jpg" alt="雲南副廳級官員因迎接遲到大罵縣委書記,他爲什麼敢這麼狂?">
            <span class="p_time"></span>
        </a>
    </div>
    <h2>
        <a href="newsDetail_forward_2840440" id="clk2840440" target="_blank">雲南副廳級官員因迎接遲到大罵縣委書記,他爲什麼敢這麼狂?</a>
    </h2>
    <p>
        和建,是一個怎樣的人?他爲何在退休先後仍對權力依依不捨?從他的個案中能夠汲取什麼啓示和教訓?
    </p>
    <div class="pdtt_trbs">
        <a href="govAffairs_index.jsp?nodeId=" target="_blank" class="govname">澎湃問政</a>
        <span>2小時前</span>
        <span class="trbszan">62</span>
    </div>
    <div id="last2" lastTime="1547174986415" pageIndex="2" style="display:none;"></div>
</div>
複製代碼

關於XML的解析,Python中能夠經過SAX,DOM,以及ElementTree三種方式來進行解析。 可是有個問題,這XML有點不對勁,全部元素都必須有關閉標籤,可是<img>那裏的標籤並無 結束標記。直接用ElementTree解析,直接就報錯了。若是想正常解析須要爲每一個img標籤 都加上'/',處置以外,你還要在外層裹一層標籤好比<start>數據</start>。那麼繁瑣, 直接寫個正則來提取咱們想要的數據吧。先明確下咱們想提取的數據結果: 新聞標題新聞描述新聞圖片連接新聞連接新聞來源新聞發佈時間。 接着利用正則表達式分組來提取數據:

ajax_pattern = re.compile(
    r'<a href="(.*?)".*?img src="(.*?)" alt="(.*?)".*?<p>(.*?)</p>.*?_blank">(.*?)</a>.*?<span>(.*?)</span>', re.S)


def fetch_ajax_data():
    ajax_params = {
        'nodeids': 25949,
        'topCids': '2840959,2840504,2840804,2841177,',
        'pageidx': 2,
        'lastTime': int(round(time.time() * 1000))
    }
    resp = r.get(ajax_base_url, params=ajax_params, headers=headers).text
    results = ajax_pattern.findall(resp)
    for result in results:
        print("\n新聞地址:", index_url + result[0])
        print("圖片地址:", 'http:' + result[1])
        print("新聞標題:", result[2])
        print("新聞描述:", result[3].replace('\n', '').replace(' ', ''))
        print("新聞來源:", result[4])
        print("新聞時間:", result[5])
複製代碼

運行後的部分輸出結果以下:

能夠的,數據獲取到了,接着完善下這個方法,循環去獲取直到數據中出現1天前。 另外,爲了不訪問過於頻繁致使被封,每次訪問隨緣休眠0-3秒,由於腳本是早上 8j點定時去爬取的,採集完可能我可能都還沒醒,耗時一點也沒啥,就不上代理了。 修改完後的代碼:

def fetch_ajax_data():
    ajax_params = {
        'nodeids': 25949,
        'topCids': '2840959,2840504,2840804,2841177,',
    }
    pageidx = 2
    news_list = []  # 新聞列表
    while True:
        ajax_params['pageidx'] = pageidx
        ajax_params['lastTime'] = int(round(time.time() * 1000))
        resp = r.get(ajax_base_url, params=ajax_params, headers=headers)
        resp_content = resp.text
        print(resp.url)
        results = ajax_pattern.findall(resp_content)
        for result in results:
            if result[5] == '1天前':
                return news_list
            else:
                news_list.append([index_url + result[0], 'http:' + result[1], result[2],
                                  result[3].replace('\n', '').replace(' ', ''), result[4], result[5]])
        pageidx += 1
        time.sleep(random.randint(0, 2))
複製代碼

部分輸出結果以下

前面也說了Ajax的接口並不能獲取全部數據,還須要去解析一波首頁,拿兩個東西:

  • 1.首頁進來後加載的數據
  • 2.頂部的幾個topCids參數

新聞的結點結構r

<div class="news_li" id="cont2845046" conttype="0">
        <div class="news_tu">
            <a href="newsDetail_forward_2845046" class="tiptitleImg" data-id="2845046" target="_blank"> <img src="//image1.thepaper.cn/image/14/202/688.jpg" alt="《紅色通緝》第二集:織網">
                <span class="p_time"></span>
                    </a>
        </div>
        <h2>
            <a href="newsDetail_forward_2845046" id="clk2845046" target="_blank">《紅色通緝》第二集:織網</a>
        </h2>
        <p>
                2015年4月25日,「百名紅通人員」名單公佈僅三天,就傳來了首名嫌犯落網的消息,速度之快出人意料,也讓落網的第一人戴學民備受輿論關注。</p>
        <div class="pdtt_trbs">
            <a href="list_25424" target="_blank">一號專案</a>
                        <span>59分鐘前</span>
            <div class="trbstxt">推薦</div>
	</div>
複製代碼

使用lxml庫來解析:

# 提取topCids的正則
cids_pattern = re.compile('&topCids=(.*?)&', re.S)

 # 提取首頁的新聞數據
    index_resp = r.get(index_url).text
    index_html = etree.HTML(index_resp)
    news_urls = index_html.xpath('//div[@class="news_li"]/div[@class="news_tu"]/a')  # 新聞連接列表
    imgs_urls = index_html.xpath('//div[@class="news_li"]/div[@class="news_tu"]/a/img')  # 新聞圖片列表
    overviews = index_html.xpath('//div[@class="news_li"]/p')  # 新聞簡介列表
    times = index_html.xpath('//div[@class="pdtt_trbs"]/span')  # 時間列表
    origins = index_html.xpath('//div[@class="pdtt_trbs"]/a')  # 來源列表
    for i in range(0, int(len(news_urls) / 2)):
        print(index_url + news_urls[i].get('href'))
        print('http:' + imgs_urls[i].get('src'))
        print(imgs_urls[i].get('alt'))
        print(overviews[i].text.replace('\n', '').replace(' ', ''))
        print(times[i].text)
        print(origins[i].text)
    # 正則提取topCids
    topCids = cids_pattern.search(index_resp)
    if topCids is not None:
        print('topCids:', topCids.group(1))
複製代碼

部分輸出結果以下

而後再自行整合下代碼,把採集到的新聞都放到同一個列表中,返回。

0x5 保存數據

數據解析完了,接着就到數據存儲了,這裏咱們使用MySQL來保存數據,每次都傳字符有點繁瑣。 直接定義成一個類:

# 新聞類
class News:
    def __init__(self, title, overview, url, image, create_time, origin):
        self.title = title
        self.overview = overview
        self.url = url
        self.image = image
        self.create_time = create_time
        self.origin = origin

    def to_dict(self):
        return {'title': self.title, 'overview': self.overview, 'url': self.url, 'image': self.image,
                'create_time': self.create_time, 'origin': self.origin}
複製代碼

接着寫一個數據庫操做類,Python中操做MySQL須要安裝一波pymysql庫:

pip install pymysql
複製代碼

而後定義幾個操做數據庫的函數,顯示建立庫,表,以及刪除表:

# 建立數據庫
    def create_db(self):
        cursor = self.db.cursor()
        cursor.execute("CREATE DATABASE IF NOT EXISTS news CHARACTER SET UTF8MB4")
        cursor.close()

    # 建立表
    def create_table(self):
        self.db = pymysql.connect('localhost', user='root', password='Jay12345', port=3306, db='news')
        cursor = self.db.cursor()
        cursor.execute("CREATE TABLE IF Not Exists news("
                       "id INT AUTO_INCREMENT PRIMARY KEY,"
                       "title TEXT NOT NULL,"
                       "overview TEXT,"
                       "url TEXT NOT NULL,"
                       "image TEXT NOT NULL,"
                       "create_time TEXT NOT NULL,"
                       "origin TEXT NOT NULL)")
        cursor.close()

    # 刪除表
    def delete_table(self):
        self.db = pymysql.connect('localhost', user='root', password='Jay12345', port=3306, db='news')
        cursor = self.db.cursor()
        cursor.execute("DROP TABLE news")
        cursor.close()
複製代碼

接着是插入數據,不難寫出以下這樣的插入語句:

sql = "INSERT INTO news(title,overview,url,image,create_time,origin) VALUES (" + title + "," + overview + "," + url + "," + image + "," + create_time + "," + create_time + ")"
複製代碼

這樣拼接除了長很差看,還繁瑣,容易出錯,咱們可使用格式化符%s來替代,而後在調用execute() 函數時把value值經過元組的方式傳入,優化下:

sql = "INSERT INTO news(title,overview,url,image,create_time,origin) VALUES (%s, %s, %s, %s, %s, %s)"
cursor.execute(sql, (title,overview,url,image,create_time,origin))
複製代碼

還有個小的問題是,若是新增或刪除字段,數據庫語句又要更改,傳入的元組也要改。 其實能夠變通下,傳入一個動態變化的字典,而後SQL語句根據字典動態構造。

keys = ','.join(self.news_column_list)
values = ','.join(['%s'] * len(self.news_column_list))
sql = 'INSERT INTO news ({keys}) VALUES ({values})'.format(keys=keys, values=values)
cursor.execute(sql, tuple(news.to_dict().values()))jb 
複製代碼

調整後的代碼

def __init__(self):
        self.db = pymysql.connect('localhost', user='root', password='Jay12345', port=3306)
        self.news_column_list = ['title', 'overview', 'url', 'image', 'create_time', 'origin']
        self.create_db()
        self.create_table()
        
    # 插入一條新聞
    def insert_news(self, news):
        cursor = self.db.cursor()
        try:
            keys = ','.join(self.news_column_list)
            values = ','.join(['%s'] * len(self.news_column_list))
            sql = 'INSERT INTO news ({keys}) VALUES ({values})'.format(keys=keys, values=values)
            cursor.execute(sql, tuple(news.to_dict().values()))
            self.db.commit()
        except Exception as e:
            print(str(e))
            self.db.rollback()
        finally:
            cursor.close()

    # 插入多條新聞
    def insert_some_news(self, some_news):
        cursor = self.db.cursor()
        try:
            keys = ','.join(self.news_column_list)
            values = ','.join(['%s'] * len(self.news_column_list))
            sql = 'INSERT INTO news ({keys}) VALUES ({values})'.format(keys=keys, values=values)
            for news in some_news:
                cursor.execute(sql, tuple(news.to_dict().values()))
            self.db.commit()
        except Exception as e:
            print(str(e))
            self.db.rollback()
        finally:
            cursor.close()    
複製代碼

接着把前面直接print的都換成News類,傳參,添加到列表中,返回,而後調用批量插入函數,運行後能夠在 數據庫中看到咱們爬取到的新聞內容:

em...數據是爬取到了,可是貌似有些問題,除了上面的建立時間不對外,還有:

把提取的正則改下:

r'<a href="(.*?)".*?img src="(.*?)" alt="(.*?)".*?<p>(.*?)</p>.*?pdtt_trbs".*?<a.*?>(.*?)</a>.*?<span>(.*?)</span>', re.S)
複製代碼

接着再次審視下看看爬取到的數據,到此,澎湃新聞的爬取完成,除了這個站點外,讀者還可j以如法炮製 爬取相似的新聞站點,好比下面的這些,這裏就再也不作重複勞動的事咯~


2.抓取各種日報微博

0x1 明確抓取目標與請求分析

接着是爬取各種新聞日報的微博,爬取網站時,若是PC端的網頁驗證比較複雜,能夠看看有沒有 M端(手機網頁端),試試從M端尋找突破口。好比新浪微博的M端:m.weibo.cn/ 能夠經過:m.weibo.cn/u/用戶id 來打開某個用戶的微博,好比:

接着打開抓包,過濾XHR,看下Ajax加載的請求URL:

看下返回的數據:

行吧,分析下URL的規律,基地址就不用說了:m.weibo.cn/api/contain… 接着是參數,能夠肯定的參數有以下兩個:

  • type=uid,固定
  • value=2803301701,用戶id

剩下的containerid和since_id,要跟一跟,先肯定是否是固定的,滾多幾遍,看看新的URL:

https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701&since_id=4328498967786823
https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701&since_id=4328416646208508
複製代碼

行吧containerid是不變的,而since_id應該是從上一個接口返回的,倒數第二請求搜下:4328416646208508,

果真,那就剩下containerid咯,把全部請求都清了,接着刷新一波頁面,搜下:1076032803301701:

可是這個URL中也有containerid啊,我都還沒拿到,怎麼拼URL?試試不加這個參數?訪問:

https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701
複製代碼

0x2 模擬請求

嘖嘖,拿到同樣的數據,行吧,接着捋下模擬請求的流程:

  • 1.先獲取一波containerid
  • 2.拿着這個containerid去執行ajax請求,同時解析獲取since_id用做下次請求的參數。

先是獲取containerid:

# 獲取containerid
def fetch_container_id(userid):
    resp = r.get(ajax_url, headers=ajax_header, params={'type': 'uid', 'value': userid}).json()
    print(resp.get('data').get('tabsInfo').get('tabs')[1].get('containerid'))
複製代碼

運行結果:

行吧,成功獲取到containerid了,接着就是構造ajax請求了。第一個請求是沒有since_id的, 然後續請求則從上一次的ajax結果中獲取since_id做爲下次請求的參數。

# 獲取微博
def fetch_weibo(userid, containerid):
    since_id = ''
    if since_id == '':
        resp = r.get(ajax_url, headers=ajax_header, params={'type': 'uid', 'value': userid, 'containerid':
            containerid}).json()
        cards = resp.get('data').get('cards')
        for card in cards:
            mblog = card.get('mblog')
            print("建立時間:", mblog.get('created_at'))
            print("text:", mblog.get('text'))
複製代碼

部分輸出結果以下

另外,在測試分頁的時候,發現一個很奇怪的問題,since_id拿不到???同一個連接,Requests拿到的結果 和瀏覽器拿到的結果居然不同,儘管我已經設置了各類Header:

# 請求URL
https://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701

# Requests請求的響應結果
{'ok': 1, 'data': {'cardlistInfo': {'containerid': '1076032803301701', 'v_p': 42, 'show_style': 1, 'total': 95084, 'page': 2}

# 瀏覽器訪問結果
{"ok": 1, "data": {"cardlistInfo": {"containerid": "1076032803301701", "v_p": 42, "show_style": 1, "total": 95084, "since_id": 4328880058268227}
複製代碼

有知道怎麼拿到since_id的童鞋能夠在評論區留言。搜了下網上的方案,直接用page參數,而非since_id。

0x3 解析數據

一開始,我是想着去解析微博標題的,而後去解析標題,提取數據,可是處理起來有點繁瑣。 後來想一想仍是算了,即刻APP也沒作這個,點擊新聞是直接跳微博詳情的。 詳情頁的url規則:

https://m.weibo.cn/detail/{微博id}
複製代碼

因此這裏要作只是解析:新聞標題新聞建立時間,獲取微博id拼接URL做爲新聞詳情頁的連接。 先提取一波不一樣樣式的微博信息:

【送別林清玄 重溫他筆下的愜意與淡然】23日,臺灣知名做家林清玄過世,長年65歲。他的做品經常出如今《讀者》《青年文摘》上,每一個青少年或許都曾讀過。「全部時間裏的事物,都永遠不會回來了。」「和時間賽跑」的人,永遠不會回來了。重溫,送別! 

【教科書式教育!公交車禮讓行人,家長教孩子鞠躬致謝<span class="url-icon"><img alt=[贊] src="//h5.sinaimg.cn/m/emoticon/icon/others/h_zan-6e88e6f51d.png" style="width:1em; height:1em;" /></span>】近日,山東青島,一輛公交車在斑馬線禮讓行人時,一位家長牽着孩子過馬路,一邊跟孩子說着什麼,一遍彎腰教孩子鞠躬致謝。公交公司的工做人員表示,平時禮讓常遇到路人豎大拇指的、微笑的,第一次遇到教育孩子感恩的。<a data-url="http://t.cn/E5lZLD1" href="http://miaopai.com/show/23UZs~CF6PAqyDdQ25HYMatq5jujmg0BQ4yfsQ__.htm?showurl=http%3A%2F%2Fmiaopai.com%2Fshow%2F23UZs%7ECF6PAqyDdQ25HYMatq5jujmg0BQ4yfsQ__.htm&url_open_direct=1&toolbar_hidden=1&url_type=39&object_type=video&pos=1&containerid=230442744560b81311e0be36d04147970e4dcf&luicode=10000011&lfid=1076032803301701" data-hide=""><span class='url-icon'><img style='width: 1rem;height: 1rem' src='https://h5.sinaimg.cn/upload/2015/09/25/3/timeline_card_small_video_default.png'></span><span class="surl-text">微辣Video的秒拍視頻</span></a> 

<a  href="https://m.weibo.cn/search?containerid=231522type%3D1%26t%3D10%26q%3D%23%E5%AE%88%E6%8A%A4%E5%AE%9D%E8%B4%9D%23&isnewpage=1&luicode=10000011&lfid=1076032803301701" data-hide=""><span class="surl-text">#守護寶貝#</span></a>【<span class="url-icon"><img alt=[話筒] src="//h5.sinaimg.cn/m/emoticon/icon/others/o_huatong-9f86617336.png" style="width:1em; height:1em;" /></span>急轉尋人!福建12歲女孩昨日走失】陳燕娟(女,12歲),1月22日12時40分許,從福建莆田荔城區拱辰街道富力小區走失。走失時,她上身穿紫色外套,下身穿牛仔褲,戴粉色眼鏡。若有線索,請迅速與警方聯繫:13799610199。速擴!<a href='/n/公安部兒童失蹤信息緊急發佈平臺'>@公安部兒童失蹤信息緊急發佈平臺</a> 


【奶白鯽魚湯<span class="url-icon"><img alt=[饞嘴] src="//h5.sinaimg.cn/m/emoticon/icon/default/d_chanzui-ad3f4f182c.png" style="width:1em; height:1em;" /></span>】鯽魚湯這樣作,湯白如牛奶又沒腥味,喝一口根本停不下來!趕忙馬走試試~(吃貨祕籍) 

【春運首日發送旅客6754.5萬人次 你坐火車仍是飛機回家?】21日,<a  href="https://m.weibo.cn/search?containerid=231522type%3D1%26t%3D10%26q%3D%232019%E6%98%A5%E8%BF%90%23&luicode=10000011&lfid=1076032803301701" data-hide=""><span class="surl-text">#2019春運#</span></a>首日,全國鐵路、道路、水路、民航共發送旅客6754.5萬人次,比去年同期增加1.7%。其中鐵路發送旅客953.2萬人次,民航發送旅客166.2萬人次。<a data-url="http://t.cn/E5TC2Xl" href="https://media.weibo.cn/article?object_id=1022%3A2309351000024331564912780165&extparam=lmid--4331573362959560&luicode=10000011&lfid=1076032803301701&id=2309351000024331564912780165" data-hide=""><span class='url-icon'><img style='width: 1rem;height: 1rem' src='https://h5.sinaimg.cn/upload/2015/09/25/3/timeline_card_small_article_default.png'></span><span class="surl-text">春運首日發送旅客6754.5萬人次 你坐火車仍是飛機回家</span></a> 千山萬水,回家的路最美。今年,你的回家路,是什麼? 

【畫面引發極度溫馨!這些<a  href="https://m.weibo.cn/search?containerid=231522type%3D1%26t%3D10%26q%3D%23%E9%AB%98%E6%83%85%E5%95%86%E6%89%A7%E6%B3%95%E7%9E%AC%E9%97%B4%23&extparam=%23%E9%AB%98%E6%83%85%E5%95%86%E6%89%A7%E6%B3%95%E7%9E%AC%E9%97%B4%23&luicode=10000011&lfid=1076032803301701" data-hide=""><span class="surl-text">#高情商執法瞬間#</span></a>,真耐看<span class="url-icon"><img alt=[good] src="//h5.sinaimg.cn/m/emoticon/icon/others/h_good-55854d01bb.png" style="width:1em; height:1em;" /></span>】一則「交警要求司機撿起車窗拋出垃圾」的新聞引起好評。鐵面無私、執法必嚴是警察的擔當,而這些既講道理又有溫度的「高情商」更加珍貴,讓人感受極度溫馨。人性化執法,有溫度!<a data-url="http://t.cn/Eq8OzkF" href="http://miaopai.com/show/3W~4f56NCb1YfSaGEsG7jmTyiNYgVO3PiN7RDg__.htm?showurl=http%3A%2F%2Fmiaopai.com%2Fshow%2F3W%7E4f56NCb1YfSaGEsG7jmTyiNYgVO3PiN7RDg__.htm&url_open_direct=1&toolbar_hidden=1&url_type=39&object_type=video&pos=1&containerid=230442e07076f4d85282f6d54242841ee01b15&luicode=10000011&lfid=1076032803301701" data-hide=""><span class='url-icon'><img style='width: 1rem;height: 1rem' src='https://h5.sinaimg.cn/upload/2015/09/25/3/timeline_card_small_video_default.png'></span><span class="surl-text">人民日報的秒拍視頻</span></a> 
複製代碼

觀察一波規律,不難發現標題都放在【】裏,寫個正則提取一波便可:

title_pattern = re.compile(r'【(.*?)】', re.S)
複製代碼

部分解析結果以下:

接着到數據清洗了,先過濾一波表情標籤

<span class="url-icon"><img alt=[贊] src="//h5.sinaimg.cn/m/emoticon/icon/others/h_zan-6e88e6f51d.png" style="width:1em; height:1em;" /></span>
複製代碼

直接編寫正則,直接把這一部分替換爲空字符串。

# 過濾emoji表情的正則
emoji_filter_pattern = re.compile(r'<span class="url-icon">.*?</span>', re.S)
# 把表情替換爲空格
title = emoji_filter_pattern.sub('', title)
複製代碼

行吧,替換完了,接着是下面這種標題的處理:

中國交通<a  href="https://m.weibo.cn/search?containerid=231522type%3D1%26t%3D10%26q%3D%23%E5%8D%81%E5%B9%B4%E5%AF%B9%E6%AF%94%E6%8C%91%E6%88%98%23&extparam=%23%E5%8D%81%E5%B9%B4%E5%AF%B9%E6%AF%94%E6%8C%91%E6%88%98%23&luicode=10000011&lfid=1076032803301701" data-hide=""><span class="surl-text">#十年對比挑戰#</span></a>
複製代碼

須要提取一波a標籤裏的,兩個#號夾着的文本,依舊是正則提取一波:

a_surl_text_pattern = re.compile(r'(.*?)<a.*?<span class="surl-text">#(.*?)#</span></a>(.*?)')
複製代碼

提取後,發現還有下面這樣的數據:

一樣寫個正則,過濾一波a標籤,提取文本:

a_text_pattern = re.compile(r'(.*?)<a.*?>(.*?)</a>') 
複製代碼

爬個30頁看看結果標題是否正確,確認無問題後,接着就是獲取日期和微博id咯:

0x4 保存數據

行吧,數據都拿到了,接着就是存數據庫裏咯,和上面那個同樣,直接存數據庫中。 比較簡單,咱們另外加一個字典,用來保存日報微博的名字和uid,好比這些:

news_ids = {
    '人民日報': '2803301701',
    '廣州日報': '1887790981',
    '南方日報': '1682207150',
    '中國日報': '1663072851',
    '光明日報': '1402977920',
    '央視新聞': '2656274875',
    '環球時報': '1974576991',
    '澎湃新聞': '5044281310',
    '頭題新聞': '1618051664',
}
複製代碼

加上循環,最後的完整代碼以下:

""" 抓取新浪微博的爬蟲 """
import requests as r
import time
import random
import re

from DBHelper import News, DBHelper

index_url = 'https://m.weibo.cn/'  # 首頁基地址
wb_detail_base_url = 'https://m.weibo.cn/detail/'  # 微博詳情頁基地址
ajax_url = index_url + 'api/container/getIndex'  # ajax請求基地址
ajax_header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 '
                  'Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest'
}
news_ids = {
    '人民日報': '2803301701',
    '廣州日報': '1887790981',
    '南方日報': '1682207150',
    '中國日報': '1663072851',
    '光明日報': '1402977920',
    '央視新聞': '2656274875',
    '環球時報': '1974576991',
    '澎湃新聞': '5044281310',
    '頭題新聞': '1618051664',
}
title_pattern = re.compile(r'【(.*?)】', re.S)  # 新聞標題獲取正則
emoji_filter_pattern = re.compile(r'<span class="url-icon">.*?</span>', re.S)  # 新聞標題表情過濾正則
a_surl_text_pattern = re.compile(r'(.*?)<a.*?<span class="surl-text">#(.*?)#</span></a>(.*?)')  # 提取連接中的文本
a_text_pattern = re.compile(r'(.*?)<a.*?>(.*?)</a>')  # 提取連接中的文本

abstract_pattern = re.compile(r'', re.S)  # 新聞概述提取正則
news_url_pattern = re.compile(r'<a\s+href="(.*)?".*?#(.*?)#', re.S)  # 新聞概述提取正則


# 獲取containerid
def fetch_container_id(userid):
    resp = r.get(ajax_url, headers=ajax_header, params={'type': 'uid', 'value': userid}).json()
    return resp.get('data').get('tabsInfo').get('tabs')[1].get('containerid')


# 獲取微博
def fetch_weibo(userid, containerid, username):
    news_list = []
    cur_page = 1
    while True:
        resp = r.get(ajax_url, headers=ajax_header, params={'type': 'uid', 'value': userid, 'containerid':
            containerid, 'page': cur_page})
        print('爬取【%s】:%s' % (username, resp.url))
        resp = resp.json()
        cards = resp.get('data').get('cards')
        for card in cards:
            mblog = card.get('mblog')
            text = mblog.get('text')
            title_result = title_pattern.search(text)
            if title_result is not None:
                title = title_result.group(1)
                # 過濾表情
                title = emoji_filter_pattern.sub('', title)
                # 過濾超連接
                a_text_result = a_surl_text_pattern.search(title)
                if a_text_result is not None:
                    title = a_text_result.group(1) + a_text_result.group(2) + a_text_result.group(3)
                title = a_text_pattern.sub('', title)
                if mblog.get('created_at').find('前') == -1:
                    return news_list
                news_list.append(
                    News(title, '', wb_detail_base_url + mblog.get('id'), '', mblog.get('created_at'), username))
        cur_page += 1
        time.sleep(random.randint(5, 10))


if __name__ == '__main__':
    helper = DBHelper()
    for key, value in news_ids.items():
        result_list = fetch_weibo(value, fetch_container_id(value), key)
        helper.insert_some_news(result_list)

複製代碼

部分運行結果以下

到此,各種日報的微博就爬取完了,另外每一個微博號對應的containerid是不變的, 你還能夠把這些直接存到數據庫中,這樣,就不用每次執行腳本都去請求一次了。


3.把腳本丟服務器上定時執行

0x1 安裝MySQL

把代碼丟到遠程服務器上,筆者使用的是騰訊雲主機,先執行一波下述命令安裝MySQL:

# 安裝MySQL服務,輸入Y後,如圖會讓你輸入密碼,重複輸入確認
sudo apt-get install mysql-server

# 安裝MySQL客戶端
sudo apt-get install mysql-client

# 安裝libmysqlclient,輸入Y
sudo apt-get install libmysqlclient-dev
複製代碼

安裝完後執行一波腳本,缺什麼庫裝什麼庫,腳本跑起來就行。

0x2 DataGrip鏈接遠程MySQL

MySQL默認是不容許遠程訪問的,下面簡單說下使用DataGrip鏈接遠程數據庫的流程。

  • 1.雲服務器開啓安全組裏的3306端口,如圖:

  • 2.中止MySQL服務
sudo /etc/init.d/mysql stop
複製代碼
  • 3.修改my.cnf文件,註釋掉bind-address = 127.0.0.1,鍵入wq保存退出;
vim /etc/mysql/my.cnf
複製代碼
  • 4.啓動mysql服務
/etc/init.d/mysql start
複製代碼
  • 5.輸入下述命令查看當前3306端口的狀態
netstat -an|grep 3306
複製代碼
  • 6.修改用戶訪問權限
mysql -u root -p    # 用戶登陸
use mysql;  # 選中mysql數據庫
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '密碼' WITH GRANT OPTION;    # 受權
FLUSH PRIVILEGES;   # 更新權限
EXIT # 退出mysql
複製代碼

注:上面設置的結果是全部ip都能訪問數據庫,如需指定特定ip才能訪問的話, 能夠把'@'%改爲特定ip。還有這裏用的是root帳戶,你能夠經過下述命令建立 一個新的用戶,而後用這個用戶進行訪問,能夠在此作一些權限控制操做。

CREATE USER 新用戶 IDENTIFIED BY '密碼';
GRANT ALL PRIVILEGES ON *.* TO '新用戶'@'%' IDENTIFIED BY '密碼' WITH GRANT OPTION;    # 受權
FLUSH PRIVILEGES;
複製代碼
  • 7.打開DataGrip,以此點擊:File -> New -> DataSource -> MySQL,如圖依次配置 General和SSH/SSL選項卡,接着點擊Apply和Test Connection。

出現如圖所示的Successful,表明鏈接成功。

0x3 使用crontab定時執行腳本

在linux中可使用cron來執行一些定時任務,linux自帶,默認開機就自動啓動, 啓動後會讀取全部配置文件(全局配置文件**/etc/crontab** 和 每一個用戶的計劃任務配置文件), cron會根據命令和執行時間來調度工做任務。cron的經常使用命令以下:

sudo service cron restart   # 重啓cron
sudo service cron stop      # 中止cron
sudo service cron start     # 啓動cron
sudo service cron status    # 查看cron狀態
複製代碼

除此以外,還有下述命令能夠操做crontab

sudo crontab –l     # 顯示crontab文件
sudo crontab –e     # 修改crontab文件
sudo crontab –r     # 刪除crontab文件
sudo crontab –ir    # 刪除crontab文件前提醒用戶
複製代碼

接着執行上面的sudo crontab –e命令,修改一波計劃任務,命令的格式以下:

* * * * * command

參數依次爲

  • 分:0 - 59
  • 時:0 - 23
  • 天:1 - 31
  • 月:1 - 12
  • 周:0 - 6
  • 執行的命令

除此以外還可使用通配符:

  • *任意值,好比在天的位置寫*表明天天)
  • ,(容許在某一個位填多個值,表示某幾個時間段執行,逗號分隔)
  • /(斜線,配合*使用,表明每隔多長時間,好比在小時位寫/2表明每隔兩小時)

大概規則就這些,接着在配置文件中添加執行命令,8點鐘刪一波表,8點1分抓澎湃新聞, 8點15分抓新浪微博的新聞。具體內容以下:

0 8 * * * python3 /home/ubuntu/AutoNews/DBHelper.py > /home/ubuntu/AutoNews/db.txt            
1 8 * * * python3 /home/ubuntu/AutoNews/PenpaiSpider.py > /home/ubuntu/AutoNews/pp.txt        
15 8 * * * python3 /home/ubuntu/AutoNews/WeiboSpider.py > /home/ubuntu/AutoNews/wb.txt  
複製代碼

配置完後,鍵入:sudo service cron restart,重啓一波,而後就能夠坐等次日早上看看結果咯(日誌文件的建立日期)。

若是你不想動/etc/crontab這個全局配置文件,也能夠單獨寫一個cron的文件,好比:news.cron, 接着鍵入下述命令添加定時任務:

crontab news.cron > news.log
複製代碼

添加後能夠鍵入:crontab -l 查看是否配置成功,或者看下/var/spool/cron目錄下是否生成了對應的腳本。 (注:此方法會直接替換該用戶下的crontabs,而不是新增)


行吧,本節的內容就這麼多,直接在DataGrip上看新聞仍是有些不方便, 下節,利用Flask寫幾個接口,可能會好看一些,有疑問的歡迎在評論區留言,謝謝~

Tips:公號目前只是堅持發早報,在慢慢完善,有點心虛,只敢貼個小圖,想看早報的能夠關注下~

相關文章
相關標籤/搜索