項目簡介:使用 Python3 抓取 12306 網站信息提供一個命令行的火車票查詢工具。經過該項目的實現,能夠熟悉 Python3 基礎及網絡編程,以及 docopt,requests,prettytable 等庫的使用。python
項目由小蝸牛發佈在實驗樓,項目在線練習地址:Python3 實現火車票查詢工具,能夠直接在教程中下載代碼使用demo。正則表達式
當你想查詢一下火車票信息的時候,你還在上 12306 官網嗎?或是打開你手機裏的 APP?數據庫
下面讓咱們來用 Python 寫一個命令行版的火車票查看器, 只要在命令行敲一行命令就能得到你想要的火車票信息!若是你剛掌握了Python基礎,這將是個不錯的小練習。編程
Python3 基礎知識的綜合運用json
docopt
、requests
及 prettytable
庫的使用網絡
一個應用寫出來最終是要給人使用的,哪怕只是給你本身使用。工具
因此,首先應該想一想你但願怎麼使用它?讓咱們先給這個小應用起個名字吧,既然及查詢票務信息,那就叫它 tickets
好了。學習
咱們但願用戶只要輸入出發站,到達站以及日期就讓就能得到想要的信息,好比要查看8月25號上海-北京的火車餘票, 咱們只需輸入:網站
$ tickets shanghai beijing 2016-08-25
注意: 因爲實驗樓環境中沒法輸入中文,因此咱們的參數設計爲拼音的形式,在這裏思考下使用拼音是否有什麼弊端?url
對這一接口進行抽象獲得:
$ tickets from to date
另外,火車有各類類型,高鐵、動車、特快、快速和直達,咱們但願能夠提供選項只查詢特定的一種或幾種的火車,因此,咱們應該有下面這些選項:
-g 高鐵
-d 動車
-t 特快
-k 快速
-z 直達
這幾個選項應該能被組合使用,因此,最終咱們的接口應該是這個樣子的:
$ tickets [-gdtkz] from to date
接口已經肯定好了,剩下的就是實現它了。
首先安裝一下實驗須要用到的庫:
$ sodo pip install requests prettytable docopt
requests, 不用很少介紹了吧,使用 Python 訪問 HTTP 資源的必備庫。
docopt, Python3 命令行參數解析工具。
prettytable, 格式化信息打印工具,能讓你像 MySQL 那樣打印數據。
Python有不少寫命令行參數解析工具,如 argparse
, docopt
, click
,這裏咱們選用的是 docopt
這個簡單易用的工具。docopt
能夠按咱們在文檔字符串中定義的格式來解析參數,好比咱們在 tickets.py
:
注意: 實驗樓中沒法輸入中文,參數後的中文可使用拼音代替。
# coding: utf-8 """Train tickets query via command-line. Usage: tickets [-gdtkz] <from> <to> <date> Options: -h,--help 顯示幫助菜單 -g 高鐵 -d 動車 -t 特快 -k 快速 -z 直達 Example: tickets beijing shanghai 2016-08-25 """ from docopt import docopt def cli(): """command-line interface""" arguments = docopt(__doc__) print(arguments) if __name__ == '__main__': cli()
下面咱們運行一下這個程序:
$ python3 tickets.py beijing shanghai 2016-08-25
咱們獲得下面的結果:
參數已經解析好了,下面就是如何獲取數據了,這也是最主要的部分。首先咱們打開 12306,進入餘票查詢頁面,若是你使用 Chrome,那麼按 F12
打開開發者工具,選中 Network
一欄,在查詢框鍾咱們輸入 上海
到 北京
,日期 2016-08-25
, 點擊查詢,咱們在調試工具發現,查詢系統實際上請求了這個URL:
https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate=2016-07-01&from_station=SHH&to_station=BJP
而且返回的是JSON
格式的數據!
接下來問題就簡單了,咱們只須要構建請求URL而後解析返回的Json數據就能夠了。可是咱們發現,URL裏面 from_station
和 to_station
並非漢字或者拼音,而是一個代號,而咱們想要輸入的是漢字或者拼音,咱們要如何獲取代號呢?咱們打開網頁源碼看看有沒有什麼發現。
果真,咱們在網頁裏面找到了這個連接:https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8955
這裏面貌似是包含了全部車站的中文名,拼音,簡寫和代號等信息。可是這些信息擠在一塊兒,而咱們只想要車站的拼音和大寫字母的代號信息,怎麼辦呢?
正則表達式就是答案,咱們寫個小腳原本匹配提取出想要的信息吧, 在parse_station.py
中:
# coding: utf-8 import re import requests from pprint import pprint url = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8955' text = requests.get(url, verify=False) stations = re.findall(r'([A-Z]+)\|([a-z]+)', text) stations = dict(stations) stations = dict(zip(stations.values(), stations.keys())) pprint(stations, indent=4)
注意,上面的正則表達式匹配出的結果轉爲字典後,字典的鍵是大寫字母大號,這顯然不是咱們想要的結果,因而,咱們經過一個變換將鍵值反過來。 咱們運行這個腳本,它將以字典的形式返回全部車站和它的大寫字母代號, 咱們將結果重定向到 stations.py
中,
$ python3 parse_station.py > stations.py
咱們爲這個字典加名字,stations
, 最終,stations.py
文件是這樣的:
如今,用戶輸入車站的中文名,咱們就能夠直接從這個字典中獲取它的字母代碼了:
... from stations import stations def cli(): arguments = docopt(__doc__) from_staion = stations.get(arguments['<from>']) to_station = stations.get(arguments['<to>']) date = arguments['<date>'] # 構建URL url = 'https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate={}&from_station={}&to_station={}'.format( date, from_staion, to_station )
萬事俱備,下面咱們來請求這個URL獲取數據吧!這裏咱們使用 requests
這個庫, 它提供了很是簡單易用的接口,
... import requests def cli(): ... # 添加verify=False參數不驗證證書 r = requests.get(url, verify=False) print(r.json())
從結果中,咱們能夠觀察到,與車票有關的信息須要進一步提取:
def cli(): ... r = requsets.get(url); rows = r.json()['data']['datas']
咱們封裝一個簡單的類來解析數據:
from prettytable import PrettyTable class TrainCollection(object): # 顯示車次、出發/到達站、 出發/到達時間、歷時、一等坐、二等坐、軟臥、硬臥、硬座 header = 'train station time duration first second softsleep hardsleep hardsit'.split() def __init__(self, rows): self.rows = rows def _get_duration(self.row): """ 獲取車次運行時間 """ duration = row.get('lishi').replace(':', 'h') + 'm' if duration.startswith('00'): return duration[4:] if duration.startswith('0'): return duration[1:] return duration @property def trains(self): for row in self.rows: train = [ # 車次 row['station_train_code'], # 出發、到達站 '\n'.join([row['from_staion_name'], row['to_station_name']]), # 出發、到達時間 '\n'.join([row['start_time'], row['arrive']]), # 歷時 self._get_duration(row), # 一等坐 row['zy_num'], # 二等坐 row['ze_num'], # 軟臥 row['rw_num'], # 軟坐 row['yw_num'], # 硬坐 row['yz_num'] ] yield train def pretty_print(self): """ 數據已經獲取到了,剩下的就是提取咱們要的信息並將它顯示出來。 `prettytable`這個庫可讓咱們它像MySQL數據庫那樣格式化顯示數據。 """ pt = PrettyTable() # 設置每一列的標題 pt._set_field_names(self.header) for train in self.trains: pt.add_row(train) print(pt)
最後,咱們將上述過程進行彙總並將結果輸出到屏幕上:
... class TrainCollection: ... ... def cli(): arguments = docopt(__doc__) from_staion = stations.get(arguments['<from>']) to_station = stations.get(arguments['<to>']) date = arguments['<date>'] # 構建URL url = 'https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate={}&from_station={}&to_station={}'.format( date, from_staion, to_station ) r = requests.get(url, verify=False) rows = r.json()['data']['datas'] trains = TrainCollection(rows) trains.pretty_print() if __name__ == '__main__': cli()
至此, 程序的主體已經完成了, 可是上面打印出的結果是黑白的,非常乏味,咱們來給它添加顏色吧:
def colored(color, text): table = { 'red': '\033[91m', 'green': '\033[92m', # no color 'nc': '\033[0' } cv = table.get(color) nc = table.get('nv') return ''.join([cv, text, nc])
修改一下程序,將出發車站與出發時間顯示爲紅色, 將到達車站與到達時間顯示爲綠色:
... '\n'.join([colored('green', row['from_staion_name']) colored('red', row['to_station_name'])]), '\n'.join([colored('green', row['start_time']) colored('red', row['arrive_time'])]), ...
本課程使用 Python3 抓取 12306 網站信息提供一個命令行的火車票查詢工具。經過該項目的實現,能夠學習並實踐 Python3 基礎及網絡編程,以及 docopt,requests,prettytable 等庫的使用。
感興趣的同窗能夠實現更多擴展功能:
顯示商務坐, 無坐
添加參數支持,用戶能夠指定火車類型
支持更多的時間格式,如:20161010
本項目的完整代碼及demo,可在實驗樓查看並在線完成,當即【開始實驗】
更多Python經典項目:Python所有 - 課程