轉發是對小編的最大支持python
本文轉自網絡正則表達式
2017年時間飛逝,轉眼間距離2018年春節還有不到兩個月的時間,離家在外的人們也已將購買回家車票的事宜提上日程。近日,中國交通報發佈《2018年春運大數據》,數據顯示,2018年春運旅客人數預計突破30億人次,較上年有所增加。
數據庫
...json
不可思議的數據,網絡
預示着今年春運回程和返程車票ide
購買難度將進一步加大...工具
搶購車票怕是比李白跨越「蜀道」的難度還大哦~大數據
今天是2018年1月3日,已經能夠購買春運第一天(2月1日)的火車票了。當你想查詢一下火車票信息的時候,還在爲打開無響應的12306官網和廣告n秒的APP嗎而懊惱嗎?url
不如用 Python 寫一個命令行版的火車票查看器, 只要在命令行敲一行命令就能得到你想要的火車票信息!spa
效果截圖
接口設計
讓咱們先給這個小應用起個名字吧,既然及查詢票務信息,那就叫它tickets好了。咱們但願用戶只要輸入出發站,到達站以及日期就讓就能得到想要的信息,因此tickets應該這樣被使用:
$ tickets from to date
另外,火車有各類類型,高鐵、動車、特快、快速和直達,咱們但願能夠提供選項只查詢特定的一種或幾種的火車,因此,咱們應該有下面這些選項:
-g 高鐵
-d 動車
-t 特快
-k 快速
-z 直達
這幾個選項應該能被組合使用,因此,最終咱們的接口應該是這個樣子的:
$ tickets [-gdtkz] from to date
接口已經肯定好了,剩下的就是實現它了。
代碼實現
寫Python程序的一個良好實踐是使用virtualenv這個工具建一個虛擬的環境。咱們的程序使用Python3開發,下面在你的工做目錄下建一個文件夾tickets,進去建立一個虛擬環境並激活它:
$ virtualenv -p /usr/bin/python3 venv$ . venv/bin/activate
安裝一下實驗須要用到的庫:
$ sodo pip install requests prettytable docopt
requests, 不用很少介紹了吧,使用 Python 訪問 HTTP 資源的必備庫。
docopt, Python3 命令行參數解析工具。
prettytable, 格式化信息打印工具,能讓你像 MySQL 那樣打印數據。
1 解析參數
Python有不少寫命令行參數解析工具,如 argparse, docopt, click,這裏咱們選用的是 docopt 這個簡單易用的工具。
docopt 能夠按咱們在文檔字符串中定義的格式來解析參數,好比咱們在 tickets.py:
# coding: utf-8
"""Train tickets query via command-line.
Usage:
tickets [-gdtkz] <from> <to> <date>
Options:
-h,--help 顯示幫助菜單
-g 高鐵
-d 動車
-t 特快
-k 快速
-z 直達
Example:
tickets 上海 北京 2017-12-05
""
from docopt import docopt
def cli():
"""command-line interface"""
arguments = docopt(__doc__)
print(arguments)
if __name__ == '__main__':
cli()
下面咱們運行一下這個程序:
$ python3 tickets.py 上海 北京 2017-12-05
咱們獲得下面的結果:
{'-d': False, '-g': False, '-k': False, '-t': False, '-z': False, '<date>': '2017-12-05', '<from>': '上海', '<to>': '北京'}
2 獲取數據
參數已經解析好了,下面就是如何獲取數據了,這也是最主要的部分。首先咱們打開12306,進入餘票查詢頁面,若是你使用 Chrome,那麼按 F12 打開開發者工具,選中 Network 一欄,在查詢框鍾咱們輸入 上海 到 北京,日期 2017-12-05, 點擊查詢,咱們在調試工具發現,查詢系統實際上請求了這個URL:
https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate=2017-12-05&from_station=SHH&to_station=BJP
而且返回的是JSON格式的數據!
接下來問題就簡單了,咱們只須要構建請求URL而後解析返回的Json數據就能夠了。可是咱們發現,URL裏面 from_station 和 to_station 並非漢字或者拼音,而是一個代號,而咱們想要輸入的是漢字或者拼音,咱們要如何獲取代號呢?咱們打開網頁源碼看看有沒有什麼發現。
果真,咱們在網頁裏面找到了這個連接:https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8955 這裏面貌似是包含了全部車站的中文名,拼音,簡寫和代號等信息。可是這些信息擠在一塊兒,而咱們只想要車站的拼音和大寫字母的代號信息,怎麼辦呢?
正則表達式就是答案,咱們寫個小腳原本匹配提取出想要的信息吧, 在parse_station.py中:
# coding: utf-8import reimport requestsfrom pprint import pprinturl = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8955'text = requests.get(url, verify=False)stations = re.findall(r'([A-Z]+)\|([a-z]+)', text)stations = dict(stations)stations = dict(zip(stations.values(), stations.keys()))pprint(stations, indent=4)
注意,上面的正則表達式匹配出的結果轉爲字典後,字典的鍵是大寫字母大號,這顯然不是咱們想要的結果,因而,咱們經過一個變換將鍵值反過來。
咱們運行這個腳本,它將以字典的形式返回全部車站和它的大寫字母代號, 咱們將結果重定向到 stations.py 中,
$ python3 parse_station.py > stations.py
咱們爲這個字典加名字,stations,而後輸入車站的中文名,咱們就能夠直接從這個字典中獲取它的字母代碼了:
...
from stations import stations
def cli():
arguments = docopt(__doc__)
from_staion = stations.get(arguments['<from>'])
to_station = stations.get(arguments['<to>'])
date = arguments['<date>']
# 構建URL
url = 'https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate={}&from_station={}&to_station={}'.format(
date, from_staion, to_station
)
萬事俱備,下面咱們來請求這個URL獲取數據吧!這裏咱們使用 requests 這個庫, 它提供了很是簡單易用的接口,
...
import requests
def cli():
...
# 添加verify=False參數不驗證證書
r = requests.get(url, verify=False)
print(r.json())
從結果中,咱們能夠觀察到,與車票有關的信息須要進一步提取:def cli():
...
r = requsets.get(url);
rows = r.json()['data']['datas']
3 解析數據
咱們封裝一個簡單的類來解析數據:
from prettytable import PrettyTableclass TrainCollection(object): # 顯示車次、出發/到達站、 出發/到達時間、歷時、一等坐、二等坐、軟臥、硬臥、硬座 header = 'train station time duration first second softsleep hardsleep hardsit'.split() def __init__(self, rows): self.rows = rows def _get_duration(self.row): """ 獲取車次運行時間 """ duration = row.get('lishi').replace(':', 'h') + 'm' if duration.startswith('00'): return duration[4:] if duration.startswith('0'): return duration[1:] return duration @property def trains(self): for row in self.rows: train = [ # 車次 row['station_train_code'], # 出發、到達站 '\n'.join([row['from_staion_name'], row['to_station_name']]), # 出發、到達時間 '\n'.join([row['start_time'], row['arrive']]), # 歷時 self._get_duration(row), # 一等坐 row['zy_num'], # 二等坐 row['ze_num'], # 軟臥 row['rw_num'], # 軟坐 row['yw_num'], # 硬坐 row['yz_num'] ] yield train def pretty_print(self): """ 數據已經獲取到了,剩下的就是提取咱們要的信息並將它顯示出來。 `prettytable`這個庫可讓咱們它像MySQL數據庫那樣格式化顯示數據。 """ pt = PrettyTable() # 設置每一列的標題 pt._set_field_names(self.header) for train in self.trains: pt.add_row(train) print(pt)
4 顯示結果
最後,咱們將上述過程進行彙總並將結果輸出到屏幕上:
...class TrainCollection: ... ... def cli(): arguments = docopt(__doc__) from_staion = stations.get(arguments['<from>']) to_station = stations.get(arguments['<to>']) date = arguments['<date>'] # 構建URL url = 'https://kyfw.12306.cn/otn/lcxxcx/query?purpose_codes=ADULT&queryDate={}&from_station={}&to_station={}'.format( date, from_staion, to_station ) r = requests.get(url, verify=False) rows = r.json()['data']['datas'] trains = TrainCollection(rows) trains.pretty_print()if __name__ == '__main__': cli()
5 最後一米
至此, 程序的主體已經完成了, 可是上面打印出的結果是黑白的,非常乏味,咱們來給它添加顏色吧:
def colored(color, text):
table = {
'red': '\033[91m',
'green': '\033[92m',
# no color
'nc': '\033[0'
}
cv = table.get(color)
nc = table.get('nv')
return ''.join([cv, text, nc])
修改一下程序,將出發車站與出發時間顯示爲紅色, 將到達車站與到達時間顯示爲綠色:
...
'\n'.join([colored('green', row['from_staion_name'])
colored('red', row['to_station_name'])]),
'\n'.join([colored('green', row['start_time'])
colored('red', row['arrive_time'])]),
...
over,各位同窗能夠本身試一試喲~
春節將近,小安但願你們能成功搶票開心回家過年~
另送上搶票日曆↘