原本就很喜歡逛圖書館,時不時去借本書(注:借的都沒看過),但我這個學期忽然發現了問題,每本書均可以借兩個月,但不幸的是我最近一學期借的書所有超期,一天一毛錢,我心疼這錢啊!!!靈機一動,爲何不寫個腳原本通知本身圖書超期呢?說了這麼多廢話,咱們就進入主題吧!!!php
咱們能夠先看一下登陸頁面(不少學校這些管理系統頁面就是很low):html
兩種方式去模擬登陸圖書館:python
1. 構造登陸表單進行模擬登陸mysql
這種方式模擬登陸彷佛是很可靠的,但有時候就是在驗證碼獲取上很困難,若是簡單的網站,有的會利用當前時間戳來構造驗證碼,這種就很容易從網頁上觀察出來,但好比咱們此次要模擬登陸的網站彷佛是不能這樣作,由於它是使用JavaScript標準庫裏的Math函數直接隨機生成的驗證碼連接,能夠從下面圖片上觀察驗證碼處的代碼:linux
日了個狗,它使用Math.random()函數返回 [0-1) 的浮點值僞隨機數(大於等於0,小於1),剛開始我覺得python的math.random()函數生成的隨機數和JavaScript的有區別,後來試了一下,呵呵,原來兩個函數生成的隨機數都是[0-1)並且都是16位小數點的。那樣子咱們就能夠模擬登陸了。
首先,在模擬登陸先,咱們應該在瀏覽器上模擬登陸一次,觀察頁面變化狀況,剛開始時頁面只有login.php頁面的:
sql
而後咱們輸入驗證碼後再觀察一下,頁面馬上被轉向redr_info.php,同時還有redr_verify.php頁面出現
數據庫
而後看看咱們的redr_info.php裏面的東西,唉,怎麼這個頁面是GET請求呢??
那驗證登陸請求的POST頁面在哪裏去了呢??帶着疑問看看redr_verify.php,光是看這個頁面的命名就以爲這是個驗證登陸的頁面:
果真,POST請求在這裏,那咱們就能夠構造登陸表單經過這個頁面來模擬登陸了。
前期工做準備得差很少了,開始找這個redr_verify.php的post提交部分的內容了,咱們從登陸頁面應該也能夠知道咱們須要提交學號、密碼、驗證碼這三個。咱們能夠去redr_verify.php下看看咱們POST表單提交的數據
咱們只須要填寫前面四項就能夠了,第四項是什麼呢,我回到登陸頁面看了一下,就是下面圖片的選擇,
而後貼代碼吧瀏覽器
import subprocess import sys import os session = requests.Session() session.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36' } def login(name, password): random_num = random.random() # 生成隨機數,構造獲取驗證碼的連接 url = 'http://210.38.102.131:86/reader/captcha.php?' + str(random_num) get_captcha = session.get(url).content with open('captcha.png', 'wb') as f: f.write(get_captcha) f.close() ''' 這段代碼是爲了方便咱們打開圖片,它能夠直接打開圖片 咱們就不用去文件夾裏去找,裏面是判斷使用什麼系統, 不一樣系統打開方式有點差別,能夠找python文檔瞭解這部份內容 ''' if sys.platform.find('darwin') >= 0: subprocess.call(['open', 'captcha.png']) elif sys.platform.find('linux') >= 0: subprocess.call(['xdg-open', 'captcha.png']) else: os.startfile('captcha.png') input_captcha = input('請輸入驗證碼:') input_captcha = str(input_captcha) # 構造登陸表單,裏面就是咱們上面說起的四項 post_data = { 'number': name, 'passwd': password, 'captcha': input_captcha, 'select': 'cert_no' } login_url = 'http://210.38.102.131:86/reader/redr_verify.php' html = session.post(login_url, data=post_data).content book_hist_url = 'http://210.38.102.131:86/reader/book_hist.php' content = session.get(book_hist_url).content.decode('utf-8') print(content)
這就模擬登陸成功了,
好吧!咱們換用一種比這個更簡單的方式模擬登陸吧!cookie
2. 經過Cookie登陸圖書館session
Cookie,指某些網站爲了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據(一般通過加密)。
這裏咱們使用Requests庫來進行模擬登陸過程,在這以前咱們還有個問題,怎麼獲取Cookie呢??
若是你使用的是谷歌瀏覽器,那你能夠經過按F12就能夠看到下圖裏面有個Cookie的內容,這就是你要的東西:
再上個圖分析一下,但願你們能有耐心讀下去:
經過圖片咱們知道能夠獲取借閱日期和應還日期,獲取日期後根據應還日期和當前日期比較,就能夠得出是否超期的結果。很少說,先貼代碼再說:
import requests session = requests.Session() # 會話對象讓你可以跨請求保持某些參數,它也會在同一個Session實例發出的全部請求之間保持cookie session.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36', 'Cookie': 'ASP.NET_SessionId=1qri0rmoylpyrs45rurzme55; Hm_lvt_ed06d5e5f94d85932b82e4aac94d0c68=1467535679,1469713840; Hm_lpvt_ed06d5e5f94d85932b82e4aac94d0c68=1469713840; PHPSESSID=ev339udv0rrhqg6tfdvfukqos1' }
上述代碼使用了requests的會話對象來保存Cookie, 若是咱們須要跳轉到其它頁面,咱們不用每次都模擬登陸,由於cookie已經保存了咱們的登陸狀態。
會不會有人疑問,不是要說模擬登陸的嗎??怎麼沒有這過程呢??
其實咱們上面代碼中的Cookie已經保存了咱們的登陸狀態,至關於咱們已經模擬登陸過了,這樣子模擬登陸是否是簡單多了,但缺點是咱們須要手動在登陸頁面輸入一遍,而後再從登陸頁面找到cookie粘貼到代碼中來
經過分析頁面,咱們可使用BeautifulSoup來提取咱們須要的內容,咱們須要的是書籍的條形碼、題名和做者、借閱日期、應還日期,其實咱們只須要應還日期就行,但爲了之後須要,先獲取書籍的全部信息並保存進數據庫裏面:
定義了一個數據庫操做的函數,方便之後調用
def get_mysql(): conn = pymysql.connect(host = 'localhost', user = 'root', passwd = '2014081029', db = 'mysql', charset = 'utf8') # user爲數據庫的名字,passwd爲數據庫的密碼,通常把要把字符集定義爲utf8,否則存入數據庫容易遇到編碼問題 cur = conn.cursor() # 獲取操做遊標 cur.execute('use book') # 使用book這個數據庫 return (cur, conn)
定義一個函數來獲取圖書信息並保存:
def get_book_name(book_url): html = session.get(book_url, cookies = cookie, headers = headers).content.decode('utf-8') soup = BeautifulSoup(html, 'lxml') book_bar = [] # 書籍的條形碼列表,用來判斷要存入數據庫的書籍是否已經存在 cur, conn = get_mysql() sql = 'select * from book_list;' cur.execute(sql) rows = cur.fetchall() for row in rows: book_bar.append(row[1]) book_list = [] # 這個是我測試時使用的,做用是把每本書籍的信息列表放在這個列表中 book_every = [] # 一本書籍的全部信息列表 for book_time in soup.find_all('td', class_="whitetext"): print(book_time.get_text().strip()) # 移除字符串頭尾指定的字符(默認爲空格) pattern = re.compile(r'\s') content = re.sub(pattern, r'', book_time.get_text()) # 目的也是匹配任何空白符並去除,貌似對空行去除沒影響 if content != '': book_every.append(content) if len(book_every) == 7: book_list.append(book_every) if book_every[0] not in book_bar: sql = 'insert book_list(條形碼, 題名和做者, 借閱日期, 應還日期, 續借量, 館藏地, 附件) value(' + "\'" \ + book_every[0] + "\'," + "\'" + book_every[1] + "\'," + "\'" + book_every[2] + "\'," + "\'" \ + book_every[3] + "\'," + "\'" + book_every[4] + "\'," + "\'" + book_every[5] + "\'," + "\'" \ + book_every[6] + "\'" + ');' try: cur.execute(sql) conn.commit() except: conn.rollback() book_every = [] print(book_list)
接下來咱們分析一下上面代碼中沒有註釋的代碼,首先咱們先把處理後的信息加入book_every列表中,而後從頁面源代碼(tp9.png)中咱們能夠知道,一本書信息中只須要前面7項內容,所以咱們使用一個判斷語句:
if len(book_every) == 7: book_list.append(book_every) if book_every[0] not in book_title: sql = 'insert book_list(條形碼, 題名和做者, 借閱日期, 應還日期, 續借量, 館藏地, 附件) value(' + "\'" \ + book_every[0] + "\'," + "\'" + book_every[1] + "\'," + "\'" + book_every[2] + "\'," + "\'" \ + book_every[3] + "\'," + "\'" + book_every[4] + "\'," + "\'" + book_every[5] + "\'," + "\'" \ + book_every[6] + "\'" + ');' try: cur.execute(sql) conn.commit() except: conn.rollback() # 若是存入數據庫失敗,執行回滾操做 book_every = []
也就是說,若是判斷出book_every已經達到7項內容,就執行存入數據庫的操做,而後在把book_every重置爲空列表
先貼上代碼:
def send_message(): day_num = [31, 29, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31] day_num1 = [31, 28, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31] sql = 'select * from book_list;' cur, conn = get_mysql() cur.execute(sql) rows = cur.fetchall() local_time = time.strftime("%Y-%m-%d", time.localtime()) # 獲取當前時間 local_time = str(local_time) times = re.split(r'-', local_time) year = times[0] number = 0 while(True): for i in rows: print(i[4]) pattern = re.split(r'-', i[4]) if times[1] == pattern[1]: day = int(times[2]) - int(pattern[2]) if day > 0: print('已經超期了%d天' % day) number += 1 send_email(day, number, i[2]) elif times[1] > pattern[1]: if (year % 4 == 0 and year % 100 != 0) or year % 400 == 0: extend_day = day_num1[int(pattern[1]) - 1] - int(pattern[2]) + times[2] print('已經超期了%d天' % extend_day) number += 1 send_email(day, number, i[2]) else: extend_day = day_num[int(pattern[1]) - 1] - int(pattern[2]) + times[2] print('已經超期了%d天' % extend_day) number += 1 send_email(day, number, i[2]) else: print('尚未超期的書籍') print(pattern[2]) time.sleep(3600 * 24)
咱們來分析代碼吧,首先咱們判斷是否超期是根據當前時間和應還日期的相加減獲得的,因此咱們考慮到:
若是應還日期是上個月,這裏咱們就要進行月份的相加減,由於閏年和平年的月份不同,因此咱們定義了day_num和day_num1兩個列表來表示閏年和平年的月份天數。
而後咱們使用月份當作判斷條件來比較超期天數
月份判斷,若是當前月份等於應還月份,就執行下面操做,注意裏面已經包含發送郵件函數,下面會貼出發送郵件函數,你們也許會想,爲何沒有判斷年份,由於我通常借書不會超期這麼久,因此沒有加上這個判斷
if times[1] == pattern[1]: day = int(times[2]) - int(pattern[2]) if day > 0: print('已經超期了%d天' % day) number += 1 send_email(day, number, i[2])
而後是當前月份大於應還月份時,這時候就有閏年和平年的判斷了
elif times[1] > pattern[1]: if (year % 4 == 0 and year % 100 != 0) or year % 400 == 0: extend_day = day_num1[int(pattern[1]) - 1] - int(pattern[2]) + times[2] print('已經超期了%d天' % extend_day) number += 1 send_email(day, number, i[2])
下面貼出發送郵件的代碼:
def send_email(day, number, title): from_addr = '15602200534@163.com' password = '就不告訴你' to_addr = '673411814@qq.com' smtp_server = 'smtp.163.com' text = 'Hello ,郭偉匡, 告訴你一個很差的消息,趕忙帶上你的書,去圖書館交錢吧!你有一本叫《%s》的書籍超期了' \ ',並且已經超期了%d天了,總共有%d書超期了!!!' % (title, day, number) msg = MIMEText(text, 'plain', 'utf-8') msg['From'] = format_addr('圖書館的通知<%s>' % from_addr) msg['To'] = format_addr('管理員<%s>' % to_addr) msg['Subject'] = Header('來着郭偉匡的問候......', 'utf-8').encode() server = smtplib.SMTP(smtp_server, 25) server.set_debuglevel(1) server.login(from_addr, password) server.sendmail(from_addr, [to_addr], msg.as_string()) server.quit()
其實咱們還有一種最簡單的判斷相差日期的方法,
那就是使用python提供的datetime模塊,就利用方案一里面的東西來講吧
local_time = time.strftime("%Y-%m-%d", time.localtime()) # 獲取當前時間 local_time = str(local_time) times = re.split(r'-', local_time)
咱們經過split分離出年月往後,就能夠很簡單得使用datetime進行日期相加減了,咱們datetime相加減日期的用法以下:
d1 = datetime.datetime(2016, 4, 3) d2 = datetime.datetime(2016, 6, 23) print((d2 - d1).days)
打印結果就是相差天數,這樣在判斷日期方面就變得十分簡單了,因此方案二顯然比方案一好得多了
關於發送郵件的知識。。。我靠,0:22了,還沒洗澡呢,下次有空再補上這部分知識,仍是貼出廖雪峯網站關於這方面的知識吧 廖雪峯網站關於SMTP發送郵件。
差點忘了把發送郵件的截圖發出來: