實戰三—向搜索引擎提交搜索請求
- 關鍵點:利用搜索引擎提供的接口
- 百度的接口:
wd=「要搜索的內容」
- 360的接口:
q=「要搜索的內容」
- 因此咱們只要把咱們提交給服務器的url修改爲對應的格式,就能夠向搜索引擎提交關鍵字。
- 修改url,第一個想到的就是
params
參數。只須構造鍵值對,提交給params
便可。 - 鍵值對前面的表明搜索引擎前面的接口標識,鍵值對後面的表明咱們要搜索的內容。
>>> import requests >>> kv = {'wd':'python'} >>> r = requests.get("http://www.baidu.com/s",params=kv) >>> r.status_code 200
- 用
response
對象中的request
對象來查看咱們提交給服務器的URL連接。
>>> r.request.url 'http://www.baidu.com/s?wd=python'
- 給出完整代碼:
import requests kv = {'wd':'python'} url = "http://www.baidu.com/s" try: r = requests.get(url,params = kv) print(r.request.url) r.raise_for_status() print(r.text[:2000]) except: print("爬取失敗")
實戰四—圖片的爬取和存儲
- 圖片連接的格式,
url+xxxx.jpg
- 給出圖片的地址,爬取下來後存放到本機的某一個位置。
>>> import requests >>> path = "/Users/hyliu/Desktop/picture.jpg" >>> url = "https://gss3.bdstatic.com/-Po3dSag_xI4khGkpoWK1HF6hhy/baike/c0%3Dbaike80%2C5%2C5%2C80%2C26/sign=3acf58502f7f9e2f6438155a7e598241/7aec54e736d12f2e227c44d647c2d5628535680f.jpg" >>> r = requests.get(url) >>> r.status_code 200
- 如今
r
中已經包含了咱們想要的圖片,接下來要作的事情就是把圖片變成文件存放到本機。 - 咱們知道圖片是一個二進制格式,用以下代碼來實現:
>>> path = "/Users/hyliu/Desktop/picture.jpg" >>> with open(path,'wb') as f: f.write(r.content) 53658 >>>
- 這段代碼的含義就是,咱們先打開一個文件
picture.jpg
,並定義爲一個文件標識符f
。而後咱們將返回的內容寫入到這個文件中。 r.content
表示返回內容的二進制格式,因此咱們將r.content
寫入到圖片文件中。- 最後咱們將文件關閉。
>>> f.close() >>>
- 如今咱們去查看咱們爬取的結果(是否是很帥!)
- 給出完成代碼(用圖片本來的名稱來命名):
import requests import os url = "https://gss3.bdstatic.com/-Po3dSag_xI4khGkpoWK1HF6hhy/baike/c0%3Dbaike80%2C5%2C5%2C80%2C26/sign=3acf58502f7f9e2f6438155a7e598241/7aec54e736d12f2e227c44d647c2d5628535680f.jpg" root = "/Users/hyliu/Desktop/" path = root + url.split('/')[-1] #獲取URL最後一個「/」後的內容,實際上就是獲取圖片本來的名字 try: if not os.path.exists(root): #目錄不存在則建立 os.mkdir(root) if not os.path.exists(path): #判斷是否存在重名文件 r = requests.get(url) #print(r.status_code) r.raise_for_status() with open (path,'wb') as f: f.write(r.content) f.close() print("文件保存成功!") else: print("文件已存在") except: print("爬取失敗")
實戰五—查詢IP地址的歸屬地
- 藉助IP138網站查詢:
- 思路就是像百度和360那樣,找到IP138網站的接口信息。
>>> import requests >>> url = "http://m.ip138.com/ip.asp" >>> kv = {'ip':'218.106.145.15'} >>> r = requests.get(url,params = kv) >>> r.status_code 200 >>> r.text[-500:] 'submit" value="查詢" class="form-btn" />\r\n\t\t\t\t\t</form>\r\n\t\t\t\t</div>\r\n\t\t\t\t<div class="query-hd">ip138.com IP查詢(搜索IP地址的地理位置)</div>\r\n\t\t\t\t<h1 class="query">您查詢的IP:218.106.145.15</h1><p class="result">本站主數據:福建省福州市 聯通</p><p class="result">參考數據一:福建省福州市 聯通</p>\r\n\r\n\t\t\t</div>\r\n\t\t</div>\r\n\r\n\t\t<div class="footer">\r\n\t\t\t<a href="http://www.miitbeian.gov.cn/" rel="nofollow" target="_blank">滬ICP備10013467號-1</a>\r\n\t\t</div>\r\n\t</div>\r\n\r\n\t<script type="text/javascript" src="/script/common.js"></script></body>\r\n</html>\r\n' >>>
- 給出完整代碼:
import requests kv = {'ip':'218.106.145.15'} url = "http://m.ip138.com/ip.asp" try: r = requests.get(url,params = kv) r.raise_for_status() print(r.text[-500:]) except: print("爬取失敗")
URL is APIjavascript