爬蟲技術簡單應用---Spider

咱們在進行網站開發時會常常用到其它相關網站的信息，這時候咱們就會用的爬蟲技術。

 

首先，咱們得在相關開發平臺上下載：lxml,bs4,requests這三個模塊，下載後就能夠了。

 

而後，在寫上一個簡單的角本，就能夠進行相關操做了。如下是該簡單角本：

 

from bs4 import BeautifulSoupimport requestsdef get_url(url):    web_url = requests.get(url)    soup = BeautifulSoup(web_url.text,"lxml")    title = soup.find("title").text    description = soup.find_all(attrs = {"name":"description"})[0]["content"]    print(title,description)# def req(url):#     web_info = requests.get(url)#     print(web_info.text)# if __name__ == '__main__':#     req("http://www.taobao.com")if __name__ == '__main__':    get_url("http://www.taobao.com")