Python爬蟲入門

什麼是爬蟲？

一段自動抓取互聯網信息的程序，從互聯網上抓取對於咱們有價值的信息

Python四種基本數據結構

• 列表

列表中的每一個元素都是可變的; 列表的元素都是有序的，也就是說每一個元素都有對應的位置; 列表能夠容納全部的對象;

list = ['波波', '90, '超哥', '小明'] print(list[0]) print(list(2:)) # result 波波 ['超哥', '小明'] # 若是爲切片返回的也是列表的數據結構 複製代碼

• 字典

user_info = {
  'name': '小明',
  'age': '23',
  'sex': 'male'
}
複製代碼

• 元組

在爬蟲中元組和集合不多用到，這裏只作簡單的介紹; 元組: 相似於列表，可是元組的元素是不能修改只能查看的

# 元組
tuple = (1,2,3)

複製代碼

• 集合

集合：相似數學中的集合，每一個集合中的元素是無序的，不能夠有重複的對象，所以能夠經過集合把重複的數據去除!

# 集合
list = [1,1,2,2,3,4,5] 
set = set(list)
# result {1,2,3,4,5}
複製代碼

Python文件操做

# 打開文件
open(name,[, mode[,buffering]])

f = open('/Users/GreetingText/PycharmProjects/demo/hello.txt')

# 讀寫文件

f = open('/Users/GreetingText/PycharmProjects/demo/hello.txt', 'w')
f.write('Hello World')

f = open('/Users/GreetingText/PycharmProjects/demo/hello.txt', 'r')
content = f.read()
print(content)
# result Hello World

# 關閉文件
f.close()
複製代碼

爬蟲原理

多頁面爬蟲流程

如何安裝Python環境？

Mac 系統自帶Python 2.7，安裝 新版本請前往官網下載，安裝成功以後，在命令行輸入python3 如圖：

工欲善其事，必先利其器

推薦PyCharm

PyCharm破解方法拿走不謝！

推薦兩個第三方庫

• Beautiful Soup 中文文檔
• Scrapy 中文文檔

QuickDemo

安裝Scrapy並建立項目

pip install scrapy
scrapy startproject QuickDemo
cd QuickDemo
複製代碼

在spiders目錄下建立test_spilder.py文件

具體代碼(須要事先安裝BeautifulSoup庫)

# -*- coding:utf-8 -*-
import scrapy
from bs4 import BeautifulSoup


class tsSpride(scrapy.Spider):
    name = 'test' # 爬蟲的惟一名字，在項目中爬蟲名字必定不能重複

    # start_requests() 必須返回一個迭代的Request
    def start_requests(self):
        # 待爬取的URL列表
        urls = ['http://www.jianshu.com/',]
        # 模擬瀏覽器
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
        for url in urls:
            yield scrapy.Request(url=url, headers=headers, callback=self.parse)

    # 處理每一個請求的下載響應
    def parse(self, response):
        soup = BeautifulSoup(response.body, 'html.parser')
        titles = soup.find_all('a', 'title')
        for title in titles:
            print(title.string)

        try:
            file = open(r'/Users/GreetingText/QuickDemo/jianshu.txt', 'w')
            # 將爬取到的文章題目寫入txt中
            for title in titles:
                file.write(title.string + '\n')
        finally:
            if file:
                # 關閉文件（很重要）
                file.close()
複製代碼

在命令行輸入

scrapy crawl test
複製代碼

爬取數據成功如圖：

並且項目裏面也生成了一個jianshu.txt文件

打開jianshu.txt如圖:

如下是參考連接

本文參考文章

BeautifulSoup官網

Scrapy官網

windows安裝Python3

Mac安裝Python3