Spider與OpenPyXL的結合

時間 2019-12-05

標籤 spider openpyxl 結合简体版

原文原文鏈接

寫做不易，轉載請註明出處，且用且珍惜。html

OpenPyXL的API文檔

#1.OpenPyXL基礎操做python

引入Workbook這個類,而後調用

from openpyxl import Workbook
wb = Workbook()
複製代碼

經過openpyxl.workbook.Workbook.active()調用獲得正在運行的工做表

ws = wb.active
複製代碼

該函數調用工做表的索引(_active_sheet_index)，默認是0。除非你修改了這個值，不然你使用該函數一直是在對第一張工做表進行操做。安全

使用openpyxl.workbook.Workbook.create_sheet()新建一張表

ws1 = wb.create_sheet() #默認插在工做簿末尾
# or
ws2 = wb.create_sheet(0) # 插入在工做簿的第一個位置
複製代碼

在建立工做表的時候系統自動命名。他們按照序列依次命名 (Sheet, Sheet1, Sheet2, ...)。你能夠經過調用下面的屬性修改工做表的名稱：

ws.title = "New Title"
複製代碼

標籤欄的背景色默認爲白色。你能夠經過提供一個RRGGBB顏色碼改變標籤欄的字體顏色

ws.sheet_properties.tabColor = "1072BA"
複製代碼

一旦你獲取工做表的名字，你能夠經過workbook的key或者 openpyxl.workbook.Workbook.get_sheet_by_name() 方法獲得該工做表

ws3 = wb["New Title"]
ws4 = wb.get_sheet_by_name("New Title")
ws is ws3 is ws4
True
複製代碼

你能夠經過openpyxl.workbook.Workbook.get_sheet_names() 方法獲得工做簿的全部工做表。

print(wb.get_sheet_names())
['Sheet2', 'New Title', 'Sheet1']
複製代碼

你也能夠循環獲得全部的工做表

for sheet in wb:
       print(sheet.title)
複製代碼

#操做數據bash

使用一個單元格app

咱們開始修改工做表中單元格的內容dom

單元格能夠直接根據他們的索引直接得到python2.7

>>> c = ws['A4']
複製代碼

經過上述的語句，將返回在A4處的單元格，若是不存在將在A4新建一個。單元格的值也能夠直接賦值ide

>>> ws['A4'] = 4
複製代碼

還提供 openpyxl.worksheet.Worksheet.cell() 方法獲取單元格函數

>>> c = ws.cell('A4')
複製代碼

也能夠根據行列值獲取單元格字體

>>> d = ws.cell(row = 4, column = 2)
複製代碼

注意：當一個工做表被建立是，其中不包含單元格。只有當單元格被獲取是才被建立。這種方式咱們不會建立咱們從不會使用的單元格，從而減小了內存消耗。警告：因爲上述特性，你若是遍歷了單元格而非想要使用它們也將會在內存當中建立。好比下面：

>>> for i in range(1,101):
              for j in range(1,101):
                   ws.cell(row = i, column = j)
複製代碼

上述代碼將會在內存中建立100*100個單元格。固然，這裏也有方法來清理這些不想要的單元格，在後續咱們將會介紹。

##使用多個單元格

使用切片獲取多個單元格

>>> cell_range = ws['A1':'C2']
複製代碼

使用openpyxl.worksheet.Worksheet.iter_rows() 方法得到多個單元格

>>> tuple(ws.iter_rows('A1:C2'))
((<Cell Sheet1.A1>, <Cell Sheet1.B1>, <Cell Sheet1.C1>),
(<Cell Sheet1.A2>, <Cell Sheet1.B2>, <Cell Sheet1.C2>))
>>> for row in ws.iter_rows('A1:C2'):
            for cell in row:
                  print cell
<Cell Sheet1.A1>
<Cell Sheet1.B1>
<Cell Sheet1.C1>
<Cell Sheet1.A2>
<Cell Sheet1.B2>
<Cell Sheet1.C2>
複製代碼

若是你須要迭代文件中全部的行或者列，你可使用 openpyxl.worksheet.Worksheet.rows()

>>> ws = wb.active
>>> ws['C9'] = 'hello world'
>>> ws.rows
((<Cell Sheet.A1>, <Cell Sheet.B1>, <Cell Sheet.C1>),
(<Cell Sheet.A2>, <Cell Sheet.B2>, <Cell Sheet.C2>),
(<Cell Sheet.A3>, <Cell Sheet.B3>, <Cell Sheet.C3>),
(<Cell Sheet.A4>, <Cell Sheet.B4>, <Cell Sheet.C4>),
(<Cell Sheet.A5>, <Cell Sheet.B5>, <Cell Sheet.C5>),
(<Cell Sheet.A6>, <Cell Sheet.B6>, <Cell Sheet.C6>),
(<Cell Sheet.A7>, <Cell Sheet.B7>, <Cell Sheet.C7>),
(<Cell Sheet.A8>, <Cell Sheet.B8>, <Cell Sheet.C8>),
(<Cell Sheet.A9>, <Cell Sheet.B9>, <Cell Sheet.C9>))
複製代碼

或者使用**openpyxl.worksheet.Worksheet.columns()**方法

>>> ws.columns
((<Cell Sheet.A1>,
<Cell Sheet.A2>,
<Cell Sheet.A3>,
<Cell Sheet.A4>,
<Cell Sheet.A5>,
<Cell Sheet.A6>,
...
<Cell Sheet.B7>,
<Cell Sheet.B8>,
<Cell Sheet.B9>),
(<Cell Sheet.C1>,
<Cell Sheet.C2>,
<Cell Sheet.C3>,
<Cell Sheet.C4>,
<Cell Sheet.C5>,
<Cell Sheet.C6>,
<Cell Sheet.C7>,
<Cell Sheet.C8>,
<Cell Sheet.C9>))
複製代碼

數據存儲

一旦咱們有一個openpyxl.cell.Cell，咱們能夠直接爲該單元格賦值

>>> c.value = 'hello, world'
>>> print(c.value)
'hello, world'
>>> d.value = 3.14
>>> print(d.value)
3.14
你也可使用Python中的其餘類型和格式
>>> wb = Workbook(guess_types=True)
>>> c.value = '12%'
>>> print(c.value)
0.12
>>> import datetime
>>> d.value = datetime.datetime.now()
>>> print d.value
datetime.datetime(2010, 9, 10, 22, 25, 18)
>>> c.value = '31.50'
>>> print(c.value)
31.5
複製代碼

#保存到文件

保存工做簿最簡單最安全的方式是使用openpyxl.workbook.Workbook的openpyxl.workbook.Workbook.save() 方法

>>> wb = Workbook()
>>> wb.save('balances.xlsx')
複製代碼

！特別警告：這個操做將會在沒有認識提示的狀況下用如今寫的內容，覆蓋掉原文件中的全部內容你也能夠 as_template=True，將文件保存稱爲一個模板

>>> wb = load_workbook('document.xlsx')
>>> wb.save('document_template.xltx', as_template=True)
複製代碼

若是as_template=False(默認)，則將文件或模板保存爲文件

>>> wb = load_workbook('document_template.xltx')
>>> wb.save('document.xlsx', as_template=False)
>>> wb = load_workbook('document.xlsx')
>>> wb.save('new_document.xlsx', as_template=False)
複製代碼

警告：在保存文件到文件模板中的時候你應該監控數據的屬性和文件擴展名，反之亦然；不然，你獲得的工做簿可能沒法打開。好比下面的：

>>> wb = load_workbook('document.xlsx')
>>> # Need to save with the extension *.xlsx
>>> wb.save('new_document.xlsm')
>>> # MS Excel can't open the document
>>>
>>> # or
>>>
>>> # Need specify attribute keep_vba=True
>>> wb = load_workbook('document.xlsm')
>>> wb.save('new_document.xlsm')
>>> # MS Excel can't open the document
>>>
>>> # or
>>>
>>> wb = load_workbook('document.xltm', keep_vba=True)
>>> # If us need template document, then we need specify extension as *.xltm.
>>> # If us need document, then we need specify attribute as_template=False.
>>> wb.save('new_document.xlsm', as_template=True)
>>> # MS Excel can't open the document
複製代碼

從文件中導入

和寫入文件的方式相同，你能夠引入openpyxl.load_workbook()來打開一個已經存在的工做簿

>>> from openpyxl import load_workbook
>>> wb2 = load_workbook('test.xlsx')
>>> print wb2.get_sheet_names()
['Sheet2', 'New Title', 'Sheet1']

複製代碼

#2.爬蟲與OpenPyXL的結合（爬取前程無憂網站招聘數據，存儲Excel表格中）

這裏採用的python的bs4庫，代碼基於python2.7 ####分析

代碼以下：

#-*- coding:utf-8 -*-
import requests,re

#引入解碼器
import codecs
from bs4 import BeautifulSoup

#從OpenPyXl引入Workbook這個類
from openpyxl import Workbook

#調用
Excel = Workbook()
fileName = '51job.xlsx'

#調用獲得正在運行的工做表
excel = Excel.active

#工做表的名字
excel.title = '51job'

#定義爬蟲的方法
def spider(job,page):

    my_headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.3397.16 Safari/537.36'
    }
    workName = []
    company = []
    address = []
    pay = []
    print page,type(page)
    page = int(page)+1


    try:
        for i in range(1,page):
            url = 'http://search.51job.com/list/020000,000000,0000,00,9,99,'+job+',2,' + str(i) + '.html'
            #獲取url地址內容，僞造請求頭

            data = requests.get(url,headers=my_headers).content
            print('獲得網頁html數據')

            #設置html解析器
            soup = BeautifulSoup(data,'html.parser')
            soup1 = soup.find('div',class_='dw_table')
            content = soup1.find_all('div','el')

            for i in content[1:]:
                # print(i)
                workna = i.find('p', attrs={'class': 't1'})
                work_name = workna.find('span').get_text().strip().replace('/n/r', '')  # 職位名字
                compa = i.find('span', attrs={'class': 't2'}).get_text()  # 公司名
                addre = i.find('span', attrs={'class': 't3'}).get_text()  # 工做地點
                payy = i.find('span', attrs={'class': 't4'}).get_text()  # 薪資
                print(work_name, compa, addre, payy)

                if payy:
                    pay.append(payy)
                else:
                    pay.append('面議')

                workName.append(work_name)
                company.append(compa)
                address.append(addre)

        for (w,c,a,p) in zip(workName,company,address,pay):
            col_A = 'A%s'%(workName.index(w) + 1)
            col_B = 'B%s'%(workName.index(w) + 1)
            col_C = 'C%s'%(workName.index(w) + 1)
            col_D = 'D%s'%(workName.index(w) + 1)
            excel[col_A] = w
            excel[col_B] = c
            excel[col_C] = a
            excel[col_D] = p
            #保存到excel文件
            print('開始保存數據')
            Excel.save(filename=fileName)
    except Exception as e:
        print(e)
if __name__ == '__main__':
    job = raw_input('請輸入你要爬取的崗位名稱：')
    page = raw_input('請輸入你要爬取的頁碼數量：')
    spider(job,page)

複製代碼

#使用一樣的分析方法爬取智聯招聘崗位信息代碼以下：

#-*- coding:utf-8 -*-
import requests,re
import codecs   #引入解碼器
import random

from bs4 import BeautifulSoup
from openpyxl import Workbook  #從openpyxl引入Workbook
from fake_useragent import UserAgent  #引入userAgent

Excel = Workbook() #調用
fileName = 'zl.xlsx'

excel = Excel.active  #調用運行的工做表
excel.title = ('zj')


#定義爬蟲的方法
def spider(job,page,add):
    ua = UserAgent()
    my_headers = {
        'user-agent':ua.random
    }

    name = []     #定義崗位名稱
    percent = []  #定義反饋率
    company = []  #定義公司名稱
    salary = []   #定義職位月薪
    position = [] #定義工做地點
    page = int(page)+1
    try:
        for i in range(1,page):
            url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl='+ add +'&kw=' + job + '&sm=0&p=' + str(i)
            # data = {
            # 'jl':'上海',
            # 'kw':job,
            # 'p':i
            # }
            data = requests.get(url,headers=my_headers).content

            #設置htmL解析器
            soup = BeautifulSoup(data,'html.parser')
            soup1 = soup.find('div',class_='newlist_list_content')
            content = soup1.find_all('table',class_="newlist")

            for i in content[1:]:
                print i
                na = i.find('td',attrs={'class':'zwmc'}).find('a').get_text().strip().replace('/n/r', '')#崗位名
                perc = i.find('td',attrs={'class':'fk_lv'}).find('span').get_text()  #反饋率
                comp = i.find('td',attrs={'class':'gsmc'}).find('a').get_text()   #公司名
                sala = i.find('td',attrs={'class':'zwyx'}).get_text()  #職位月薪
                positi = i.find('td',attrs={'class':'gzdd'}).get_text()  #工做地點

                print na,perc,comp,sala,positi

                if perc:
                    percent.append(perc)
                else:
                    percent.append('空')

                name.append(na)
                company.append(comp)
                salary.append(sala)
                position.append(positi)
        for (n, p, c, s, p) in zip(name, percent, company, salary, position):
            col_A = 'A%s' % (name.index(n) + 1)
            col_B = 'B%s' % (name.index(n) + 1)
            col_C = 'C%s' % (name.index(n) + 1)
            col_D = 'D%s' % (name.index(n) + 1)
            col_E = 'E%s' % (name.index(n) + 1)
            excel[col_A] = n
            excel[col_B] = p
            excel[col_C] = c
            excel[col_D] = s
            excel[col_E] = p

            # 保存到excel文件
            print('開始保存數據')
            Excel.save(filename=fileName)
    except Exception as e:
        print(e)

if __name__ == '__main__':
    print '◆我是一隻小爬蟲◆'
    job = raw_input('請輸入您想要的到的崗位名稱：')
    page = raw_input('請輸入您想要獲得的頁碼數量：')
    add = raw_input('請輸入您想要哪一個城市的招聘信息：')
    spider(job,page,add)

複製代碼

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。