python-淘寶信息定向爬取

S是相似產品頁數  bcoffset直流偏移。

有人在將偏移量：http://www.cnblogs.com/defineconst/p/6185396.html

item.taobao.com/item.htm?參數。常見參數以下
&spm  流量來源
&id 淘寶id
&ali_trackid 阿里媽媽id
&ali_refid

--------官方解析文檔-----------

淘寶開放平臺 - 文檔中心
http://open.taobao.com/docs/doc.htm?articleId=959&docType=1&treeId=null

-----for instance----

SPM編碼：用來跟蹤頁面模塊位置的編碼，標準spm編碼由4段組成，採用a.b.c.d的格式（建議所有使用數字），其中，

• a表明站點類型，對於xTao合做夥伴（外站），a爲固定值，a=2014
• b表明外站ID（即外站所使用的TOP appkey），好比您的站點使用的TOP appkey=123456789，則b=123456789
• c表明b站點上的頻道ID，好比是外站某個團購頻道，某個逛街頻道，某個試用頻道 等
• d表明c頻道上的頁面ID，好比是某個團購詳情頁，某個寶貝詳情頁，某個試用詳情頁 等

-淘寶課程不錯哎╮(￣▽￣")╭---

開放平臺學院
http://xue.open.taobao.com/video/list.htm?spm=a219a.8199539.2232181.2.nD4HG7

-------------------------------

 改日再測，，，網速渣。。。

原文：淘寶網有哪些不爲人知的使用技巧
http://www.zhifuwang.cn/news/zhaoshangzhengce/79293.html

操做連接：
http://www.alimama.com/index.htm?spm=a2320.7874452.a31ci.1.LD83zb

掃碼登陸帳號-》營銷平臺-》 淘寶客

-------------------------------------------------------

目標軟件：

網絡信息採集大師
http://www.onlinedown.net/soft/39355.htm

NetGet
http://www.jb51.net/softs/237543.html

-----------------------------------

Q：

1去掉一些無用的參數不會影響最終到達的網頁

--------------

2.

經過對象屬性不明覺厲

 

>>> class website:
def __init__(self,name,type):
self.name,self.type = name,type
def __str__(self):
return 'Website name: {self.name}, Website type: {self.type} '.format(self=self)
>>> print (str(website('pythontab', 'python')))
Website name: pythontab.com, Website type: python
>>> print website('pythontab', 'python')
Website name: pythontab, Website type: python

 

 全文參考python強大的字符串格式化函數 （爲何要折一下啊，爲何呢，否則不給經過啊）

http://www.pytho

ntab.com/html/2016/pythonjichu_0722/1049.html

 

PyFormat: Using % and .format() for great good!
https://pyformat.info/

 

 

-----------------re--

Python3 正則表達式 | 菜鳥教程：
http://www.runoob.com/python3/python3-reg-expressions.html

pythonsplit 切片規則：

http://www.runoob.com/python/att-string-split.html

 

實例

如下實例展現了split()函數的使用方法：

#!/usr/bin/python str = "Line1-abcdef \nLine2-abc \nLine4-abcd"; print str.split( ); print str.split(' ', 1 );

以上實例輸出結果以下：

['Line1-abcdef', 'Line2-abc', 'Line4-abcd'] ['Line1-abcdef', '\nLine2-abc \nLine4-abcd']




----找錯版------------

# -*- coding: utf-8 -*-
"""
Created on Mon Apr 3 23:51:17 2017

@author: Administrator
"""

import requests
import re

def getHtmlText(url):
try:
r = requests.get(url, timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""

def parseHtml(html):
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"'.split(':')[1])
tlt = re.findall(r'\"raw_title\"\:\".*?\"'.split(':')[1])
for i in len(plt):
ulist.append([plt[i],tlt[i]])

def printHtml(html,list):
flt = "{:10}\t{:10}\t{:10}"
count = 0
for g in list:
count = count +1
print(flt.format("序號","價格","商品名稱"))
print(count,ulist.plt[i],ulist.tlt[i])

 

def main():
goods="商品"
depth = 2
start_url = "http://s.taobao.com/search?q="+ goods
ulist = []
r = getHtmlText(url)
for i in depth:
url = start_url + '&s=' + str( 44 * i)
parseHtml(url)
printHtml(html,ulist)

main()

-------最後一遍顯然仍是有毛病----1.渣速只有晚上跑得動 2.明明是書包，卻跑出了屎3.之後再解決吧，畢竟無能爲力--------

 

# -*- coding: utf-8 -*-
"""
Created on Tue Apr 4 00:35:49 2017

@author: Administrator
"""

import re
import requests

def getHtml(url):
try:
r = requests.get(url, timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""

def parseHtml(uinfolist,html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
uinfolist.append([price,title])
except:
print("")


def printHtml(uinfolist):
ptlt = '{:10}\t{:10}\t{:15}'
print(ptlt.format("序號","價格","商品名稱"))
count = 0
for g in uinfolist:
count = count + 1
print(ptlt.format(count,g[0],g[1]))

def main():
print('----------------------')
goods = '書包'
start_url = "http://s.taobao.com/search?="+goods
depth = 2
ulist = []
for g in range(depth):
try:
url = start_url + '&q=' + str (44 * g)
m = getHtml(url)
parseHtml(ulist,m)
except:
continue
printHtml(ulist)

main()
-----

----------------------
序號 價格 商品名稱
1 99.00 【訂金】斯柯達 Yeti 2016款 2年0利率 整車訂金
2 99.00 【訂金】斯柯達 全新晶銳車享定製版 2年0利率 整車訂金
3 39.00 德國美耐特®遊標卡尺0-150mm-200mm-300mm卡尺高精度非不鏽鋼包郵
4 27.65 春秋新男女寶寶鞋嬰兒軟底防滑學步鞋休閒鞋0-1歲運動鞋幼兒鞋子
5 16.80 正品秒殺塑料電子數顯0-100150mm迷你小卡尺文玩珠寶測量遊標卡尺
6 98.00 廣陸量具0-150mm電子數顯卡尺 原點不鏽鋼遊標卡尺高精度測量工具
7 38.00 春季男女寶寶鞋子0-1歲學步鞋軟底嬰兒鞋新生幼兒單鞋真皮羊皮
8 55.00 錦豐五金 電子數顯卡尺 遊標卡尺不鏽鋼0-150-200-300mm
9 28.00 0-6-12個月春秋嬰兒鞋子新生幼兒不掉鞋男女寶寶鞋襪軟底學步鞋
10 29.90 寶寶學步鞋春夏季嬰兒鞋子軟底防滑男童女童0-1歲步前鞋幼兒布鞋
11 49.00 嬰兒鞋子0-6-12個月男女寶寶學步鞋春秋1-3歲新生兒軟底步前布鞋
12 42.00 0-6-12個月3學步鞋7女寶寶1歲5春秋冬9嬰兒鞋子8軟底春鞋春季棉鞋
13 69.50 卡茨格兒學步鞋女寶寶 涼鞋男嬰兒涼鞋包頭0-1-2歲軟底防滑幼兒鞋
14 89.00 泰蘭尼斯嬰兒學步鞋軟底寶寶叫叫鞋卡通幼兒不掉鞋子0-1-3歲春秋
15 68.00 卡特兔母嬰旗艦店嬰兒鞋子0-6個月軟底防滑新生兒男女寶寶學前鞋
16 27.00 嬰兒步前鞋春秋新款寶寶室內地板鞋0-2家居嬰兒鞋防滑軟底學步鞋
17 36.00 寶寶鞋子1-3歲鞋男軟底嬰兒鞋布鞋春秋學步鞋2歲女寶寶0-1叫叫鞋
18 22.00 運動款0-12個月嬰兒鞋軟底寶寶學步鞋格子0-1歲男女嬰幼鞋子
19 19.90 2017學步鞋幼兒軟底女寶寶鞋0-1-3歲男童鞋單鞋網面鞋子2嬰兒春款
20 59.00 2016秋季新款寶寶學步鞋女0-6歲軟底小白鞋時尚韓版男童嬰兒單鞋
21 45.00 2017春0-1歲真皮嬰兒單鞋學步鞋 2歲女寶寶幼兒公主單鞋軟底鞋子
22 19.90 嬰兒鞋子0-1-2歲女寶寶單鞋2017春季新款軟底學步鞋女童公主皮鞋
23 39.00 春秋款女寶寶防滑公主鞋0-3歲嬰兒軟底學步鞋幼兒禮服鞋兒童單鞋
24 39.50 每天特價春季寶寶鞋學步鞋嬰兒鞋軟底0-1歲3小白鞋男女童運動單鞋
25 28.80 春秋冬季女寶寶學步布鞋單鞋0-1週歲男嬰兒春鞋6軟底小鞋子12個月
26 28.80 3四45-6七7八8九9-12個月男嬰兒春秋裝鞋子0-1歲女寶寶軟底不掉鞋
27 29.00 嬰兒秋冬季純手工毛線寶寶軟底鞋加絨加厚前步前鞋0-3-6-9-12個月
28 21.77 0-6-12個月學步鞋春秋新生幼兒男女1歲寶寶鞋襪單鞋嬰兒鞋子軟底
29 39.80 叮噹小豬2017春季新款童鞋真皮兒童單鞋0-1-2-3歲男女寶寶學步鞋
30 57.82 0-1歲半女嬰兒鞋子軟底防掉學步鞋男寶寶9春秋款透氣7九8十個月11
31 26.90 嬰兒鞋子軟底 學步鞋0-1歲寶寶鞋子男女寶春秋透氣防脫布鞋薄
32 29.90 0-1歲新生嬰幼兒軟底鞋 男女寶寶魔術貼時尚運動學步鞋
33 149.00 瑪喬寶寶機能鞋男童軟底防滑嬰兒學步鞋女童涼鞋0-1-3歲1612
34 27.09 皮鞋小童單鞋軟底鞋女童學步女寶嬰幼鞋子公主春季0-1-2-3歲兒
35 45.00 2017春款寶寶鞋真皮學步鞋0-1-2-3歲男女嬰兒鞋子軟底單鞋兒童鞋
36 91.00 0-1-2-3歲小女孩鞋單鞋春秋季 一週歲半女寶寶軟底公主皮鞋學步鞋
37 4.00 stc89c52rc 40i lqfp lqfp44 89c52 lqfp44g
38 19.98 樂呵呵紅米note2電池1S正品2A手機note小米2S原裝BM20 44 42 45
39 239.00 【天貓超市】日本進口 花王妙而舒紙尿褲XL44片2包裝通用型尿不溼
40 28.00 山地自行車44mm直管培林碗組44/56 42/52 椎管50.6小錐管軸承碗組
41 50.00 多省包郵大號麻將牌 中大號40 42 44家用麻將 手搓麻將 四川麻將
42 25.00 MEROCA 超輕軸承 培林碗組 山地自行車車頭 44mm內置 直管碗組
43 99.80 家用特一級中大號高檔手搓麻將牌送麻將布 無瑕疵38 40 42 44MM
44 84.98 正品38--44MM晶玉 玉石色耐磨中號大號家用手搓麻將牌送麻將桌布
45 89.00 正品38-44MM卡通竹絲雙層大號加厚家用手搓麻將牌 送麻將桌布
46 35.00 華碩X44H K42D X43S A43S X42J X84H A42JC K42J筆記本鍵盤A83S
47 2.40 貼片 全新原裝 STC89C52RC-40I-LQFP44 串口編程(程序下載)單片機
48 40.00 多省包郵大號麻將牌 中大號40 42 44家用麻將 手搓麻將 四川麻將
49 105.00 彩色玉石麻將40中 42大號 44高檔家用麻將牌 手搓麻將 無瑕疵包郵
50 68.20 棋牌室全自動四口機專用40麻將機麻將牌中號42正磁38mm44大號4648
51 69.30 捷安特ATX770 777 XTC800 820小錐管轉換直管44-50.6mm雙培林碗組
52 40.00 景曄44mm直管內置隱藏式雙培林軸承碗組山地車自行車腕組28.6前叉
53 16.00 shimano浩盟中空牙盤修補盤片22T 32T 44T牙盤修補齒片 盤片
54 95.00 包郵全自動四口麻將機專用機用麻將牌正磁正品40mm42mm44大號46mm
55 10.90 護盤 牙盤罩山地公路自行車萬能大齒盤保護罩42/44齒鏈罩牙盤護罩
56 6.40 Risym STC12C5A60S2-35I-LQFP44G 12C5A60S2 單片機
57 125.00 全國包郵 送桌布籌碼 特一級家用中大號手打麻將38-44MM正品麻將
58 3.80 Risym STC89C52 STC89C52RC-40I-LQFP44G 單片機LQFP44 工業級
59 19.80 死飛牙盤死飛自行車單車44T鐵牙盤齒盤700C死飛輪盤含左右曲柄
60 60.00 四口機專用機用自動麻將牌正磁一級40mm42mm一級品46大號麻將44號
61 55.00 ATX770d培林XTC碗組750軸承44-50.6錐管758轉777直管790腕組44-56
62 8.00 步進電機驅動板 A3967 EasyDriver Stepper Motor Driver V44
63 38.00 包郵 一級家用麻將牌 特大號手搓108張四川麻將 40 42 44中號
64 11.20 ATMEGA32U4-AU QFP44 全新原裝擔保 進口現貨 單片機 可直接拍下
65 93.50 SHIMANO喜瑪諾ACERA FC-M391牙盤 9速27速山地車方孔M390牙盤 44T
66 18.80 死飛牙盤死飛自行車單車44T鐵牙盤齒盤700C死飛輪盤含左右曲柄
67 89.00 家用手搓仿玉石40 42 44MM彩色高檔麻將牌 中號 大號麻將送桌布墊
68 65.00 全自動四口麻將機專用麻將牌 家用麻將牌中號 40 42mm44 46可手搓
69 3.78 單片機 AT89S52-24AU AT89S52 TQFP44 原裝正品現貨
70 80.00 原裝V3正品 TL866A TL866CS通用編程器專用TSOP48-SOP44適配器座
71 8988.00 E5 2696V4正式版 22/44 2.2G滿載2.8G
72 40.00 17款SWTXO直管44mm內置隱藏式培林軸承碗組死飛碗組山地自行車
>>>