z數據

利用網易獲取全部股票數據

import urllib.request
import re

##def downback(a,b,c):
##    ''''
##    a:已經下載的數據塊
##    b:數據塊的大小
##    c:遠程文件的大小
##   '''
##    per = 100.0 * a * b / c
##    if per > 100 :
##        per = 100
##    print('%.2f%%' % per)

stock_CodeUrl = 'http://quote.eastmoney.com/stocklist.html'

#獲取股票代碼列表
def urlTolist(url):
    allCodeList = []
    html = urllib.request.urlopen(url).read()
    html = html.decode('gbk')
    s = r'<li><a target="_blank" href="http://quote.eastmoney.com/\S\S(.*?).html">'
    pat = re.compile(s)
    code = pat.findall(html)
    for item in code:
        if item[0]=='6' or item[0]=='3' or item[0]=='0':
            allCodeList.append(item)
    return allCodeList
    
allCodelist = urlTolist(stock_CodeUrl)

for code in allCodelist:
    print('正在獲取%s股票數據...'%code)
    if code[0]=='6':
        url = 'http://quotes.money.163.com/service/chddata.html?code=0'+code+\
        '&end=20161231&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'
    else:
        url = 'http://quotes.money.163.com/service/chddata.html?code=1'+code+\
        '&end=20161231&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'
    urllib.request.urlretrieve(url,'d:\\all_stock_data\\'+code+'.csv')#能夠加一個參數dowmback顯示下載進度

 

 

搜狐股票動態數據的抓取

import urllib.request
import re
import json
import csv

url = 'http://q.stock.sohu.com/hisHq?code=cn_000078&start=20161201&end=20170330&stat=1&order=D&period=d&callback=historySearchHandler&rt=jsonp&r=0.543412915586595&0.7723848901142324'

html = urllib.request.urlopen(url).read()
html = html.decode('gbk')
html = html[21:-2]#去BOM頭
data = json.loads(html)
datalist = data[0]['hq']

with open('02.csv', "w",newline='') as csvFile:
        csvWriter = csv.writer(csvFile)
        for data in datalist:
            csvWriter.writerow(data)
        csvFile.close

 

#http://q.stock.sohu.com/cn/000078/lshq.shtml

 

利用東方財富網獲取股票代碼

 

import urllib.request
import re

stock_CodeUrl = 'http://quote.eastmoney.com/stocklist.html'

#獲取股票代碼列表
def urlTolist(url):
    allCodeList = []
    html = urllib.request.urlopen(url).read()
    html = html.decode('gbk')
    s = r'<li><a target="_blank" href="http://quote.eastmoney.com/\S\S(.*?).html">'
    pat = re.compile(s)
    code = pat.findall(html)
    for item in code:
        if item[0]=='6' or item[0]=='3' or item[0]=='0':
            allCodeList.append(item)
    return allCodeList
    
allCodelist = urlTolist(stock_CodeUrl)
for code in allCodelist:
    df=pd.read_html('http://quotes.money.163.com/trade/lsjysj_'+code+'.html#06f01')
    df[3].to_csv('d:\\stock_code\\'+code+'.csv',index=None)
    print('正在獲取%s'%code)

 

新浪股票數據接口

 

股票數據的獲取目前有以下兩種方法能夠獲取:
1. http/javascript接口取數據
2. web-service接口
1.http/javascript接口取數據
1.1Sina股票數據接口
以大秦鐵路（股票代碼：601006）爲例，若是要獲取它的最新行情，只需訪問新浪的股票數據
接口：
http://hq.sinajs.cn/list=sh601006
這個url會返回一串文本，例如：
var hq_str_sh601006="大秦鐵路, 27.55, 27.25, 26.91, 27.55, 26.20, 26.91, 26.92, 
22114263, 589824680, 4695, 26.91, 57590, 26.90, 14700, 26.89, 14300,
26.88, 15100, 26.87, 3100, 26.92, 8900, 26.93, 14230, 26.94, 25150, 26.95, 15220, 26.96, 2008-01-11, 15:05:32";
這個字符串由許多數據拼接在一塊兒，不一樣含義的數據用逗號隔開了，按照程序員的思路，順序號從0開始。
0：」大秦鐵路」，股票名字；
1：」27.55″，今日開盤價；
2：」27.25″，昨日收盤價；
3：」26.91″，當前價格；
4：」27.55″，今日最高價；
5：」26.20″，今日最低價；
6：」26.91″，競買價，即「買一」報價；
7：」26.92″，競賣價，即「賣一」報價；
8：」22114263″，成交的股票數，因爲股票交易以一百股爲基本單位，因此在使用時，一般把該值除以一百；
9：」589824680″，成交金額，單位爲「元」，爲了一目瞭然，一般以「萬元」爲成交金額的單位，因此一般把該值除以一萬；
10：」4695″，「買一」申請4695股，即47手；
11：」26.91″，「買一」報價；
12：」57590″，「買二」
13：」26.90″，「買二」
14：」14700″，「買三」
15：」26.89″，「買三」
16：」14300″，「買四」
17：」26.88″，「買四」
18：」15100″，「買五」
19：」26.87″，「買五」
20：」3100″，「賣一」申報3100股，即31手；
21：」26.92″，「賣一」報價
(22, 23), (24, 25), (26,27), (28, 29)分別爲「賣二」至「賣四的狀況」
30：」2008-01-11″，日期；
31：」15:05:32″，時間；
一個簡單的JavaScript應用例子: 
script type="text/javascript" src="http://hq.sinajs.cn/list=sh601006" charset="gb2312">/script>
/javascript">
var elements=hq_str_sh601006.split(",");
document.write("current price:"+elements[3]);
這段代碼輸出大秦鐵路（股票代碼：601006）的當前股價
current price:14.20
若是你要同時查詢多個股票，那麼在URL最後加上一個逗號，再加上股票代碼就能夠了；好比你要一次查詢大秦鐵路（601006）和大同煤業（601001）的行情，就這樣使用URL：
http://hq.sinajs.cn/list=sh601003,sh601001
查詢大盤指數，好比查詢上證綜合指數（000001）：
http://hq.sinajs.cn/list=s_sh000001
服務器返回的數據爲：
var hq_str_s_sh000001="上證指數,3094.668,-128.073,-3.97,436653,5458126";
數據含義分別爲：指數名稱，當前點數，當前價格，漲跌率，成交量（手），成交額（萬元）；
查詢深圳成指數：
http://hq.sinajs.cn/list=s_sz399001
對於股票的K線圖，日線圖等的獲取能夠經過請求http://image.sinajs.cn/…./…/*.gif此URL獲取，其中*表明股票代碼，詳見以下：
查看日K線圖：
http://image.sinajs.cn/newchart/daily/n/sh601006.gif

分時線的查詢：
http://image.sinajs.cn/newchart/min/n/sh000001.gif

日K線查詢：
http://image.sinajs.cn/newchart/daily/n/sh000001.gif

周K線查詢：
http://image.sinajs.cn/newchart/weekly/n/sh000001.gif

月K線查詢：
http://image.sinajs.cn/newchart/monthly/n/sh000001.gif

1.2 Baidu&Google的財經數據
在baidu, google中搜索某隻股票代碼時，將會在頭條顯示此股票的相關信息，例如在google搜索601006時，
第一條搜索結果以下圖：
經過點擊左邊的圖片咱們發現會將此圖片連接到sina財經頻道上，也就是說google股票數據的獲取也是從sina獲取。後經抓包分析，發現google也是採用1.1中介紹的接口。
Baidu的股票數據來自baidu的財經頻道
http://stock.baidu.com/
1.3 其餘方式
除了sina，baidu等網站提供股票信息外，其餘網站也有相似的接口。咱們分析了一款論壇上採用的股票插件，
其中有關於實時股票數據獲取的介紹，詳見以下代碼，其中能夠看到有些數據來自sina。
如下是ASP示例:
=5 then
stockdata=gethttp("http://hq.sinajs.cn/list=sh"&code&"")
if not len(stockdata)=0 then stockdata=split(stockdata,chr(34))(1)
end if
if len(stockdata)=0 then
stockdata="0,0,0,0,0,0,0,0,0,0,0,0"
else
stockdatasplit=split(stockdata,",") stockdata=""&exstock.checkstr(stockdatasplit(0))&","&stockdatasplit(1)&","&stockdatasplit(2)&","&stockdatasplit(3)&","&stockdatasplit(4)&","&stockdatasplit(5)&","&formatdatetime(""&stockdatasplit(30)&" "&stockdatasplit(31)&"",0)&""
end if
‘0=股票名稱,1=開盤價格,2=昨收盤價格,3=當前價格,4=最高價,5=最低價,6=更新時間
getstockdata=stockdata
end function
function getstockimg(code)
dim rndnum,addnum,checkcode,imgsource
if len(code)=5 then
getstockimg="http://image.sinajs.cn/newchart/daily/n/sh"&code&".gif"
end if
imgsource="http://finance.sina.com.cn"
case 3
getstockimg="http://hq.gazxfe.com/stockchart/realline.chart?"&code&"&1003&SZ 500 330"
imgsource="http://hq.gazxfe.com"
case 4
getstockimg="http://chartse.stockstar.com/chartserver?code="&code&""
imgsource="http://www.stockstar.com/"
end select
getstockimg=split(""&getstockimg&"||"&imgsource&"","||")
end function
function getastockimg()
dim rndnum,addnum,checkcode
dim getastockimgb,imgsource
addnum=6
randomize:rndnum=cint(rnd*addnum)
select case rndnum
case 0
getastockimg="http://202.109.106.1/gifchartse/gif/000001.gif"
getastockimgb="http://202.109.106.1/gifchartse/gif/399001.gif"
imgsource="http://www.stockstar.com/"
case 1
getastockimg="http://money.163.com/special/100.gif?C39"
getastockimgb="http://money.163.com/special/101.gif?HrS"
imgsource="http://www.163.com"
case 2
getastockimg="http://www.10jqka.com.cn/curve/realtime/index2.php?code=1a0001&w=180&h=140"
getastockimgb="http://www.10jqka.com.cn/curve/realtime/index2.php?code=399001&w=180&h=140"
imgsource="http://www.10jqka.com.cn"
case 3
getastockimg="http://chart.cnlist.com/stockchart/realline.chart?1a0001&1002&SZ 180 140"
getastockimgb="http://chart.cnlist.com/stockchart/realline.chart?399001&1002&SZ 180 140"
imgsource="http://chart.cnlist.com/"
case 4
getastockimg="http://image.sinajs.cn/newchart/small/ish000001.gif?1189176558328"
getastockimgb="http://image.sinajs.cn/newchart/small/isz399001.gif?1189176558328"
imgsource="http://www.sinajs.cn"
case 5
getastockimg="http://218.1.72.66/cgi/pic/sh/realtime/JA000001164143.png"
getastockimgb="http://218.1.72.66/cgi/pic/sz/realtime/JA399001164143.png"
imgsource="http://www.cnstock.com/"
case 6
getastockimg="http://222.73.29.85/img/000001.png"
getastockimgb="http://222.73.29.85/img/399001.png"
imgsource="http://www.eastmoney.com/"
end select
getastockimg=split(""&getastockimg&"||"&getastockimgb&"||"&imgsource&"","||")
end function
%>
2. web-service接口
2.1 CHINAstock的web-service：
http://www.webxml.com.cn/WebServices/ChinaStockWebService.asmx
中國股票行情數據 WEB 服務（支持深圳和上海股市的所有基金、債券和股票），數據即時更新。輸出GIF分時走勢圖、日/周/月 K 線圖、及時行情數據（股票名稱、行情時間、最新價、昨收盤、今開盤、漲跌額、最低、最高、漲跌幅、成交量、成交額、競買價、競賣價、委比、買一 - 買5、賣一 - 賣五）。此WEB服務提供了以下幾個接口：
2.1.1 getStockImageByCode
GET 股票GIF分時走勢圖
INput：theStockCode = 股票代號，如：sh000001
POST /WebServices/ChinaStockWebService.asmx HTTP/1.1
Host: www.webxml.com.cn
Content-Type: text/xml; charset=utf-8
Content-Length: length
SOAPAction: "http://WebXml.com.cn/getStockImageByCode"


string


Output：
2.1.2 getStockImageByteByCode
得到中國股票GIF分時走勢圖字節數組
INput：theStockCode = 股票代號，如：sh000001
POST /WebServices/ChinaStockWebService.asmx HTTP/1.1Host: www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length: lengthSOAPAction: "http://WebXml.com.cn/getStockImageByteByCode" string 
返回的數據以下：
R0lGODlhIQIsAfcAAAAAAAwLBxkGBQ4ODhAQEBsSChUVFS4TDB8eGQkA9koPCDAAzy4mFVgAp2UYC0IqEUYuBVwiDEAsI1QnFX8AgDU1NUozFlgxD6cBWVY5FnIwEmQ4Gc0AMlhDHPEADlVJMEpKSm1IHOUBWpY3FZMyVY9IGXRWIEFmWGNYUmpdPXJgHQB8HK9EGGBgX4lXIACoAHhkMyt4m4VkJtstbv8A
2.1.3 getStockImage_kByCode
直接得到中國股票GIF日/周/月 K 線圖（545*300pixel/72dpi）
INPUT: theStockCode = 股票代號
theType = K 線圖類型（D：日[默認]、W：周、M：月），
POST /WebServices/ChinaStockWebService.asmx HTTP/1.1Host: www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length: lengthSOAPAction: "http://WebXml.com.cn/getStockImage_kByCode" string string 
好比按照下圖所示輸入：
返回的結果就是周K線圖：
2.1.4 getStockImage_kByteByCode
得到中國股票GIF日/周/月 K 線圖字節數組
Input：theStockCode = 股票代號，如：sh000001
POST /WebServices/ChinaStockWebService.asmx HTTP/1.1Host: www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length: lengthSOAPAction: "http://WebXml.com.cn/getStockImage_kByteByCode" string string HTTP/1.1 200 OKContent-Type: text/xml; charset=utf-8Content-Length: length base64Binary 
好比按照下圖輸入：
返回的結果就是周K線圖字節數組
R0lGODlhIQIsAfcAAAAAAAwLBxkGBQ4ODhAQEBsSChUVFS4TDB8eGQkA9koPCDAAzy4mFVgAp2UYC0IqEUYuBVwiDEAsI1QnFX8AgDU1NUozFlgxD6cBWVY5FnIwEmQ4Gc0AMlhDHPEADlVJMEpKSm1IHOUBWpY3FZMyVY9IGXRWIEFmWGNYUmpdPXJgHQB8HK9EGGBgX4lXIACoAHhkMyt4m4VkJtstbv8A
2.1.5 getStockInfoByCode
得到中國股票及時行情
input：theStockCode = 股票代號
POST /WebServices/ChinaStockWebService.asmx HTTP/1.1Host: www.webxml.com.cnContent-Type: text/xml; charset=utf-8Content-Length: lengthSOAPAction: "http://WebXml.com.cn/getStockInfoByCode" string 
返回的值一個一維字符串數組 String(24)，結構爲：String(0)股票代號、String(1)股票名稱、String(2)行情時間、String(3)最新價（元）、String(4)昨收盤（元）、String(5)今開盤（元）、String(6)漲跌額（元）、String(7)最低（元）、String(8)最高（元）、String(9)漲跌幅（%）、String(10)成交量（手）、String(11)成交額（萬元）、String(12)競買價（元）、String(13)競賣價（元）、String(14)委比（%）、String(15)-String(19)買一 - 買五（元）/手、String(20)-String(24)賣一 - 賣五（元）/手。
Web service的方法相似於如今concurrent項目的DBWS數據的獲取，都是經過SOAP協議向DBWS服務器獲取相關的數據。
利用雅虎查中國股票
http://quote.yahoo.com/d/quotes.csv?s=MSFT&f=slc1wop
返回微軟的股票價格
"MSFT","4:00pm - 30.70",+1.04,"21.46 - 30.75",29.77,29.66
http://quote.yahoo.com/d/quotes.csv?s=000969.SZ&f=slc1wop
這個返回安泰科技的，通常有半個小時的延遲。
可是s=000969.sz 這個後面的sz是深圳的意思, 滬市是SS後綴