股價翻番 人生贏家，python爬取基金 篩選股票
前言：
據說你想要變富？那就沉住氣慢慢來吧，沒聽過這句名言麼：「窮人老是不想慢慢的變富」。都想着一晚上暴富，中個caipiao啥的，可哪有那麼幸運呢？總不能像我同樣中了78萬的cai piao，而後本身偷偷的花吧。html
想要慢慢的變富有，只要理好財就能夠了；小錢靠攢，大錢靠賺！以前我也曾苦於思索如何讓本身實現財富自由，因此纔有了學習理財的想法，說到理財就不得不說一些理財產品，好比黃金、期貨、股票、基金等，先普及一下這些小知識吧，由於就是爬取股票、基金的，因此就簡單介紹一下這二者了；python
股票（英語：stock）或是資本存貨（英語：capital stock）是一種有價證券，股份公司將其全部權藉由這種有價證卷進行分配。由於股份公司須要籌集資金，所以將股票發給投資者做爲公司資本部分全部權的憑證，成爲股東以此得到股息（股利），並分享公司成長或交易市場波動帶來的利潤；但也要共同承擔公司運做錯誤所帶來的風險。 ------來着 維基百科web
基金，舉個栗子吧，就是你手裏有錢，想買股票，可是不懂股票的相關知識；我沒錢，但有着很是豐富的金融知識、股票經驗，是個理財的好手。因而咱們一合計，你把你的錢給我，我來用這些錢理財，等賺錢了我從中拿點分紅；「我」指的就是基金； ------來自 星火燎願 的自我理解正則表達式
整體來講，股票是收益高，風險也高。基金是收益低，風險也低，由於基金買了好多的股票，買的股票也基本不會遇到所有漲或者所有跌的狀況，因此抗風險性比較大。說到這裏，假我不想買基金，就想買股票，還想買好的股票，可是我又不懂股票，咋辦呢，額，好吧，我就是這麼想的，雖然想得美，可是辦法老是有的。咱們分析下，基金算是買了不少股票的機構，而且裏面都是各路財經大神，咱們能夠從基金裏看到它們都買了哪些股票，而後跟着它們買不就ok了麼，畢竟它們也不想讓本身虧損，會挑選有潛力的股票的。mongodb
正文
本文就是利用python對某一財經網站的基金進行了爬取，爬取了5000+個基金所持有的股票，並進行了處理。chrome
前陣由於爬取數據致使整個公司被抓的案例有很多，因此在此說明：拒絕利用爬蟲進行違法的行爲，堅定愛國愛民，作好事不留名，多扶老奶奶過馬路，但願警察叔叔不要由於這篇爬蟲文章把me帶走。
數據庫
本文涉及到的知識點：
一、python字符串：分割、拼接、中文字符判斷；api
二、python正則表達式；數組
三、爬蟲requests請求庫、xpath獲取數據、代理服務器；瀏覽器
四、selenium用法：無頭瀏覽器、元素定位、顯式等待、數據獲取；
五、python操做mongodb
網站分析
代碼和數據咱們到後面再貼上，先來分析下目標網站，這樣有利於咱們爬取過程更加清晰；
咱們爬取的就是【開放式基金】裏的數據：
咱們隨便點開一個基金，就能夠進入其詳情頁面，不知道你發現沒有，該基金詳情頁面的url就是首頁該基金的基金代碼和http://fund.eastmoney.com/的一個組合，好比：
040011 --- 華安核心優選混合的url：http://fund.eastmoney.com/040011.html
005660 --- 嘉實資源精選股票A的url：http://fund.eastmoney.com/005660.html
ok，好，咱們在基金詳情頁面往下拉就能夠找到該基金的股票持倉信息，，也就是該基金買了哪些股票：
而後點擊 更多 進入該基金持股的詳情頁，往下拉就會看到，該基金三個季度的股票持倉信息：
對，這就是目標數據，要爬取的數據；
ok，咱們先不爬取，再分析這個基金持倉的詳情頁，這個url也是有規律的，它是用 http://fundf10.eastmoney.com/ccmx_ 和該基金的基金代碼組合成的，好比：
005660 ，嘉實資源精選股票A 的持倉詳情頁面url：http://fundf10.eastmoney.com/ccmx_005660.html
006921，南方智誠混合 的持倉詳情頁面url：http://fundf10.eastmoney.com/ccmx_006921.html
由於這些數據是用js動態加載的，若是使用requests爬取的話難度很大，這種狀況下通常會使用selenium模擬瀏覽器行爲進行爬取。可是selenium爬取的效率確實比較低。其實咱們依舊是可使用requests進行爬取的，js動態加載是html頁面中的js代碼執行了一段操做，從服務端自動加載了數據，因此數據在一開始爬取的頁面上是看不到的，除非一些特別難爬的數據才須要selenium，由於selenium號稱：只要是你看獲得的數據就均可以獲取。畢竟selenium是模仿人操做瀏覽器的行爲的。這裏咱們分析js動態加載，而後利用requests來爬取，後面進行二次爬取的時候再用selenium。
在首頁按F12打開開發者工具，而後再刷新一下，
能夠看到右邊藍色框裏的數據了吧，這是js動態加載以後返回的數據，而後通過加工後呈如今頁面上的，其實只要獲取這些數據就能夠了，不用去爬取首頁了；
咱們再點擊 Headers ，這個 Request URL 就是js請求的url了，你能夠試試把這個url直接用瀏覽器回車下，會給你返回一堆的數據；上面分析了基金持倉股票頁面url的組成，因此只要須要這些數據裏的六位基金代碼就能夠了，本篇代碼中是用python正則進行了六位數字的提取，而後組成的基金持倉股票頁面的url；而後再在基金持倉股票頁面對該基金持有的股票進行爬取、存儲；
爬取流程：
一、首先從首頁中請求js動態加載數據時請求的那個url，從中獲取六位數字的基金代碼，
而後 http://fundf10.eastmoney.com/ccmx_ + 基金代碼 + .html 組成的基金持倉股票的詳情頁url；
二、針對 基金持倉股票的詳情頁url 進行爬取，由於也是js動態加載的（加載速度較快），而且須要判斷該基金是否有持倉的股票（有的基金沒有買股票，也不知道他們幹啥了），因此使用selenium來爬取，同時也使用了顯式等待的方式來等待數據加載完成；
三、將數據整理，存儲到mongodb中；
代碼講解---數據爬取：
此次咱們將代碼分段放上來，分段說明；
須要的庫：
import requests import re from lxml import etree from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import pymongo
準備的一些經常使用方法：
#判斷字符串中是否含有中文
def is_contain_chinese(check_str):
"""
判斷字符串中是否包含中文
:param check_str: {str} 須要檢測的字符串
:return: {bool} 包含返回True， 不包含返回False
"""
for ch in check_str:
if u'\u4e00' <= ch <= u'\u9fff':
return True
return False
#selenium經過class name判斷元素是否存在，用於判斷基金持倉股票詳情頁中該基金是否有持倉股票；
def is_element(driver,element_class):
try:
WebDriverWait(driver,2).until(EC.presence_of_element_located((By.CLASS_NAME,element_class)))
except:
return False
else:
return True
#requests請求url的方法,處理後返回text文本
def get_one_page(url):
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
}
proxies = {
"http": "http://XXX.XXX.XXX.XXX:XXXX"
}
response = requests.get(url,headers=headers,proxies=proxies)
response.encoding = 'utf-8'
if response.status_code == 200:
return response.text
else:
print("請求狀態碼 != 200,url錯誤.")
return None
#該方法直接將首頁的數據請求、返回、處理，組成持倉信息url和股票名字並存儲到數組中；
def page_url():
stock_url = [] #定義一個數組，存儲基金持倉股票詳情頁面的url
stock_name = [] #定義一個數組，存儲基金的名稱
url = "http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=zzf&st=desc&sd=2018-11-26&ed=2019-11-26&qdii=&tabSubtype=,,,,,&pi=1&pn=10000&dx=1&v=0.234190661250681"
result_text = get_one_page(url)
# print(result_text.replace('\"',',')) #將"替換爲,
# print(result_text.replace('\"',',').split(',')) #以,爲分割
# print(re.findall(r"\d{6}",result_text)) #輸出股票的6位代碼返回數組；
for i in result_text.replace('\"',',').split(','): #將"替換爲,再以,進行分割，遍歷篩選出含有中文的字符(股票的名字)
result_chinese = is_contain_chinese(i)
if result_chinese == True:
stock_name.append(i)
for numbers in re.findall(r"\d{6}",result_text):
stock_url.append("http://fundf10.eastmoney.com/ccmx_%s.html" % (numbers)) #將拼接後的url存入列表；
return stock_url,stock_name
#selenium請求[基金持倉股票詳情頁面url]的方法，爬取基金的持倉股票名稱；
def hold_a_position(url):
driver.get(url) # 請求基金持倉的信息
element_result = is_element(driver, "tol") # 是否存在這個元素，用於判斷是否有持倉信息；
if element_result == True: # 若是有持倉信息則爬取；
wait = WebDriverWait(driver, 3) # 設置一個等待時間
input = wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'tol'))) # 等待這個class的出現；
ccmx_page = driver.page_source # 獲取頁面的源碼
ccmx_xpath = etree.HTML(ccmx_page) # 轉換成成 xpath 格式
ccmx_result = ccmx_xpath.xpath("//div[@class='txt_cont']//div[@id='cctable']//div[@class='box'][1]//td[3]//text()")
return ccmx_result
else: #若是沒有持倉信息，則返回null字符；
return "null"
注意 page_url() 方法，裏面的url就是上面分析js動態加載數據時請求的url，須要注意的是該url後面的參數，pi是第幾頁，pn是每頁多少條數據，我這裏pi=1，pn=10000，意思就是第一頁，顯示10000條數據（實際數據確定沒這麼多，首頁才5000+），就一次性的顯示出全部的數據了；
程序開始：
if __name__ == '__main__':
# 建立鏈接mongodb數據庫
client = pymongo.MongoClient(host='XXX.XXX.XXX.XXX', port=XXXXX) # 鏈接mongodb，host是ip，port是端口
db = client.db_spider # 使用（建立）數據庫
db.authenticate("用戶名", "密碼") # mongodb的用戶名、密碼鏈接；
collection = db.tb_stock # 使用（建立）一個集合（表）
stock_url, stock_name = page_url() #獲取首頁數據，返回基金url的數組和基金名稱的數組；
#瀏覽器動做
chrome_options = Options()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(options=chrome_options) #初始化瀏覽器，無瀏覽器界面的；
if len(stock_url) == len(stock_name): #判斷獲取的基金url和基金名稱數量是否一致
for i in range(len(stock_url)):
return_result = hold_a_position(stock_url[i]) # 遍歷持倉信息，返回持倉股票的名稱---數組
dic_data = {
'fund_url':stock_url[i],
'fund_name':stock_name[i],
'stock_name':return_result
} #dic_data 爲組成的字典數據，爲存儲到mongodb中作準備；
print(dic_data)
collection.insert_one(dic_data) #將dic_data插入mongodb數據庫
else:
print("基金url和基金name數組數量不一致，退出。")
exit()
driver.close() #關閉瀏覽器
#查詢：過濾出非null的數據
find_stock = collection.find({'stock_name': {'$ne': 'null'}}) # 查詢 stock_name 不等於 null 的數據（排除那些沒有持倉股票的基金機構）；
for i in find_stock:
print(i)
好，至此，爬取數據的代碼交代完畢，運行後坐等便可；
該項目單進程運行，因此爬取速度略慢，同時也受網速影響，後期會繼續改進成多線程。
代碼講解---數據處理：
上面已經把數據爬取並存儲到數據庫中，這裏對數據進行處理，將其變成可用的；
首先說明思路：
一、咱們須要知道這些基金全部持倉的股票的綜合數據，也包括基金持倉中有重複的股票；
二、須要知道哪些股票重複了，有多少個重複的，重複了多少次；
這樣，重複數最多的那隻股票就確定是最好的了，由於這證實有不少的基金都購買了這支股票；
具體看代碼，註釋說的已經很清楚了：
import pymongo
#1、數據庫：鏈接庫、使用集合、建立文檔；#
client = pymongo.MongoClient(host='XXX.XXX.XXX.XXX',port=XXXXX) #鏈接mongodb數據庫
db = client.db_spider #使用（建立）數據庫
db.authenticate("用戶名","密碼") #認證用戶名、密碼
collection = db.tb_stock #使用（建立）一個集合（表），裏面已經存儲着上面程序爬取的數據了；
tb_result = db.tb_data #使用（建立）一個集合（表），用於存儲最後處理完畢的數據；
#查詢 stock_name 不等於 null 的數據，即：排除那些沒有持倉股票的基金；
find_stock = collection.find({'stock_name':{'$ne':'null'}})
#2、處理數據，將全部的股票數組累加成一個數組---list_stock_all #
list_stock_all = [] #定義一個數組，存儲全部的股票名稱，包括重複的；
for i in find_stock:
print(i['stock_name']) #輸出基金的持倉股票（類型爲數組）
list_stock_all = list_stock_all + i['stock_name'] #綜合全部的股票數組爲一個數組；
print("股票總數：" + str(len(list_stock_all)))
#3、處理數據，股票去重#
list_stock_repetition = [] #定義一個數組，存放去重以後的股票
for n in list_stock_all:
if n not in list_stock_repetition: #若是不存在
list_stock_repetition.append(n) #則添加進該數組，去重；
print("去重後的股票數量：" + str(len(list_stock_repetition)))
#4、綜合2、三中的得出的兩個數組進行數據篩選#
for u in list_stock_repetition: #遍歷去重後股票的數組
if list_stock_all.count(u) > 10: #在未去重股票的數組中查找股票的重複數，若是重複數大於10
#將數據組成字典，用於存儲到mongodb中；
data_stock = {
"name":u,
"numbers":list_stock_all.count(u)
}
insert_result = tb_result.insert_one(data_stock) #存儲至mongodb中
print("股票名稱：" + u + " , 重複數：" + str(list_stock_all.count(u)))
這樣，就將數據稍微處理了一下存入了 tb_data 的集合中；
下面只披露部分處理的數據：
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62c9'), 'name': '水晶光電', 'numbers': 61}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62ca'), 'name': '老百姓', 'numbers': 77}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cb'), 'name': '北方華創', 'numbers': 52}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cc'), 'name': '金風科技', 'numbers': 84}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cd'), 'name': '天順風能', 'numbers': 39}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62ce'), 'name': '石大勝華', 'numbers': 13}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62cf'), 'name': '國投電力', 'numbers': 55}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d0'), 'name': '中國石化', 'numbers': 99}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d1'), 'name': '中國石油', 'numbers': 54}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d2'), 'name': '中國平安', 'numbers': 1517}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d3'), 'name': '貴州茅臺', 'numbers': 1573}
{'_id': ObjectId('5e0b5ecc7479db5ac2ec62d4'), 'name': '招商銀行', 'numbers': 910}
該數據還未作排序，排名不分前後；
數據中：
中國石化 的numbers是54，說明在5000+家的基金中有54家買了中國石化的股票；
招商銀行的numbers爲910，說明在5000+家的基金中有910家基金買了招商銀行的股票
......
額，好了，到此也沒什麼好說的了；
最後，入市需謹慎，股票有風險；文章僅供學習，盈虧自負，概不負責；
- 1. Python selenium 爬取每天基金網股票型基金
- 2. 爬取股票信息（股票代碼+價格）
- 3. 股票人生
- 4. 抓翻番股
- 5. Python爬蟲 Scrapy 股票信息爬取
- 6. Python爬蟲之--------瀘深A股股票
- 7. python3_股票信息爬取
- 8. 爬取股票信息
- 9. python之scrapy爬取股票信息
- 10. 是否應該買點股票？企業的價值和股票的價值
- 更多相關文章...
- • SQLite - Python - SQLite教程
- • Docker 安裝 Python - Docker教程
- • 算法總結-股票買賣
- • 再有人問你分佈式事務，把這篇扔給他
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. Python selenium 爬取每天基金網股票型基金
- 2. 爬取股票信息（股票代碼+價格）
- 3. 股票人生
- 4. 抓翻番股
- 5. Python爬蟲 Scrapy 股票信息爬取
- 6. Python爬蟲之--------瀘深A股股票
- 7. python3_股票信息爬取
- 8. 爬取股票信息
- 9. python之scrapy爬取股票信息
- 10. 是否應該買點股票？企業的價值和股票的價值