《零起點，python大數據與量化交易》

時間 2019-11-12

標籤零起點 python 數據量化交易欄目 Python 简体版

原文原文鏈接

《零起點，python大數據與量化交易》，這應該是國內第一部，關於python量化交易的書籍。

有出版社約稿，寫本量化交易與大數據的書籍，由於好幾年沒寫書了，再加上近期「前海智庫·zw大數據」項目，剛剛啓動。

由於時間緊，只花了半天時間，整理框架和目錄。

說是v0.1版，但核心框架已經ok；從項目角度而言，完成度，已經超過70%，剩下的只是體力活。

完成全本書，須要半年以上連續時間，本人沒空，你們不要再問：「什麼時間能夠完成。」

配合zwPython，這個已是套完整的：大數據分析、量化交易學習教材；質素方面，相信比市面上90%的同類做品強。

有興趣的網友，能夠本身百度，編寫腳本，另外能夠加入Q羣：124134140(zwPython大數據量化交易).

進羣后，請你們多多發言，有時間，我也會和你們互動。

zw量化實盤·魔鬼訓練營 金融行業的：生存訓練，Win or Home（要麼全贏，要麼滾蛋）

http://blog.sina.com.cn/s/blog_7100d4220102w0q5.html

ps，10.21, 剛纔百度沒想到zwPython成了關鍵詞： python 量化交易的第一品牌，徹底沒作任何seo優化

關於關於大數據、高頻交易和AI人工智能，字王的觀點一貫是：

凡是沒法經過「足彩數據」實盤測試的大數據方案、算法，都是在耍流氓

http://blog.sina.com.cn/s/blog_7100d4220102vkwb.htmlhtml

關於足彩的幾個誤區

足彩雖然容易與賭球混淆，但倒是最好的大數據研究對象，沒有之一
微軟、百度、谷歌，目前都有專業團隊，在作足彩大數據，並按期發佈
說白了，足彩至關於十倍配資的股票
國內足彩的確很黑，比歐平低10%左右，
彩票的發明人和股票，聽說都是同一個英國爵士
必勝足彩交易所，成立當年，得到了英國MBA商業創新大獎
高盛n年前，就開始足彩套利業務，維基百科有介紹
黑天鵝(紅牛吧)足彩，是首家公開進行、實盤測試的足彩大數據模型
黑天鵝，是業內率先以：盈利率，而不是：勝率（百度目前仍是），測試足彩大數據算法模型
黑天鵝算法盈利率90-95%，是目前業內最高的，比百度高約20-30%

--------
黑天鵝(紅牛吧)足彩·實盤測試·近期數據統計（2015.8-10）

8月,單選,勝率：59.41%(101/170),盈利率，121%,二串一(2x1),勝率：46.34%(19/41),盈利率，143.02%,
9月,單選,勝率：48.75%(39/80),盈利率，101%,二串一(2x1),勝率：35.%(7/20),盈利率，94.74%
10月,單選,勝率：64.71%(11/17),盈利率，135%，二串一(2x1),勝率：33.33%(1/3),盈利率，130%
目前已經比較穩定，盈利率應該是行業最高的，比百度強，再測試一段就OK了。

（python大數據·思惟導圖）

大數據，量化交易，屬於目前比較前沿的IT技術，相關用戶，絕大部分是非IT行業的市場管理人員和金融工做者，沒有任何編程基礎。

同時，更多的普通民衆，在平常工做、生活、投資時，例如，購買股票、基金、足彩，也迫切須要一些專業的數據分析知識和軟件，做爲更加專業的投資工具。

目前，量化投資、高頻交易領域，一線操盤手本身編程，將投資策略直接程序化，已經成爲國際大投行的標配。

在數據處理領域，特別在量化交易方面，python已成爲「統治級」編程語言。

伴隨中國政府金融領域的擴張戰略，以及與國際金融接軌，大量海龜派金融人員迴歸，有專家稱，「將來五年(2020），專業投資人，不懂python編程，就像不懂英語，不會電腦操做，面臨下崗的可能。」

所以，便有了這本：《零起點，python大數據與量化交易》

零起點

IT零起點，無需任何電腦編程基礎，會打字、會word，就能看懂本書，利用本書配套的Python軟件包，輕鬆學會如何利用python，對股票、足彩數據，進行專業分析，量化投資分析
投資零起點，無需購買任何專業軟件，本書配套的zwPython軟件包，採用開源模式，提供100%全功能、全免費的工業級數據分析平臺。
配置零起點，全部軟件、數據，所有采用蘋果「開箱即用」模式，綠色版本，無需安裝，解壓便可，直接運行系統。
理財零起點，無需任何專業金融背景，採用通俗易懂的語言，配合大量專業圖表，實盤操做案例，輕鬆掌握各類量化投資策略。
數學零起點，全書沒有任何複雜數學公式，只有最基本的加減乘除，初中以上文化，便可看懂

根據做者多年一線實踐經驗，本書在大數據分析領域，首次提出了許多原創的、緣自一線實戰的觀點和理論，例如：暗數據、「小數據」理論，黑天鵝算法，大部分還附有python源碼，方便讀者直接使用。

此外，本書還介紹了，採用黑天鵝算法實現的，國內首個經過足彩實盤測試的大數據方案：zw足彩數據分析平臺。

【補充說明】

本書內容偏重於數據分析，特別是量化交易方面的數據分析，是由於

實踐工做中，除了移動、百度、阿里等超大型，數據密集型企業外，99%以上的企業，包括上市公司，並不具有，也不須要真正的TB級大數據分析軟件、硬件環境，計算集羣和cuda都不多
金融領域，國內A股市場，數千股票，歷年裸數據合集，不超數據10G，千萬級規模
目前大數據領域，尚處於萌芽階段，算法、模型每一年變化都很大，所以這方面的內容，以定性爲主
大數據分析的核心，是數據分析算法，書中介紹的都是經典算法，通用性很強

字王回覆：目前忙「黑天鵝」算法的實盤測試，暫時沒時間寫書。

急的話本身下個zwPython 帶pandas數據分析、demo演示代碼，有中文教材，綠色版，解壓便可，

配合目錄做爲大綱，本身邊看邊學，碼碼python腳本，效果更好

blog首頁「置頂」有百度網盤的下載地址(6月8日 15:36)

《零起點，python大數據與量化交易》目錄

第1章、大數據簡介

大數據思惟導圖
- 數據挖掘
- 計算統計學
- 語義分析
- 人工智能
- 並行運算框架
- GPU超算平臺
發展簡史
- 大數據史前模式
- 從3V到4V
- 雲計算時代
大數據主要應用領域
大數據技術流派
- Hadoop生態圈
- MapReduce
- NoSQL數據庫
- Storm流處理分佈式計算框架
- SPark內存計算與通用並行計算框架
- IBM數據流Stream體系
- Oracle
Python與大數據
- Python，統治級數據編程語言
- Pandas數據分析
- Nltk文本語義分析
- Scikit人工智能和機器學習
- Numpy/scipy矢量數據和科學計算
- sympy符號計算
- Gpu並行超速運算
- Opencv圖像視頻處理
- TVTK/mayavi可視化計算

第2章、量化交易簡介

套利交易

金融工程學

計量金融學

技術分析

高頻交易

足彩，被誤解的投資模式

年收益269%的神奇投資術

第3章、小數據更酷

失敗的經典：啤酒與尿布
小數劇理論
- 龍格現象
- 孤子分佈
- 哥白尼原則
- 零膨脹
- 極值理論
- - 任何程序化交易系統都有「半衰期」
- 0與1：計算的本質
- - 陰陽八卦易經
- 暗數據與全數據
- 二八定理
- - 帕累託分析法
  - 齊夫定律
  - 分析模型比數據規模更重要
  - 實戰案例：百萬社區數據庫
  - 實戰案例：神奇的魔鬼英語：500單詞看懂原著
- 大數原則
- - 平庸原理
  - 實戰案例：史上最強網絡推廣案例：惠普筆記本數碼混搭
- 每次只解決一個問題
- 量化投資第一季：單一指數模型

第4章、神通常的黑天鵝算法

黑天鵝是新常態
主要特色
- 運算速度快一個數量級
- 數據規模小一個數量級
- 全數據建模小數據匹配
- 黑天鵝算法PK現代與傳統
- - 與傳統抽樣數據庫算法比較
  - 與其餘大數據方案算法比較
黑天鵝算法基本流程
- 從4V到1V
- 數據預處理
- - 衍生數據擴充
  - 指數壓縮
  - 數據歸一化
  - - 標準分數
    - T-統計量
    - 學生化殘差
    - 標準化矩
    - 變異係數
    - 離差指數
- 創建參數v知識庫
- 創建黑天鵝判別模型庫
- 尋找黑天鵝

第5章、Python，「統治級」數據處理語言

Hello，zw
基礎語句
Basic模式
Python一卡通
Python經常使用模塊
- numPy數據分析
- Matplotlib可視化計算
Pandas數據分析平臺
- 內置數據分析函數
- 數據存讀
- 數據聚合
- 時間序列分析
- 股票數據分析
- 足彩數據分析
大數據與Python十倍速性能優化
- 軟加速：矢量優先
- 軟加速：cpython
- SSD加速大法
- KBD全內存數據庫
- Gpu終極加速方案

第6章、大數據十大經典算法Python版

AdaBoost機器學習迭代分析算法
Apriori關聯分析算法
C4.5分類決策樹算法
CART分類迴歸樹算法
decision tree 決策樹數據分類算法
EM最大指望關聯分析算法
kNN 機器學習最近鄰分類算法
k-means聚類分析算法
Na?ve Bayes樸素貝葉斯數據分類算法
PageRank引用分析算法
SVM向量機數據分類算法
其餘經典算法
- Apriori框架的圖挖掘算法
- - AGM圖論節點圖數據挖掘算法
  - FSG圖論邊框數據挖掘算法
- Pattern-growth框架圖挖掘算法
- - gSpan右路徑擴展算法
- 閉合子圖挖掘算法
- - CLOSEGRAPH圖挖掘算法
- 閉合徹底連通子圖挖掘算法
- - CLAN圖挖掘算法
  - Cocain圖挖掘算法
- FP-Growth模式樹分類算法
- logistic迴歸算法
- Affinity propagation聚類算法
- LDA模型
- HMM隱性馬可夫模型
- SOA模型

第7章、數據源與在線數據採集

案例：搜索引擎連接數
案例：百度TOP100指數
案例：行業關鍵詞與衍生關鍵詞
案例：企業競爭情報蒐集
經常使用在線數據API接口

第8章、從故事開始學統計

趣味統計學
- 爾斯伯格悖論
- 生日問題
- 蒙特卡羅方法
- 德國坦克問題
- 無限猴子定理
- 墨菲定律
經常使用統計數值編程
- 極值:極大值,極小值,極差/全距
- 均值:算術平均數,幾何平均數,調和平均數,希羅平均數,加權平均數,冪平均/赫爾德平均,畢達哥拉斯平均,平均數不等式
- 方差等：均方差，平均差，偏度，峯度
- 其餘統計值：累積和、總數,衆數，中位數，四分位數
經常使用統計圖表
- 四種基本圖表：直方圖Histogram，長條圖Bar Chart，圓餅圖/比例圖Pie Chart，折線圖/趨勢圖Line chart
- 金融類圖表：K線圖Candlestick chart，均線圖Moving Average chart，布林帶圖Bollinger Bands，BBands
- 統計類圖表：箱形圖，雙標圖，標準九分圖，機率圖，半對數線圖，散點圖，莖葉統計圖，統計地圖
- 其餘圖表：時間軸圖表，流程圖，山形圖Area_chart，瀑布圖Waterfall chart，量化波形圖Streamgraph，落差圖GapChart，泡泡圖Bubble chart，極區圖，雷達圖Radar_chart，示意地圖Cartogram

第9章、從故事開始學量化交易

趣味理財學
- 一月效應
- DCA懶人理財術
- 興登堡凶兆
- 死貓反彈
- 布拉普預測
- 祖魯法則
- Gordon高登模型
- 奧卡姆剃刀與KISS法則
- 神奇公式
- MM定理
混沌理論
三種基礎模型：資產配置模型，行業模型，股票模型。
四大特色：紀律性，系統性，套利思想，機率取勝
量化投資策略
- 量化選股：估值法，趨勢法，資金法
量化擇時
股指期貨套利：現貨構建，套利訂價，保證金管理，衝擊成本，成分股調整
商品期貨套利
統計套利：
- β中性策略
- 協整策略
- 期權套利：水平套利，垂直套利，轉換套利，反向轉換套利，跨式套利，蝶式套利，飛鷹式套利
算法交易：被動型算法交易，主動型算法交易，綜合型算法交易
組合投資與資產配置
其餘策略
- 股票價差套利
- 博彩套利
- ETF套利
- 衍生品套利
- 公司併購套利
- 市政債券套利
寬客兵器譜
- KDB內存數據庫
- Quant交易數據分析平臺
- Q語言
- Matlab
- Python
HFT高頻交易經常使用策略和技術
- 造市交易
- 收報機交易
- 事件套利
- 統計套利
- 新聞交易
- 低延遲策略
- 訂單屬性策略
- 奪取優先權
- 算法監聽
- 監聽大買賣盤
- 黑池交易平臺
- 信號觸發
- 觸發補償

第10章、統計學與數據分析基礎

機率分佈
- 離散分佈：均勻分佈，二項分佈，正態分佈，幾何分佈，超幾何分佈，超幾何分佈和二項分佈的關係，泊松分佈，泊松分佈近似，泊松試驗，複合泊松分佈
- 連續分佈：均勻分佈，指數分佈，對數分佈，伽馬分佈，高斯/正態分佈，肥尾分佈，重尾分佈，正態分佈和二項分佈，帕斯卡分佈，韋伯分佈，伯努利分佈
- 其餘統計分佈模式：Gamma伽瑪分佈，卡方分佈，F分佈，Β分佈，β-二項式分佈，穩定分佈，三角形分佈，聯合分佈，條件機率分佈，柯西分佈，
統計檢驗
- 皮爾森卡方檢定,學生t檢驗
- 假設檢驗
- 交叉驗證
- 零假設檢驗
- F檢驗
- Jarque-Bera檢驗
- 柯爾莫諾夫-斯米爾諾夫檢驗
- 迪基-福勒檢驗,擴張的Dickey-Fuller檢定
- 核密度估計
- 鄒檢驗
其餘統計分析方法
- 抽樣
- 置信區間
- 貝葉斯機率
- 最大似然估計
- 赤池信息量準則
迴歸分析
- 線性迴歸：簡單線性迴歸，最小二乘法，復回歸分析，對數線性迴歸
- 非線性迴歸：邏輯迴歸，偏回歸，自迴歸，ARMA自迴歸滑動平均模型，ARIMA差分自迴歸滑動平均模型，格蘭傑因果關係，向量自迴歸模型，曲線擬合分析，份量回歸，泊松迴歸
零膨脹
過擬合
方差分析
- 方差：協方差，自協方差，互協方差，均方差，異方差，誤差，SD標準差，CV標準離差率，最小方差無偏估計，最小均方差估計
- 方差和：SST總平方和，SSM模型平方和
- R2迴歸係數
- 變異量（數）
- 指望值
時間序列分析
- RATS模型
- ARCH模型
數據關聯分析
- 經常使用關聯參數：耦合，顯著性差別，淨相關，Gamma相關係數，Spearman等級相關係數，Kappa一致性係數，Kendall等級相關係數，Kendall和諧係數，Pearson相關係數，Phi相關係數，列聯相關係數，四分相關係數，點二系列相關係數，二系列相關係數，皮爾遜積差係數，斯皮爾曼等級相關係數
- 關聯分析模型：杜賓-瓦特森統計量，鄰里成分分析，樸素貝葉斯分類器，PCC皮爾遜積矩相關係數，自相關函數，關聯式規則，ROC曲線
數據關聯度分析
- 三大主流方法：最小平方偏差，MLE極大似然，貝葉斯相關
- 其餘方法：MME矩關聯度，Cramér-Rao不等式，MMSE最小均方差，MAP最大後驗機率，MVUE最小方差非偏關聯度，BLUE最佳線性非偏關聯度，非偏關聯度，Particle filter，MCMC，卡爾曼濾波，維納濾波
聚類分析
- 核心關聯度函數：歐式距離，曼哈頓距離，infinity norm，馬氏距離，餘弦類似性，漢明距離
- QT聚類算法
- 圖論聚類算法
- 線性判別分析
- PCA主成分分析
經常使用統計分析模型
- 維納過程
- 布萊克-舒爾斯模型
- 赫爾懷特模型
- 馬爾可夫過程
- 陳琳模型

第11章、現代投資組合理論

第12章、趨勢爲王

趨勢判斷型量化投資策略
波動率判斷型量化投資策略

第13章、三大基本建模策略

順勢系統
逆勢系統
形態操做

第14章、三大量化投資模型

單元交易模型
雙元交易模型：長短線模型
三元及多元模型

第15章、組合交易策略

價值策略組合
動量策略組合
融合策略組合
混合策略組合

第16章、無風險套利交易策略

ETF套利交易策略
股指期貨期現套利交易策略
國債期貨套利交易策略

第17章、風險套利交易策略

阿爾法套利
統計套利

第18章、交易模型主要考覈指標

利潤率V
勝率/盈虧比率k
最大單次盈利
最大單次虧損
最大連續盈利次數
最大連續虧損次數

第19章、足彩數據分析

凱利指數
同注分彩法

第20章、量化投資經常使用實盤操做策略

第21章、日內交易

GFTD日內程序化交易策略

第22章、經常使用量化投資策略

阿爾法回報策略
Beta貝塔係數策略
- smart beta策略
CAPM資產訂價模型
crb指數模型
Dynamic Breakout 策略
EMH效率市場模型
EPS每股盈餘模型
IFATS交易策略
GARCH交易模型
TWAP時間加權平均策略
Pivot Points策略
R-Breaker交易策略
VWAP成交量加權平均策略

第23章、分析圖表類

K線圖交易策略
- 美國線交易策略
- 開盤區間突破策略
一目均衡表交易策略
趨勢線交易策略
- CMI趨勢性交易策略
- 趨勢追蹤選股模型
- MA移動平均線策略
- 支撐線和壓力線交易策略
- n日突破交易策略
- 移動止贏交易策略
- 移動止損交易策略
- 牛熊線擇時模型
BBands布林帶交易策略
- 夾板交易模型
點線圖交易策略
艾略特波浪理論
型態學交易策略
道氏理論
軸點分析策略
- 0軸交易策略
- 中點交易策略
半衰交易策略
夏普比率策略