[閒聊]有網友玩演算法交易？一點點心路歷程分享

[sma1033 (死馬)]

各位吹頂版的年薪300萬大大好

小弟最近在做一些跟演算法交易的研究，覺得這真的是一條不歸路
先說一下我認知中，小型個體戶能做的演算法交易:

==== 老派作法 ====
  人工觀察期貨或是股票走勢，把腦袋的想法寫成策略去跑回測
  人工觀測MDD，風險，報酬期望值....等等，靠人工完成多數決策
  算是科學量化的研究方法，缺點是人力成本很高
  覺得好像如果不一直快速開發新策略拼命寫，很快被市場淘汰
  (回頭看自己寫的這段，覺得當初寫策略應該是有些過度最佳化了)

==== 新式作風 ====
  用神經網路去預測數據，將數列走勢（因）與價格預測（果）連結在一起
  可用最佳化的神經網路做價格預測，或是用強化學習做策略最佳化
  自行定義機器人得分準則，讓機器人自動做交易，最佳化回測結果
  把交易決策大多數的部分都交給電腦去自動分析


大概五年前，我一開始接觸演算法交易的時候用的是「老派作風」
自己也寫過約10支程式，其中有一些也曾在某一段時間內能賺錢
但是後來發現市場進化的速度實在太快
寫好程式之後，程式能用的週期越來越短
我寫過最長時間能賺的程式，有效時間也只有約半年左右
所有的人工程式後來也都失效了，實際上從來沒有靠自己寫的程式賺到錢

後來，漸漸的體認到我自己靠人眼看數據，思考策略，再刻成程式的作法成本實在太高了
實際上投入的時間成本跟獲得的收益根本不成比例(也可能我智力不夠?)
於是大約在1年前開始學習「新式作風」
也就是想學習用神經網路來預測的方式，從事交易
希望透過神經網路最佳化，讓電腦「自動從數據當中學策略」

但是從最近做的一些台指期數據的研究中
我發現要讓電腦「自動學」策略也很困難
想用全自動化的方法來學習交易策略，需要的硬體運算能力門檻也很高

一般10W預算以內「高級個人電腦配備」跑神經網路訓練實在是慢到悲劇
(i7 8700K，1080 Ti，64G Mem，SSD)

如果是用監督式學習的方式訓練網路去「預測」價格還可以跑出一點東西
以台指期來說，小弟做實驗測試結果，價格確實並非是「完全隨機」的
但是價格的可預測程度無法直接變成能實際賺錢的策略
真正完整的策略包含很多價格預測以外的決策內容，像是停損及進出場點位
這些東西都無法直接靠監督式學習的方式來得到，這也是監督式學習的先天限制所在

後來因緣際會之下，小弟看到阿發狗的新聞
非監督式學習（強化學習，RL）的概念很潮
第一次聽到阿發狗下圍棋的時候就深深被吸引，覺得這概念實在是屌
如果可以自己建一個交易遊戲，讓電腦自己去學策略並攻破遊戲實在太帥了
這實在是一個會讓喜歡交易的人一聽就高潮的概念

為此小弟又花了很多時間去看RL相關的Paper
也找到一些可用的工具，看文件，解Bug，自己嘗試不同演算法與參數
但是用強化學習的方法來訓練機器人，卻無可避免會碰到運算資源的問題

我先用小量數據，搭配類似阿發狗的演算法去訓練神經網路交易台指期
發現數據資料集小的時候，的確可以訓練出一些期望值>0的神經決策網路
「電腦自動開發策略」的預期目標 Get!

看到初步結果時，我的心頭大為振奮，覺得自己好像離交易聖杯越來越近了
反正就算市場會自己改變與進化，只要我的學習速度快過市場改變的速度
應賅還是可以在市場尚未改變之前交易獲利吧

天下武功，唯快不破，我想這也是交易的硬道理

但是這心頭的興奮雀躍感覺也沒有維持太久
當我開始想要更進一步，把訓練資料集從數天擴展到數月或是數年的時候
電腦自動訓練網路的時間就會變成哭爸久  Orz
看來除非再投資個幾十萬添購高檔CPU或是GPU
不然好像很難在合理時間內跑出有實際經濟效益（能真的讓我賺錢）的結果

當然要用Amazon開AWS server來跑運算當然也是可以
不過又要投時間學習寫分散式系統的程式，找演算法瓶頸
這樣一來又變成很燒錢的高門檻研究，想想覺得實在很難負擔的了

小弟並非全職交易人，但是投入研究交易的時間也不算少
雖然實質上沒賠很多錢，但如果把時間成本算進去的話也是投資頗多
現在回頭看起來，如果把那些投在研究交易上的時間都投資到別的地方去的話
大概也可以有不錯的成就

但是投入在交易上，好像沒賺錢就等於沒收穫的感覺
想來實在有些感嘆

不知道版上有多少人在玩演算法交易呢？
對交易的想法又是什麼，真的有個體戶靠演算法交易賺到錢嗎
大家的看法如何呢？


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.109.23.18
※ 文章網址: https://www.ptt.cc/bbs/Trading/M.1534242463.A.5CB.html
推 ms0202687: 我還是學生 我也在在試這塊 你想法跟我好像喔，都是以
→ ms0202687: 資料導向(data driven)產出交易策略 我也對於當前以人
→ ms0202687: 工為導向的產出交易策略實在既沒效率也不去前瞻性
→ sma1033: 我認為以交易而言，要靠電腦高度自動化才有競爭力
→ sma1033: 但是無可避免的就會變成船堅炮利的戰爭，小戶根本沒機會
→ sma1033: 要比運算力，散戶根本被碾壓
→ sma1033: 如果樓上對RL自動化做交易有興趣的話，可以去看看這篇:
→ sma1033: https://www.alexirpan.com/2018/02/14/rl-hard.html
→ sma1033: 我認為自動化演算法交易應賅還是正確的方向，但懷疑門檻
→ sma1033: 其實事實上根本高到一般人不能做不起來
→ sma1033: 「算得太慢」好像不是窮人能解決的問題（？）
推 UltraSeven: 你可以作長單 就沒有什麼太慢的問題了....
→ UltraSeven: 除此之外 想賺錢 照程式交易的想法 其實也不用搞聖盃
→ UltraSeven: 如果走勢真的不是隨機的 取一段中長期方向明顯的走勢
→ UltraSeven: 一直作同邊 用暴力破關法就可以了~ 但重點是如何一開
→ UltraSeven: 始就知道哪個點是中長期走勢轉折點 可以開始瘋狂單邊
→ sma1033: 我自己做研究的心得是越短期的數據越接近隨機(5分K以下)
→ sma1033: 即使並非完全隨機，但期望值上的優勢仍然抵不過交易成本
→ sma1033: 今天一邊開車時一邊想，覺得好像想通了點什麼
→ sma1033: 其實只要把交易週期拉長使隨機成分降低，好像還是有機會?
推 UltraSeven: 細微波跟長波的差別啊~ 你如果要作細微波 就不能
→ UltraSeven: 期待它的走勢會太長~ 隨機成份你就想一個事情好了
→ UltraSeven: 如果走勢已經連續下跌3年跟只下跌3分鐘比 哪個狀況
→ UltraSeven: 轉折向上的機率會大大上升??? 難道下跌3年轉折的機率
→ UltraSeven: 還會少於下跌3分鐘??? 比如說台股好了 用肉眼觀察兜
推 Genki626: 你近看是 上下上上下下 再站遠一點看 變上下上下 再後退
推 Genki626: 一點也許就是一個明顯的向上 這樣
→ UltraSeven: 可以知道過25或36或48個月以後 常常會是轉折時間了
→ UltraSeven: 只要可以算出轉折時間跟轉折價位 剩下來就作單邊
→ UltraSeven: 用暴力破關卡本多終勝就可以了~ 靠資金管理就搞定了
→ miw1980: 我是老派研究....不過人腦才是最強大的神經網絡...
→ miw1980: 最終應該是了解市場本質而訂出自己覺得適用的策略，人生
→ miw1980: 還有很多要達到的目標...
→ sma1033: 老派未必不能賺，只是必須要很勤勞...  XD
推 UltraSeven: 如果你真的覺得老派有用 你就不會第一段寫 策略要一
→ UltraSeven: 直快速開發了~ 因為真相是會賺的策略一直沒有不同
→ sma1033: 我認為某些長線策略確實可以搭配資金管理長時間使用
推 UltraSeven: 你又提到希望可以預測 但如果沒有``循環觀念``
→ UltraSeven: 其實你講的那些東西 要作到理想狀態 我覺得不會太容易
→ sma1033: 我經驗是短線的(分K等級)好像失效很快，或者利潤太微薄
→ sma1033: 變成如果不一直汰舊換新，很難長久持續賺到錢
→ sma1033: 即使用輪的，也是會慢慢的失去效用，且怎麼輪也是演算法
→ sma1033: 的一部份，需要人來設計。不過這是我自己的經驗跟觀察
推 UltraSeven: 不是失效很快~ 是因為循環可能會很短~ 所以你會覺得
→ sma1033: 難道真的有人短線靠寫一套放著就可以維持很長時間賺錢？
→ UltraSeven: 怎麼這麼難抓~ 所以我一開始才跟你提作長單~ 因為
→ UltraSeven: 長循環就靠暴力破關卡一直try單邊 靠資金管理就可以了
→ him0283: 同意U大說法，部位及資金管理才是重點
→ sma1033: 感謝樓上提點，我也覺得週期放長些可能比較適合我這懶人
→ sma1033: 「部位及資金管理」在我的認知其實也是演算法的一部份了
推 UltraSeven: 我覺得不要誤會我的意思 重點不是說長短循環的問題
→ sma1033: 我的目標是做到完全懶人，全靠電腦模擬（包含部位控管）
→ UltraSeven: 重點是你要理解甚麼是``循環`` 我提的東西 只是我覺得
→ UltraSeven: 如果你真的理解以後 會覺得比較輕鬆的作法 應該是這樣
→ UltraSeven: 所以我的重點也不是資金管理 因為那只是手段而已
→ UltraSeven: 真正重點是``循環`` 該怎麼被理解??? 這才是聖盃
→ sma1033: 我的個性是喜歡靠數據分析，喜歡可以模擬回測檢驗的東西
推 UltraSeven: 循環可以用數據分析啊... = =/// 也可以模擬檢驗啊
→ sma1033: 小弟資質愚鈍，就絞盡腦汁寫不出來呀，曾經MC努力很久
推 dodo222kimo: UJ強勢回歸<>~~~
→ sma1033: 後來覺得實在做不到就還是放棄了，找策略這種事我不在行
→ sma1033: 所以後來才改成全部靠電腦演算法分析
推 UltraSeven: 那只是因為你還不懂甚麼叫作``循環``而已 其實很簡單
→ sma1033: 每次燒腦袋寫的東西過一陣子都變不能用也是滿挫折的
→ sma1033: 我也沒有每隔一段時間把以前寫的翻出來檢查或調參數重測
→ sma1033: 可能我實在太懶，後來只想叫電腦全部自動化幫我做最佳化
→ dodo222kimo: 慢就是快 別整天求快
→ sma1033: 所以超七大真的可靠幾百支策略一直輪就能吃很久？我跪了.
→ sma1033: 我知道"策略輪動"也是有演算法啦，Adabst即為代表
→ sma1033: 不過前提是藍子要夠大，怎麼輪也要有明確的SOP
推 UltraSeven: 我沒有幾百套策略喔~ 我就只有一套循環策略而已
→ UltraSeven: 如果你是想作轉折單的模式~ 其實問題就在於
推 tyler2018: 建議你可以去找 A man for all markets這本書來看
推 kain777: 原來凹姊在這裡
→ sma1033: 賺錢方式千百種啊，我相信只要能找到規律就能賺
→ UltraSeven: 1.價位區間多大 2.時間區間多大 這2個問題而已~
→ sma1033: 不過「怎麼找規律」就像智力測驗一般，笨的（向我）就很
→ sma1033: 很痛苦，一直看圖形到最後結論就是這方法不適合我
推 UltraSeven: 那也很簡單啊 用均線翻啊~ 但是只無腦作單邊
→ UltraSeven: 靠暴力破關法就可以了~ 你的問題就是你看不懂方向而已
→ UltraSeven: 既然如此~ 那就不要管方向 靠停損跟抱長單就好了
→ sma1033: 我的問題是我很懶... XD，如前面所說的 1.價位 2.時間
→ sma1033: 也是要寫程式去驗證才知道對不對，而且驗證完不知用多久
→ sma1033: 做過幾次之後真心覺得困難 :(
→ sma1033: 難道是我方法用錯？
推 UltraSeven: 就純粹你沒搞懂循環的意思而已
噓 darkMood: 我用 A 方法失敗，代表全宇宙的A方法都是無效的。
→ darkMood: 老派作風要一直開發新的策略? 你的策略問題也很大吧
→ sma1033: 我用A方法失敗 => 我用A方法賺不到錢  這樣講比較合理吧
→ darkMood: 攤開近幾年市場走勢圖，變化有大到策略淘汰速度那麼快?
→ sma1033: 當然也可能是每個人理解的方式不同，但事實就是不適合我
→ sma1033: 任何方法，都有人可能可以從市場賺到錢，但那人不是我啊
推 kain777: 其實資金管理+策略輪動 目前聽到台指最誇張有500隻
→ kain777: 至於怎麼湊到策略 交換 買 讀書會等等
→ sma1033: 很開心這討論串出版上各位高手，也讓小弟長長了見勢
推 UltraSeven: 我不好意思說 如果是要作預測 占星術跟塔羅牌比較有用
→ sma1033: 我應該會試試長週期的方向，若有心得再來跟各位版友分享
推 john668: 有 我有認識在google上班的神人靠這招賺錢
→ john668: 但我也知道有人用老派做法寫一堆程式長期賺錢
→ leolarrel: 言者不知,知者不言,在這,高手都是不講話的,像我就是笨
→ leolarrel: 蛋一個
→ sma1033: 子曰：「知之為知之，不知為不知，是知也。」
推 yuiop0929: 謝謝你的文章
推 micbrimac: 這篇文章釣到神人 感謝分享~
推 zaqimon: 推
推 wadeabc: 看這篇吧!!短期勝率很高，股期一個tick就跑
→ wadeabc: https://goo.gl/BstfRe
→ wadeabc: line 群組 tps://line.me/R/ti/p/%40xei2233
→ wadeabc: @xei2233d
推 rcwang: 比較不能理解的是原PO為什麼會算很久呢？
→ sma1033: 當然是因為資料量太大，電腦跑很慢呀~
→ rcwang: 個人對於資料越多是否越有幫助還是有一些問號
→ rcwang: 搞不好多一些假設或操作, 少一點資料不知道會不會有幫助~
→ sma1033: 資料多是否有幫助的這個問題，似乎沒辦法很簡單的下定論
→ sma1033: 只能說，除非很確定某些資料毫無相關，不然不會貿然捨棄
→ sma1033: 但要確定資料無相關性，也是要做很多研究才會知道就是了
→ sma1033: 比方說：「昨天晴天與今天電廠限電跳機」之間的關連性
→ rcwang: 同意，想說如果可以冒一些驗證假設的風險，用空間換取時間
→ rcwang: 或許可以在原PO限制底下，仍然能持續精進並有些學習成長
→ rcwang: 當然代價可能就是真理真的是藏在這麼多資料裡面，因而錯失
→ sma1033: 資料科學就是在玩這個，必須要有多少證據方能說多少話
→ sma1033: 除非有非常顯而易見的邏輯，不然很多事情只能用數字來講
→ sma1033: 可以做大膽假設，不過必須要小心求證，不然會被市場修理
→ rcwang: 如果是用 rolling window 不知道有沒有幫助
→ rcwang: 用小批量，但是隨時間去滾動去重新訓練.. 不知道是否較好
→ rcwang: 缺點就是始終資料太少 XD... anyway..
推 john668: 做這個最常被人詬病：我們是來賺錢 不是來做研究的
→ john668: 做了一大堆研究找出一堆因果 然後賠錢...?
→ john668: 我只是要說實際一點 不必太鑽牛角尖 能賺錢就是好方法
→ sma1033: 我認同能賺錢就是好方法，但是如何才能找到"賺錢"好方法
→ sma1033: 就是一件「八仙過海，各顯神通」的事情，對我來說看圖型
→ sma1033: 找規律這種如同智力測驗的方式，在我身上已知道是太困難
→ sma1033: 所以我才會選擇靠電腦代替我分析，至少邏輯是我能理解的
→ sma1033: 賺錢也賺得有憑有據不憑運氣（對我來講），晚上睡得心安
→ sma1033: 天底下神人所在多有，一定有人靠直覺或是其他方法就能賺
推 easychen: 所以你的認知是老派作法等於看圖形找規律? XDD
→ sma1033: 所以這邊倒也沒有要否定其他人的意思就是了
→ sma1033: 我講老派是指相對「新」方法而言，新舊是相對的概念，倒
→ sma1033: 也是不用在字句上過度鑽牛角尖啦~
※ 編輯: sma1033 (140.109.23.18), 08/16/2018 16:59:31
→ uvvvv: 交易只是簡單事情重複做 不需要每分每秒追求答案
推 zaqimon: https://youtu.be/G-HsP8daGhM (純參考 非廣告)
→ zaqimon: 這影片應該接近你想要的結果吧 預測未來的價格
推 UNCHARTED3: 機器學習能不能應用於金融走勢預測?，我認為要先觀察
→ UNCHARTED3: Google的股價市值會先站上全世界第一，破兆美元是基本
→ UNCHARTED3: 阿發狗是機器學習之王，能預測金融走勢，阿發狗先爆賺
→ UNCHARTED3: 另一個觀點是，功力要先能打敗阿發狗，才可能預測股價
推 UNCHARTED3: 還有一點是，機器學習自動駕駛汽車先上路，機器學習
→ UNCHARTED3: 機器預測車輛路徑走勢還不行，金融走勢(醉漢開車)更難
推 zaqimon: 自動駕駛必須接近100%的準確率
→ zaqimon: 預測股價只要超過50%的準確度就夠了
推 UNCHARTED3: 強調困難度，丟銅板猜每日漲跌也是50%，不用機器來學
推 lrm549: 這個看完 我就想到凌大 不過他現在是用老式加新式
→ lrm549: 如果用你的定義的來看的話
推 liangniko: 機器學期或計量大多只靠過去資料預測，所以問題就在於
→ liangniko: 當週期翻轉策略就會失效，單一依靠這個策略風險蠻高的
→ liangniko: ，短線或許還可以，但誰知道什麼時候會翻轉XD
推 h4k: 你說的我全都玩過，你欠缺的是財務的領域知識，不是技術問題
推 Lio41: 轉去股期你就海闊天空了,何必在鬼台指內打轉
→ sde7w9xzo: 你可投履歷當自營AP，搞不好你就會頓悟出什麼了
→ sma1033: 請問樓上上h4k大是個體戶嗎，真的能用DL做出能賺的系統？
→ ProTrader: 重點在於能賺錢的系統而非用甚麼技術做的出
→ ProTrader: 在AlphaGo之前就已經有下圍棋的人工智慧 只是不夠強
→ ProTrader: 用DL是再強化棋力到可以下贏頂尖職業棋士
→ ProTrader: 先有業餘級的獲利(年獲利3~5%優於定存)再說用DL強化
推 ariadne: DL幹麻不能賺？有研究僧用DL+圖形辨識套件兜出波浪系統
→ ariadne: 已經驗證可以賺錢賣斷給自營直接六位數入袋
→ ariadne:                       講錯了是七位數 QQ
→ sma1033: 我相信DL兜的系統一定可以賺，因為DL只是最佳化的工具
→ sma1033: 但是怎麼使用這個最佳化的工具，「人」的智慧才是關鍵
推 vesta9: 先別管 dl 了，驗證可以賺錢這件事比 dl 還神
→ ProTrader: 我沒說DL不能賺 只是運算能力門檻高 以波浪系統來說
→ ProTrader: 我用 多週期均線+傳統影像辨識技術 也能驗證波浪理論
→ ProTrader: 希臘女神說的DL  應該不是AlphaGo那種等級的硬體
→ ProTrader: 以原po的電腦日線應可行週月線應該一定跑的動 兜波浪
→ ProTrader: 只是我覺得對交易獲利來說  DL不是很好的切入點
→ ProTrader: 然後可以去確認用DL做的波浪系統是不是聖盃
→ ProTrader: 驗證某個策略或模型能長期賺錢這件事真的是神人等級
→ TJLai: 我就是用第一個方法，如果策略都撐不過半年.我想是方法不對
→ Altair: 兜出波浪系統還賣斷給自營? 那他不是傻了就是想套現而已
推 UNCHARTED3: 我的方法是用已在市場驗證過可以賺錢的策略海龜來改
→ UNCHARTED3: 進化版海龜，海龜近年來被認為不能賺錢是太鈍了被巴
→ UNCHARTED3: 進化版海龜，犧牲勝率換取賠率，經典老車翻修還是好開
推 UNCHARTED3: 策略易得、心法難求，DL像是從海量的策略去求取心法，
→ UNCHARTED3: 用可靠的心法去設計策略容易很多，效果也比亂兜的好
→ UNCHARTED3: 海龜心法:掌握優勢、不預測行情、管理虧損
→ ProTrader: 金融市場是不完全資訊賽局而且各種場外變數隨機性高
→ ProTrader: 所以基於金融市場的相關知識設計策略很重要
→ ProTrader: 以海龜來說  用過的人都知道 假突破的機率很高
→ ProTrader: 然而 海龜的獲利來自少數真突破  關鍵是找出真突破
→ ProTrader: 用多重條件設定嚴苛進場條件減少假突破成本是基本的
→ ProTrader: 有足夠的市場經驗判斷真突破  才有高獲利
推 vesta9: 推樓上
推 UNCHARTED3: 我翻修的老金龜車，正因為獲利是少數真突破，更
→ UNCHARTED3: 不能錯過，所以進場條件寬鬆，出場從嚴，但從嚴不見得
推 UNCHARTED3: 抓不到反轉，重點還是穩定度，從軟體工程的觀點來分析
→ UNCHARTED3: 要達到某個功能的function，用越少的資料量，越少的
→ UNCHARTED3: 邏輯判斷，複雜度越低，穩定度越高，回測才接近實戰
→ UNCHARTED3: 以前工作幫美系品牌代工，客戶是直接要求"邏輯"和"資
→ UNCHARTED3: 料的"複雜度的，從這點來看，美國強大是有根本因素支
→ UNCHARTED3: 持的，所以交易策略，我也是用這樣的要求來設計，
→ UNCHARTED3: 用到目前為止，穩定度是滿顯著的
推 UNCHARTED3: 想到還有，我也不用平均數，和男人平均1.5顆澤丸一樣
→ UNCHARTED3: 沒有代表性
→ ProTrader: 恩 用平均很容易高估獲利  至少要用期望值
噓 ciccio: 我覺得你想太複雜了，假如只要賺錢，不用這麼累。
→ zaqimon: 感覺很多靠交易賺大錢的根本完全沒碰過程式交易