[問題] rolling+apply過慢

[gensation (OoooO)]

各位高手好
想請問df.rolling().apply(fun)有無更快的方式，其中fun部分為rolling數據跟一固定
數據做相關係數，有試過numba，不過好像沒有較快，想用cython，看起來有點難度，且
沒學過c，不知有何替代方案，或是應專研以上方法，謝謝。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.122.83 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1659314895.A.1C7.html
推 celestialgod: polars rolling sum應該可以 只是你需要用公式展開
→ celestialgod: 計算
→ chang1248w: 你把前後運算寫成矩陣之後乘開，再用numba/cupy炸
→ chang1248w: 或者直接裝cudf來用
→ chang1248w: 你應該有卡吧？
→ chang1248w: 運算瓶頸是pamdas single thread，就算你後面call再
→ chang1248w: 多的資源，它還是single thread
→ gensation: polars我來試試。我是用colab在玩...，然後df shape 70
→ gensation: 00휲000完全跑不動roll加apply，請問cupy cudf有什麼好
→ gensation: 懂的教學，本身文組不是太懂..，謝謝
→ chang1248w: 這和文不文理不理沒關係，cupy你就當numpy寫就好
→ chang1248w: 找 cudf colab應該都有安裝程式碼可以抄，Nvidia
→ chang1248w: rapids 不是冷門社群
→ chang1248w: 這類擴充移植到lib一般都會幾乎兼容於原本的版本
推 celestialgod: 看你要不要弄個可以重現你問題的程式碼
→ celestialgod: 這樣板友也比較好幫你看出哪裡是效能瓶頸
→ celestialgod: 才好對症下藥，幫你解決問題