[問題] python有記憶體限制嗎

[lericee (艾瑞克)]

 大家好

 網路上查沒查到相關的問題..

 不知道是不是該在這裡發問



 我是用anaconda的jupyter notebook

 去跑sklearn 的svm

 我用的數據約兩萬多筆 欄位有17個

 在training的時候用迴圈讓他一次是用不同的數目去train
                                               (100 200 500 1000)

 train的時候已也幾個欄位而已 並不是全部17個

 但就會卡住 跑很久  四個模型跑了一個多小時還沒好

 但我個別跑1000的也只要10秒而已


 想說會不會是記憶體的關係嗎?

 但看工作管理員記憶體也沒跑滿



 後來用IDLE去做一樣的事

 也是一樣

 而且分給python的記憶體差不多就100MB


 然後我個別跑的時候 train data超過4000的時候也是會跑不出來


 想請問這樣是哪裡有問題嗎?


 ps. 程式方面應該是沒有錯 因為是跟著網路上的教學做的 幾乎一模一樣
     且單一跑跑得出來




 新手發問 請多包涵  謝謝<(_ _)>



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.13.120
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1534315751.A.807.html
※ 編輯: lericee (140.112.13.120), 08/15/2018 14:49:35
→ djshen: 看複雜度
 謝謝d大  不過其實我沒有完全瞭解svm..

 以我所知svm時間複雜度好像是O(n^2)的樣子吧?

 所以我size先以小的先慢慢變大

 100 200 500 1000 其實都在做一樣的事

 各自跑 0.2  1  8  10秒 這樣

 只是用回圈一起跑就會跑不出來


 空間我就不太清楚.. 不過看網路上好像都幾十萬筆在跑的樣子

 用個幾千就會跑不出來了嗎??


 至於資料分類有20種

※ 編輯: lericee (140.112.13.120), 08/15/2018 15:35:33
→ f496328mm: SVM 很慢
→ f496328mm: 主要是 SVM 背後的演算法相對複雜，tree 簡單多了
哦哦 謝謝~
我想說一起跑應該也就加起來 大概20幾秒
所以真的可能是還沒跑完囉?

※ 編輯: lericee (140.112.13.120), 08/15/2018 18:35:46
→ lericee: 另外想問一下anaconda的運作是怎麼運作呢? 因為我有時候
→ lericee: 同樣的code 在anaconda跑幾十分鐘出不來 用本機IDLE 一分
→ lericee: 鐘就好了 anaconda是在伺服器運作嗎 還是也用本機處理呢?
推 goldflower: 複雜度應該是2-3之間  但是迴圈跑不出來沒啥道理
→ goldflower: 你有把verbose打開看看有沒有東西嗎
推 goldflower: 你說anaconda跑不出來是指jupyter/ipython嗎?
 verbose 是指 fit(..., verbose=1) 嗎
 我試試看

 我用anaconda 的jupyter notebook 然後一直顯示在運行中 In[*] 這樣


 痾.. 不好意思 verbose是什麼呀..>"<
 我是查到model.fit(~~~,verbose=1) 這個
 不過我svm.fit()好像不能用的樣子 說沒這個參數
 還是是別的東西嗎@@


推 handsomeLin: 一看就知道你的迴圈沒寫好啊
 但是有時候又可以欸@@ 雖然大部份不行
 就是我跑三個的時候可以 跑四個就不行了
 或是我跑[100,200,500]時可以 跑[1000,1500,2000]就不行
※ 編輯: lericee (140.112.13.120), 08/15/2018 20:34:11
※ 編輯: lericee (140.112.13.120), 08/15/2018 21:42:50
推 goldflower: verbose就是print訓練過程而已
推 goldflower: 我剛查sklearn下面的svm都有verbose才對@@
推 goldflower: 阿  你會不會沒做normalize
推 goldflower: 你可以設定max_iter確認問題是不是在收斂條件上
 對欸 我沒有做normalize 因為我之前用內建iris data試的時候
 發現沒有normalize也做得蠻好的 所以就沒用來試試看@@


 https://imgur.com/a/WCt56AG

 https://imgur.com/a/rQoNjEr

 然後付上我短短的code


 https://imgur.com/a/eR5M9BO
 然後這是 沒verbose參數 @@
 還有下面是para=[100,200,500]的結果有出來


※ 編輯: lericee (140.112.233.9), 08/15/2018 23:26:36
※ 編輯: lericee (140.112.233.9), 08/15/2018 23:35:30
推 Falldog: 先看看你的python是不是跑64bit的版本吧
 我看官網是寫64 (3.5.2)  電腦也是64位元
※ 編輯: lericee (140.112.233.9), 08/16/2018 01:18:38
→ goldflower: normalize後還是跑不出大筆的結果嗎?
 有了欸! 而且快超多的@@
 非常謝謝g大熱心的回答!
※ 編輯: lericee (140.112.233.9), 08/16/2018 10:49:50
→ lericee: 也謝謝其他人的幫忙~~
推 goldflower: 讚讚讚  恭喜成功
→ lericee: 真的感謝G大的熱心幫忙 Q_Q
推 ggirls: 什麽是normalize?
→ ggirls: 什麽是normalize?
 把參數數值scale成0~1

※ 編輯: lericee (140.112.233.9), 08/23/2018 00:16:21
→ s860134: 中文貼切一點叫歸一化