[問題]在資料處理與統計分析python or R?

[keepingJBJ (keep)]

各位前輩大家好
小弟本身是在做資料分析的工作
平常工作上使用的主要是SQL跟SAS
自己想學其他的 open source code 加強能力
不知道各位前輩對於做ETL or Data mining
比較推薦python還是R呢
小弟第一次發言
請大家提供小弟建議
謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.14.97.42
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1466365654.A.723.html
→ bibo9901: Python已經夠慢了, R更是慢到無以復加...
→ shadowjohn: 資料得處理再處理再處理再處理再去餵工具XD
→ Neisseria: 先評估函式庫/套件有沒有符合需求再來選語言
→ Neisseria: 語法上是 Python 比 R 簡單，但這往往不是最重要的點
推 JackBaska: 單資料整理 R 贏 Python , 如果你的資料是型態很雜且
→ JackBaska: 需要很前處理的話,我是推薦 R
→ JackBaska: 如果你的資料是大量數值,或是結構性還有coding狀況算好
→ JackBaska: 的資料,Python在校能上可以讓你做很多分析,而且速度非
→ JackBaska: 常快,像是我之前要在R上面生出一億個元素的亂數矩陣
→ JackBaska: 等超久,Python只要幾秒,看需求為主
→ Wush978: R 的亂數產生器比較嚴謹。很多R 開發者的取捨，效能並不
→ Wush978: 是最重要的。因為要說效能，python/R都呵呵
推 JackBaska: 是阿...可惜....全用Cpp爆開開發速度會崩潰
→ JackBaska: 我比較傾向先確定想法算法可以work,再考慮要不要刻
→ keepingJBJ: 謝謝前輩們提供的建議，小弟就先從R開始學習，資料
→ keepingJBJ: 整理的效能對統計分析真的很重要
→ bibo9901: 用R就注定你的data大學永遠只能是玩具等級
→ bibo9901:                    小
→ bibo9901: 另外可以給個"R的亂數產生器比較嚴謹"的 reference 嗎?
→ Wush978: 我用R在企業中處理一天破億筆的資料，並且架設推薦引擎
→ Wush978: R的dplyr後面接一層就可以直接串sparkSQL
→ Wush978: R的rng介紹： http://0rz.tw/uZRcI
→ Wush978: 不過說回來，處理大數據，和用R，用python比較沒關係
→ Wush978: 了解資料結構，演算法，作業系統等知識後，用什麼都一樣
→ Wush978: 恩... 應該說，語言還是有差，但是不會是在R vs Python這
→ Wush978: 種問題，而是java hadoop-like 等工具集合 v.s. 其他等這
→ Wush978: 種層面上
推 gozule: 選python，需要速度就用cython加速
推 gozule: 我用cython+numpy寫算法，效能和純c的程式效能差異可以壓
→ gozule: 在10%以內
推 gogogogo3333: 請問樓上大大，cpython 該如何入門呢？有推薦的ide
→ gogogogo3333:  嗎？ 小弟目前是使用anaconda 下的spider ide
推 JackBaska: go大。原po主需求是資料前處理還有ㄧ般統計分析，還有
→ JackBaska: 對非cs背景的親合度，整體來說R應該更適合，對非相關
→ JackBaska: 領域來說dplyr比pandas還有re親民許多
→ JackBaska: 不過我也想問cython入門
推 gozule: cython只是把python加上type後編譯而已，重點是編譯後可以
→ gozule: 加速的幅度非常大，官網　http://cython.org/
→ gozule: 還有cython不是CPython，這是兩種不同的東西
→ gozule: cython的寫法也很簡單，先把python程式寫好確定正確性後，
→ gozule: 就可以開始替變數加type，加好後編譯即可直接執行
→ gozule: cython的IDE目前我只知pycharm pro有支援，學術用免費
→ gozule: 效能比較１　https://goo.gl/fCpr5l
→ gozule: 效能比較2 https://goo.gl/8hHZjd
→ gozule: 如果R能夠用llvm編譯執行也能很快，只是相關套件不成熟
→ Neisseria: 看了一下 g 大提供的 benchmark，覺得 Cython 蠻厲害的
→ Neisseria: 可以接近 C 和 Julia，但是相對好寫很多
→ Wush978: (偏了) 要效能的話，試試看pypy吧，可能比cython更快
→ Wush978: 而且不用改code，只是換interpreter
推 os653: PyPy 是比 Python 快不少啦，但是跟 C 比...
→ uranusjr: PyPy 一般被認為在可以和 C 在同一個數量級喔, 完全可比
推 gozule: pypy也是一個選項，只是對於numpy為主的套件似乎支援不完
→ gozule: pypy官網一直都有在募集資金做numpy for pypy的porting
→ gozule: http://pypy.org/numpydonate.html ，如果是以numpy開發為
→ gozule: 主，建議用cython, 如是純python的話，可以用pypy更省事。
→ gozule: pypy套件列表 http://packages.pypy.org/
推 svin: 新手想請教gozule大, 請問cython code裡可以使用python的其
→ svin: 他package嗎?
推 CaptainH: pypy不能用scipy等package 太傷了
推 CaptainH: 而且個人經驗是：pypy 和 C/C++ 速度同個數量級的程式碼
→ CaptainH: ，此時Cpython也不會慢到哪去
推 JackBaska: os大大 C很快但開發時間跟不上老闆的心啊
→ gozule: cython裡面可以使用cpython的全部套件，也可以用c/c++開發
→ gozule: 的library，如TA-lib的wrapper https://goo.gl/G17vLb
→ gozule: 簡單的說，只要cpython能夠import的套件,cython通通能用