Re: [請益] 台灣做大數據BIG DATA方面的公司多嗎?

[DrTech (科技博士)]

※ 引述《Domos (沒事發發廢文)》之銘言：
: ※ 引述《Su22 (裝配匠)》之銘言：
: : 一直聽朋友說大數據BIG DATA很夯
: : Facebook,亞馬遜,GOOGLE都大量應用
: : 不過去人力銀行用關鍵字(BIG DATA,大數據,資料分析師...)搜尋一下
: : 台灣有關BIG DATA方面的公司/職缺好像不多?
: : 且很多大集團大公司的職缺都沒有提到相關的東西
: : 大數據其實沒有那麼夯?
: big data、hadoop很多公司，都是「常識」
: 早就行之有年，甚至很多問題，在學界都還無法解決
: 機台生產中產生的data，就是big data等級


   沒有 Big Data ，資料量不夠大，不代表你不會學到新東西阿，

   例如我雖然有玩 Hadoop 版的 MapReduce，
   後來我發現，真的沒用到什麼Big Data，

   於是乾脆吧 MapReduce 的技術移轉到一般的多核心資訊系統。
   在多核心系統下，做 MapReduce 運算。
   很多傳統程式，就可提升 10~60%的處理效率，何樂而不為。

   很多 Big Data 處理資料的概念也可用在一般系統阿，
   即使不是 Big Data 也會對你的系統幫助很大，改善你系統的一些缺陷

   若是有在用分散式系統的人， Hadoop Ecosystem 根本是寶山。
   很多原本只有在大公司的專門知識，沒想到這幾年都開源了，
   以前根本就拿不到這些資料來學習。

   玩 Hadoop 的人，我想許多人其實根本就對資料是否足夠大沒什麼興趣，
   從這些的 Open source 內，偷學些東西，用在自己的研發，
   衝擊一下自己僵固的腦袋，這才是玩 Hadoop Ecosystem 常看到的狀況吧。

※ 編輯: DrTech (122.146.70.141), 04/29/2014 22:30:04
推 gmoz:推
→ eva19452002:可以自己寫程式random產生虛擬big data來做練習嗎？
推 aresa:樓上幹嘛這樣浪費時間和生命
→ aresa:不如寫隻蜘蛛去爬YAHOO爬兩個月，再對抓下來的資料研究研究
→ aresa:最後再拿著你的研究去投YAHOO，這樣還實際多了
→ DrTech:看用途，練習寫程式，或練習些工具，用模擬資料很平常的
→ DrTech:只不過把現實生活中遇到的問題拿來解，會比較有熱誠做下去
推 rifiz:可以用KDD來練習 很多公司在上面有放類現實問題
推 popcorny:網路上很多test data可以抓來玩。random比較沒感覺..
推 stana:如果要產生"random"資料 可以參考YCSB