Re: [問題] kaggle, featured conpetition的可信度

[ANGUS582 (ANGUS )]

原文恕刪

感謝outrunner與f496328mm兩位回文，以下我會我的疑慮再打的清楚一點


久仰outrunner的大名。首先，先說聲抱歉，我對wow完全沒有概念= =，我的年紀還沒
有這麼大，但我想我應該抓的到你要表達的意思。回到正題，我一開始的設想是，接
觸這行的人，基本上來說都會有聽過kaggle，而發這篇文的用意在於，收集一下從事這
行的人的想法，同時也想知道對於一個"面試官"來說，在看到面試者具有良好(top5%
或是in-prize之類的)成績的時候，面試官會認為面試者具有什麼樣的能力/優勢，或是
能為他帶來多少程度的加分。(其中特別想知道申請國外ms的狀況，因為這就是我面臨
的處境= =)

至於kaggle的問題，除了我提到的，其他較為"結構性"的大概還有發生data leakage
或是比賽課題本身根本就是lottery的狀況，參賽者方面來說的還有像是用public
kernel提交、多重帳號提交、硬體差異等等所帶來的影響公信力的問題，上述三個基本
狀況每場比賽都有，甚至還有在比賽結束前幾天發一篇超高分的public kernal來摧毀
leaderboard的這種鳥事也有。不難想像如果有人將kaggle成績奉為圭臬，他會受到
多少質疑。

另外，我了解要做從事這行要學的東西很多是kaggle給不了你的，但我在文中其實沒有
提到kaggle不需要自己做data prepocessing，那部份我指的是，官方為了維護比賽本身
所要做出的措施，像是防止data leakage之類的，這種鳥事不勝其數，WSDM2018、
talkingData第一次辦的比賽等等，應該不難想像要是比賽因此被摧毀，參賽者會有多賭
爛，上次我舉的corporacion favorita，那個還只是小事情而已，畢竟top10裡也有很多
人忽略。

而基本上比賽提供的資料雖然都還算友善，也的確是不需要過度的處理，但還是有不少
的特例，像是:
Sberbank的NA地獄(https://goo.gl/8wjRg7)
Zillow的一堆欄位也是有不少問題需要你一個一個慢慢弄等等(https://goo.gl/VkfUyv)

而為了因應花時間的問題或因應主辦方的要求，也有kernal-competition的出現，像
是Mercari(https://goo.gl/gomuy3)那次，而且近期"frankenstein ensemble"式的優
勝解法也很少出現了。而關於收集資料的部份，有時官方也會允許你使用external data

我很認同"建模只是資料科學的一隅"的這觀點，我有聽說過一個說法是kaggle比賽就
像是做在車裡遊覽非洲大草原，而真實世界的任務，則像是把你一個人肉身放在大草原
上求生存。但其實藉由參與其中，跟著比賽的timeline跑，真的能體會蠻多課堂學不到
的事情。



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.230.110.77
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1526747366.A.81A.html
→ abc2090614: 像你已經作了幾個10% 5% 再純練kaggle下去意義不大
→ abc2090614: 不如去練soft skills
→ abc2090614: 個人認為現實工作最難的是"要"跟"理解"資料
→ abc2090614: 如果在kaggle上認識些人能討論則不錯
→ abc2090614: 我覺得作kaggle有他的好處在  但所謂"優勢"  其實是
→ abc2090614: 要看你怎麼分配  同樣是100小時  可以拿去練kaggle
→ abc2090614: 可以去network  練表達能力  去練寫production code
→ abc2090614: 都是用法. 要跳脫出分數的思維
→ abc2090614: 當然都比花100小時逛ptt或看電視滑手機好就是