[問題] 驗證集對最後結果的影響

[nctukmdick (kmdick)]

使用工具:
Keras
問題內容:
小弟我在做一個迴歸的問題，我發現我把validation_split調高的時候測的結果會比較好
我以為validation 只是把一些資料分出來，拿來測val_loss藉此來評估訓練的好不好，
而且這樣訓練的樣本變少不是會訓練的比較差嗎@@

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.217.35.216
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1525435491.A.555.html
推 bessgaga: 我覺得你也要考慮validation set太小導致正確率精準度
→ bessgaga: 不夠的問題
推 a78998042a: 如果今天母體資料結構上包含A,B,C，然後你的train set
→ a78998042a:  怎樣都只有C部分，你C收集的資料不管有多多，都沒有
→ a78998042a: 辦法在A,B發揮作用，所以最後一句的敘述有問題。
→ a78998042a: 切割資料集部分，給一個極端的例子，第一種，你做3-fo
→ a78998042a: ld cv，剛好把A,B,C切開，這時你的結果怎樣都不會好；
→ a78998042a: 第二種，你做leave one out CV，這時他A,B,C都包含，
→ a78998042a: 所以結果怎樣都比第一種好。
大概懂你的意思 不過我是val_loss和最後拿測試集測的結果也比較好
※ 編輯: nctukmdick (49.217.35.216), 05/05/2018 16:47:05
→ truehero: Training set 變小不見得得會變差，
→ truehero: 也許妳的training set資料分佈已經足夠cover validation
→ truehero: 最後結果會好可能是early stop在較正確的epoch
推 sean50301: cv folds出來的Var(validate error)也可以看一下
推 lucien0410: val split每次調高每次最終結果都變好嗎？會不會只是
→ lucien0410: 剛好這次選到train set分佈特別好