[問題] bootstrap confidence intervals

[yuanandy (小元)]

各位前輩、大大們好，

小弟研究上有些問題想請教、確認自己了解是否有誤，如有錯誤還請不吝指教。

我想請問一下，在文獻中回報了bootstrap-generated confidence intervals，

是否就代表著有interval validation?

在我的認知上，internal validation是為了避免當model overfitting時

出現過於高估模型能力的情況，

所以在bootstrap中利用不斷的resample with replacement去修正過於樂觀的結果。

但是今天聽到有人說，bootstrap只有在運用在model developement時才算是有internal

validation，倘若只有利用bootstrap在建好模型之後去評估模型表現則不算是有intern-

al validation (像是只用bootstrap計算confidence intervals)

小弟不是很認同這樣的說法，因此想詢問一下大家怎麼看待的呢? 謝謝!

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 134.58.253.56
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1559141956.A.8E7.html
→ sxy67230: 不太能理解你要表達的意思，bootstrap 抽樣做驗證的方法
→ sxy67230: 是隨機取n個可放回的資料，剩下做validation set。如果
→ sxy67230: 你指得是訓練完成後在做評估就失去vaildation的意義了吧
→ sxy67230: ？
→ sxy67230: 抱歉，更正一下。訓練完成後再做驗證，確實是做internal
→ sxy67230:  validation是一樣的意思。
→ yuanandy: 如同你前面的論述，比較嚴謹的人會覺得不算internal
→ yuanandy: validation，他們覺得必須是在訓練的過程使用到才算
→ yuanandy: 但我個人覺得只是一種估計再現率高低的方式，所以算是
→ yuanandy: 後來我還是採取了比較嚴謹的說法，供大家參考