推 wheado : 減一項再加一項,這騷操作我忘記了,謝謝教導。 12/21 17:36
※ 引述《wheado (principal component QQ)》之銘言:
: https://imgur.com/DU5W4Sq
: 圖片取自The Elements of Statistical Learning
: 內容第18頁
: 連結如下:
: https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12_toc.pdf
: 我的問題在(2.11)式子的理解以及如何到達(2.13)的思路。
: 從到(2.11)開始說起,
: 我的理解是透過EPE(f)我們可以知道Square error loss的期望值,
: 當我們把最外層的期望值脫掉,可以得到以下這個式子(A)
: https://imgur.com/4aFPF0P
: 對於任意給定的x,都可以得到一個f(x),然後我們將從全部的x中
: 找到一個x使得(A)最小。
: 接著得知(2.12)這個式子最小的結果就是f(x)。
: 第一個問題是(2.12)如何從(2.11)推過來的?
E[(Y-f(X))^2|X=x] = E[(Y-E(Y|X))^2|X=x]+2E[(Y-E(Y|X))(E(Y|X)-f(X))|X=x]
+E[(E(Y|X)-f(X))^2|X=x]
E[(Y-E(Y|X))(E(Y|X)-f(X))|X=x] = (E(Y|x)-f(x))E[Y-E(Y|X)|X=x]
= (E(Y|x)-f(x)) [E(Y|X=x)-E(Y|x)]
= 0
=> E[(Y-f(X))^2|X=x] = E[(Y-E(Y|X))^2|X=x]+E[(E(Y|X)-f(X))^2|X=x]
= E[(Y-E(Y|X))^2|X=x] + (E(Y|x)-f(x))^2
=> When Y = E(Y|X), E[(Y-f(X))^2|X=x] has minimum
=> E[E[(Y-f(X))^2|X]] has minumum when Y = E(Y|X)
: 第二個問題是憑什麼f(x)可以是一個常數c?
推文已回答
: 我的理解可能有很多錯誤,請大神指教,謝謝。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.142.1.62 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1608099779.A.298.html