看板 Math 關於我們 聯絡資訊
※ 引述《yhliu (老怪物)》之銘言: : ※ 引述《znmkhxrw (QQ)》之銘言: : : 想請問一下 : : 一群資料{x_i}, 分布是p(x), g為定義在那群樣本空間上的實函數 : : 那 E_{x~p(x)}[g(x)]的正式定義為何? : 如你所說, 若 X 是定義在機率空間(Ω,Σ,P)上之一實數 : 值隨機變數, 那麼 X 之期望值的正式定義就是 : E[X] := ∫_Ω X(w)dP(w) : 若 X 有機率分布函數 F, 那麼, 由變數轉換定理,就可以 : 把 X 的期望值寫成 : E[X] = ∫_R x dF(x) : 而當 F 對數線 R 上之某一σ-finite 測度 μ 是絕對連 : 續, 也就是說 F 對 μ 存在一個 density function 時, : 竟可以寫 : E[X] = ∫_R x f(x) dμ : 有兩個特例, 一是 μ 為 Lebesgue measure, 則 E[X] : 存在時, 可以表示為 Riemann 積分 : E[X] = ∫_R x f(x) dx : 二是 μ 為 counting measure 而 F(x) 僅在可數個點有 : 跳躍型不連續點且其總和跳躍值為 1, 即 X 為 "離散型" : 而有離散型 p.d.f.(或稱 p.m.f.) f(x),則 E[X] 可表為 : E[X] = Σ x_i f(x_i) : 其中 Σf(x_i) = 1. : 在初級課程, 後兩式 (黎曼積分式及加總式) 就被當成是 : 期望值的定義, : 設 Y = g(X) 是另一隨機變數, 則其期望值可以定義為 : E[g(X)] = ∫_Ω g(X(ω))dP(ω) : 也可寫成 : E[Y] = ∫_Ω Y(ω) dP(ω) : 由 X 之分布函數 F, 可導出 Y 的分布函數 H, : H(y) = P[Y≦y] = P[g(X)≦y] : 從而 Y 之期望值可以寫成 : E[Y] = ∫_R y dH(y) : 也可以表示成 : E[g(X)] = ∫_R g(x) dF(x) : 有 density function 時也類似, 可以用 Y 之 density : 來計算, 也可以直接用 X 之 density 來計算 g(X) 的期 : 望值. y大謝謝你的解說 可是這還是沒辦法跟paper的式子做連結... paper在證明時直接寫: E_{x~p(x)}[g(x)] = ∫ p(x)*g(x) dx x 我就是卡在這裡,詳細的話就是我猜測上式是以下這幾種情況,但是都很奇怪 (1) E_{w~p(w)}[g] = ∫ p(w)*g(w) dP(w) w 即g這個隨機變數在指定"分布"下的期望值 但是問題:(a) 沒看過p(w)阿 都只有p(x), x€Real numbers (b) 先承認p(w)但是不知道他是啥, 那到底是distribution function 還是density function?? 跟x版本的f(x),F(x)有何異同 (2) E_{x~p(x)}[g(x)] = ∫ p(x)*g(x) dx x 若x€R^n (即Ω=R^n)就回到(1) 若x€R, 也就是說 ∞ E_{x~p(x)}[g(x)] = ∫ p(x)*g(x) dx -∞ 但是這更奇怪: (1)x~p(x)整個不合, 除非變成w~p(x), 這樣略說的過去 (2)g(x)是什麼....整個跟E最初定義不合,直接把隨機變數放進去?? 但是g(x)也不是隨機變數阿@@ 我的問題是在這兩點QQ 謝謝回答 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.128.169.29 ※ 文章網址: https://www.ptt.cc/bbs/Math/M.1516686665.A.7A4.html
tsoahans : 我想paper要表達的就是E[g(X)] 而X的pdf為p(x) 01/23 14:02
tsoahans : 而X=X(w) 一般不會用到w所以常省略不寫 01/23 14:04
我也這樣想過...但是事實上並非如此 https://imgur.com/V38YbhY 如果x是w的話 E_{w~p(w)}[g] = ∫ p(w)*g(w) dP(w) w paper的g就是X 因此會變成 E_{w~p(w)}[X] = ∫ p(w)*X(w) dP(w) w 那p的變數就很奇怪了...照理說是p(x)而且是實數線上的積分
tsoahans : GAN的作者有出書 書上是這樣定義的: 01/23 14:15
tsoahans : https://i.imgur.com/zvXxoEe.png 01/23 14:15
tsoahans : 小x就是random variable而不是sample 01/23 14:16
LiamIssac : 原po 你還沒搞清楚隨機變數的定義 再看一下X的定義 01/23 14:25
LiamIssac : 就可以看出來了 01/23 14:25
謝謝t大&L大 我把t大的用wiki的notation寫出來 E_{w~p(w)}[X]: expectation w.r.t p(w) which is some distribution 但問題就是我的(1)-(a) 沒看過distribution function裡面擺w的阿 只有X裡面擺w, 然後f(密度函數),F(機率函數)裡面才是擺實數x 今天假設真有人定義 p(w)=: 定義於Ω的密度函數 那 E_{w~p(w)}[X] = ∫ p(w)*X(w) dP(w) 這式子其實是定義? w V.S. E[X] = ∫ X(w) dP(w) w
cuttlefish : 單純就是x為r.v. 服從p(density function)分配下 01/23 14:38
cuttlefish : g(x)的期望值吧 不要想太複雜 這裡應該沒用到測度 01/23 14:38
cuttlefish : 那式子是E[g(X)]不是E[X] 01/23 14:50
這樣好了 paper 原始式子: E_{x~p(x)}[log(D(x))] = ∫ p(x)*log(D(x)) dx x 寫成wiki notation就是 E_{w~p(w)}[g(X)] = ∫ p(w)*g(X(w)) dP(w) ---(A) w 有沒有log只是有沒有做Y=g(X)的問題 因此(A)這個形式還是等於 E_{w~p(w)}[X] = ∫ p(w)*X(w) dP(w) ---(B) w 問題還是回到: (1) p(w)是什麼?? (2) (B)是定義還是由E[X]的定義所推導的?? ※ 編輯: znmkhxrw (220.128.169.29), 01/23/2018 14:56:10
cuttlefish : 沒有這種寫法吧 p(w)不該出現 01/23 15:30
cuttlefish : E_{w~p(w)}[g(X)] = ∫ g(X(w)) dP(w) 01/23 15:35
cuttlefish : 不對 下標應該是x~p(x) 非w 01/23 15:36
tsoahans : E_{x~p(x)}[g(X)]=E_{X~P}[g(X)]=∫g(X(w))dP(w) 01/23 16:02
tsoahans : =∫p(x)g(x)dx 01/23 16:02
PPguest : 如同c大講的,為什麼改寫wiki notation就變成w~p(w)? 01/23 16:38
那你們說的paper這邊的x是實數?? 我會說w是因為我認為他的x是樣本空間的w,也就是說x€Ω ※ 編輯: znmkhxrw (220.128.169.29), 01/23/2018 16:48:29
PPguest : paper我沒看到w,不知你的w是什麼? 01/23 17:01
PPguest : paper的x,我的理解是把產出的data看成是r.v.,分佈是 01/23 17:04
PPguest : p_g. z是另一個r.v., p_z 是其distribution 01/23 17:05
PPguest : 直觀上r.v.才有隨機性,sample space裡面的元素應該 01/23 17:07
PPguest : 沒有隨機性吧 01/23 17:08
PPguest : 講一個簡單的例子,我們在班上要抽簽選一人 01/23 17:10
PPguest : 樣本空間是所有班上同學的名字,我們用號碼來做對應 01/23 17:13
PPguest : random variable x 是抽出的號碼 01/23 17:14
PPguest : 我們不會用某個號碼w,例如34號,來取代r.v. x 01/23 17:15
這麼說好了 嚴格的照定義來看(要看paper的證明過程) Wiki上是: (Ω,Σ,P) , w€Ω, X:Ω→Real numbers 則 E[X] := ∫ X(w)dP(w) Ω (定義) ∞ = ∫ x dF(x) , where F(x) = P({w€Ω:X(w)≦x}) 簡寫為P(X≦x) -∞ (定理) ∞ x = ∫ x*f(x) dx , where F(x) = ∫ f(t)dt -∞ -∞ (定理) 再強調一次, w€Ω, x€Real numbers, X is a random variable ======================================================= 再來看今天paper是: E_{x~p(x)}[g(x)] = ∫ p(x)*g(x) dx x 問題來了: (1) Ω是啥?R^n嗎?x的樣本空間? 也就是說(Ω,Σ,P)各是? (2) x是啥?x的樣本空間嗎?x€R^1?x€R^n? (3) g(x)是啥?隨機變數?那x就是w? (4) p(x)是啥?分布函數?分布密度函數?變數是x€R^1還是w€Ω? (可是我學的單一隨機變量的分布函數變數是擺x€R^1並非p(w)) 總之,若是相同定義必定可以證明等價 ※ 編輯: znmkhxrw (220.128.169.29), 01/23/2018 18:06:42
Vulpix : p(x)是機率密度,他的樣本空間是X(Ω)。如果X是1-1 01/23 20:42
Vulpix : 的話,X就只是在R裡面選了一個區域用來代替Ω。 01/23 20:45
PPguest : 修正一下上面我推文的最後一句 01/24 00:21
PPguest : 不會用某個同學名字w,或對應號碼34,來取代r.v. x 01/24 00:23
NNAA : 如果paper的符號或寫法很奇怪 01/24 06:09
NNAA : 按你的理解修正它就好 01/24 06:14
znmkhxrw : 我會PO文就是因為不管我怎麼猜都跟wiki那三條對不上 01/24 09:24
znmkhxrw : 猜老半天才來問的QQ 01/24 09:25
yhliu : E_{X~p(x)}[g(x)] 這符號是說明 X 有p.d.f. p(x). 01/24 09:25
y大你的意思是 他寫的 E_{x~p(x)}[g(x)] (英文:dataset x符合p分布) 其實是 E_{X(w)~p(x)}[g(x)] ??? ↓ ↓ 隨機變數 p.d.f. ※ 編輯: znmkhxrw (60.244.105.125), 01/24/2018 09:28:59
yhliu : 在前文的說明, 吐0然最後沒明寫出來, 但其實已說明 01/24 09:28
yhliu : 如果 X, Y 都有相對於 Lebesgue measure 的 density 01/24 09:31
yhliu : 那麼 E[Y]=∫_R y h(y)dy=E[g(X)]=∫_R g(x)p(x)dx 01/24 09:33