[分析][機統] 隨機過程與期望值

[znmkhxrw (QQ)]

給一個離散實訊號x_n (就是x:Z(整數)→R(實數))

在訊號處理的paper裡很常看到 E{x_n}
                                        1        m
一直以來我都把他定義成 E{x_n}:=  lim ──── * Σ x_k
                                m→∞  2m+1    k=-m

但是今天看到隨機過程後, 其實對E{x_n}已有定義, 貌似上述等式只是特例而已

詳細問題如下:
======================================================================
令 (Ω, Ｆ, P) 為機率空間
   {x_n(w): n€Z(整數)} 為隨機過程

即對於每個n, x_n:    Ω→R 是一個隨機變數
  對於每個w, x_.(w): Z →R 是一個realization

接著因為期望值是定義在隨機變數, 所以對於每個n我們有 E{x_n}:= ∫ x_n(w)dP(w)
                                                              Ω

從這邊就可以先觀察到最一開始說的實訊號x_n只是固定某個event w所取出的x_n(w)

接著wiki說stationary random process是指隨機變數的distribution是time-invariant

( https://en.wikipedia.org/wiki/Stochastic_process#Stochastic_process )

因此如果 {x_n(w): n€Z(整數)} is stationary

    則 E{x_n} = E{x_m} for any n,m€Z (*)

接著問題來了, 下面這個連結說如果隨機過程是stationary的, 那麼對w做期望值(平均)

                                                      1        m
就等於對n做期望值(平均), 也呼應他寫的 E{x_n}= lim  ──── * Σ x_k ---(**)
                                              m→∞  2m+1    k=-m

( https://www.dsprelated.com/freebooks/sasp/Expected_Value.html )


果然我最一開始定義的期望值只是特例, 那只是在一個更廣的定義下所推導出來的結果

但是問題來了！我證不出來, 問題如下:

(**)的左式只剩n的變數, 而且(*)又說跟n無關, 所以(**)左邊只是一個常數

但(**)的右邊其實是w的變數, 代表所有w代進去都是一樣的值!?

這個猜測可能是對的, 因為文章裡面有寫"compute expected values by averaging

over time within a single realization of the random process"

因此, 一切要合理的話, 下面定理要成立：

<Theorem> if {x_n(w): n€Z(整數)} is stationary

                                 1        m
          then E{x_n} =  lim  ──── * Σ x_k(w) ≡ constant, for all n,w
                        m→∞  2m+1    k=-m

這不可能吧....

我嘗試一會兒發覺左右根本兩回事, stationary是講time-invariant

既然跟time沒有關係, 那對n做平均(E{x_n})根本多此一舉阿...

而且定理右式怎麼可能任選w都是一樣的, 這樣不就是event-invariant....

請問問題點到底在哪...

謝謝幫忙！

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.102.235.174 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1580930595.A.79D.html
※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/06/2020 03:23:55
→ yhliu       : 隨機過程 {X(n), n in Z} 是 stationary, 並不表示
→ yhliu       : E[X(n)] 之共同值可用長期平均值
→ yhliu       :   (X(N-m)+X(N-m+1)+...+X(N+m))/(2m+1)
→ yhliu       : 的極限值得到. 極端的反例是 X(n) = X(m) for any
→ yhliu       : n, m. 能由長期平均值(的極限)得到共同期望值的惰形
→ yhliu       : 是諸 X(n) 有獨立成分, 用大數法則可證得你要的結果
→ yhliu       : 附言: 上述長期平均採奇數期, 任意中間點. 其實不一
→ yhliu       : 定要取奇數期平均, 而是可取任意期平均.
→ recorriendo : 一個是time average, 一個是ensemble average
→ recorriendo : 兩者相等的情況叫做ergodic     在應用上通常都直接
→ recorriendo : 假定所得的訊號來自ergodic process
→ recorriendo : non-ergodic的情況 太難了 目前還是有待研究的領域
謝謝y大r大, 我也找到完整敘述了, 即i.i.d的情況下time average = ensemble average
※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/06/2020 23:31:23
→ recorriendo : 但ergodic不一定需要iid 最簡單的像穩態馬可夫鍊
→ yhliu       : i.i.d. 情況直接就是大數法則了; 此處等於考慮
→ yhliu       : dependent 情況的大數法則.
→ znmkhxrw    : 欸可是我看弱大數與強大數法則都要iid耶...而我要
→ znmkhxrw    : 的那個等式不就是強大數法則的statement嗎? 所以有
→ znmkhxrw    : 更弱的條件可以推得強大數法則?
→ yhliu       : 對啊! 普通大數法則都假設 i.i.d.; 但現在考慮的是
→ yhliu       : 隨機過程, X(n)之間一般是不獨立的, 甚至可能不同
→ yhliu       : 分布. 如馬可夫鏈就不是同分布, 只是在某些條件下
→ yhliu       : 趨於穩定, 長期平均等於在算穩定分配的期望值.
→ znmkhxrw    : y大我意思是指(**)要成立是確實是需要iid的
→ znmkhxrw    : 只是這個假設很強, 很多時候都不是iid, 所以(**)也
→ znmkhxrw    : 不一定會成立
→ znmkhxrw    : ?
→ recorriendo : (**)是mean-ergodicity的定義 iid只是其特例
→ yhliu       : 首先, (**)  有錯, 那個平均應改成
→ yhliu       :   (X(N-m)+X(N-m+1)+...+X(N+m))/(2m+1)
→ yhliu       : 或至少原(**)那個 2m+1 改成 2N+1.
→ yhliu       : 其次, 我不是說類似(**)那個式子只在 i.i.d. 才成立
→ yhliu       : 而是說它不是對任意隨機過程都成立. 前面網友也說了
→ yhliu       : 那是 ergodic process 的條件或定義.
→ yhliu       : 修正: 是 mean-ergodic process.
→ znmkhxrw    : 了解~那沒錯 感恩 然後(**)那邊筆誤 我改一下
※ 編輯: znmkhxrw (59.102.235.174 臺灣), 02/07/2020 22:34:27