[線代] 向量微分

[TEPLUN (Totto)]

因為搞ML跑去看線代啟示錄對矩陣/向量微分表示法的推導
但有個部分看不太懂
https://imgur.com/2Vfh7IP
原文說f(u),u(x),v(x)為可微分函數
看起來 若x屬於R^n
這裡應該是指 u:R^n→R^m, u(x)=(u1(x),u2(x),...,um(x)), for some m
f應該也是類似的定義 f:R^m→R^a, f(x)=(f1(u),f2(u),...,fa(u)), for some a
以上不知有沒有理解錯誤

以下是問題及我的理解
1→2這步，若把f.u看成函數，根據連鎖率推得2似乎是對的
但是2→3就看不懂了qq

因為以前學微積分只學過單變數的向量函數
像r:R→R^n, r(t) = (r1(t),r2(t),...,rn(t))
且r'(t) = (r1'(t),r2'(t),....,rn'(t))
如果推廣到多變數
那這邊的du/dxi = (du1/dxi,du2/dxi,...dum/dxi)
另外，dfj/du應該是指fj'(u)?
所以(du/dxi)(dfj/du)應該是一個向量乘上純量
這樣2是如何推到3的呢?

不知道是哪裡想錯了...請高手解救，謝謝
原文: https://reurl.cc/5grRz6




--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.3.78 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1569125561.A.635.html
→ Ricestone   : 雖然無關內容，不過為什麼不換個縮址就好？
原來是ptt縮網址的問題...我以為是PTT會自動擋
※ 編輯: TEPLUN (1.160.3.78 臺灣), 09/22/2019 13:09:13
→ Ricestone   : 那是ppt縮網址
→ DLHZ        : 2的u拆開就是3
就是這裡不懂兩邊的u怎麼拆成uk的
→ DLHZ        : dfj/du應該是指fj'(u)沒錯
※ 編輯: TEPLUN (1.160.3.78 臺灣), 09/22/2019 16:20:04
→ DLHZ        : [du1/dxi du2/dxi ... ][dfj/du1 dfj/du2 ... ]^T
→ DLHZ        : 前面有提到「...本文採用混合佈局...」
→ DLHZ        : 所以寫成這樣
推 chemmachine : https://zh.wikipedia.org/wiki/矩阵微积分
→ chemmachine : 推dlhz大，維基的這個條目會告訴你向量和純量互相
→ chemmachine : 求導是放直的橫的，還有形式怎樣，你套進去也可得
→ chemmachine : 一個直和一個橫相乘剛好是內積。f:R^n->R^m的微分是
→ chemmachine : m by n的矩陣
→ chemmachine : 更正一個橫*一個直，*是矩陣乘法，如d大所寫
我知道這裡採用分母布局 的確如果2用分母布局來想 可以推得3
但如果單純是先用連鎖率推到2再用分母布局去想就有個問題
(du/dxi)(dfj/du)=(dfj/du)(du/dxi) 這樣結果就不一樣了
所以我本來把他當成跟單變數連鎖率一樣處理顯然是錯的
但這樣看起來1→2應該類似多變數合成向量函數的微分的連鎖率
2其實是兩個gradient做內積
但以前只學過f(r(t))對t的微分是f的gradient跟r'內積 t為單變數
如何把t推廣到多變數?這步如何證明就不是很清楚
※ 編輯: TEPLUN (220.136.16.107 臺灣), 09/23/2019 08:45:33
推 chemmachine : 個人意見，你觀察得很好，我認為周老師的矩陣位置
→ chemmachine : 放錯了。你可以看一下wiki矩陣微積分放的ij位置
推 chemmachine : 不影響後續證明，反正就i，j顛倒。我覺得維基這部分
→ chemmachine : 寫得很好。
推 chemmachine : 位置的部分你要這樣想：f:R^n->R^m，f寫成f1...fm
→ chemmachine : f=f(x_1...x_n)原因是方程a11x1+a12x2+...a1nxn=f1
→ chemmachine : 共m條方程，n個變數，m的標記是i，n的標記是j
→ chemmachine : 這樣你就知道為啥向量微分向量矩陣是那樣放，這個
→ chemmachine : 東西印象是jacobian發展的雅可比矩陣，也讓雅可比
→ chemmachine : 聲名大噪，當代有名的問題重積分的變數變換解決
推 chemmachine : 根據這個規則，純量當作1維向量，你就知道向量微分
→ chemmachine : 純量是直的，純量微分向量是橫的。
推 chemmachine : u1到uL才對，L index k ，n維映至l維再映至m維才對
推 chemmachine : x n維  ，u 是n維映至L維 ，f是L維映至
→ chemmachine : m維
推 chemmachine : u為什麼L維可以看frideberg矩陣乘法那裡.周老師不是
→ chemmachine : 錯，只是寫ij和frideberg和維基不同。我會用fridebe
→ chemmachine : rg的習慣。
→ chemmachine : 用周老師的寫法鏈式會前後顛倒，這就是。frideberg
→ chemmachine : 方法較佳的原因。
推 chemmachine : https://reurl.cc/4ga0LK 複合函數微分，例子有矩陣
→ chemmachine : 啟示錄開頭寫n*m讓複合公式顛倒了。