Re: [其他] 張量與矩陣的差異以及學習張量的方式

[annboy (BlueGun)]

※ 引述《physics11 (11號)》之銘言：
: 如題，小弟的線代是修資工系的（沒有教很深），大致瞭解基本的線代
: 最近在流體力學的問題時常遇到張量
: 也因此最近去圖書館搬了好幾大本關於tensor的書
: 但是對於tensor & matrix之間的差異不太瞭解
: 有人說：rank 2 tensor is a matrix
: 那這樣的話，matrix的性質跟rank 2 tensor是一樣的嗎？
: 此外，工程方面的書對於tensor的瞭解跟tensor analysis對於tensor的解釋大相逕庭，實在是學得很痛苦
: 一方面問自己系上（化工）的老師，只能得到一些很表淺的解釋
: 也不太好意思直接殺去數學系館抓一個老師問，
: 有沒有大大能推薦適合我這種就是爛的工學院學生的tensor 相關的書？
: -----
: Sent from JPTT on my HTC U12 life.

<Preface>

我也有想過類似的問題

因為tensor聽起來就很潮，不過並不是很確定到底定義是什麼



首先呢，tensor並不像vector那麼有共識性。再準確一點來說，

比如你跟不同領域的人講vector，即使你不順一下彼此間的定義，

大家心裡想的也差不多。

但即便是兩個都對tensor有認識的人，定義之間還是會有些落差。



我大概整理一下兩種比較常見的tensor定義，也會推薦一些書

書會全部整理在本文最後面



<Definitions>

Definition 1:

A tensor is a multi-dimentional array.



這個定義是在 Comuter Science/ Deep Learning 的定義，算是Def 2的一個特例

現在很夯的TensorFlow的tensor就是這個意思

通常俗稱的 r-D tensor

正式名稱(不會誤會，就是比較冗長)是 tensor of rank r

舉例:

0-D tensor 就是 scalar

1-D tensor 就是 vector

2-D tensor 就是 matirx

要注意的是 dimention 這個字比較容易引起誤會，比如一個m by n 的matrix

我們會稱 row 是1st axis， column 是 2nd axis，

1st axis 的 dimention 是 m ， 2nd axis 的 dimention 是 n

然後這個 2-D tensor 的 shape 表示成一個 tuple (m,n)

故一個 tensor 的 rank 指的是 shape 的長度。

這部分詳細請參考[1]




Definition 2:

Let V, W be two vector spaces over a field F.

Let V⊙W be the tensor product of V and W.

Then a tensor is an element of V⊙W.



其實⊙應該要是一個X在O內，因為我打不出來暫時用這個代替Orz

考慮V = F^m, W = F^n, 則 V⊙W 就是矩陣空間 M(m,n)。

這個剛好在[2]的 Section 1.8 後的 Problem 1.

這解釋了Def 1. 只是 Def 2. 的一個特例。

Def 2裡的 tensor 是由 tensor product 定義的。

兩個 vector space 的 tensor product 依然是一個 vector space，且是唯一定義的

這部分的詳細說明請參考[2]

故，這邊定義的 tensor 也是一個 vector。

另外，這個定義的tensor是抽象的，通常應用到R^n空間的話，

會把 basis(基底)固定下來，這部分請參考[3]。





<Book Review>

接下來這部分是書評跟推薦

[1]是deep learning 的書，

不過 Chap 2 對 Deep Learning 裡面的 tensor 有比較多的說明

順帶一提[1]的作者是 Keras 資料庫的作者



[2]是純數學的書，很純粹的抽象代數書，非常深，非常抽象

我也讀的不多，不過 Chap 1 就蠻令人驚豔的。

缺點就是作者的符號是接續著他的上一本書，同作者的Linear Algebra

這本書其他的缺點可能是難讀，讀了花時間，讀完可能也不知道怎麼應用

建議當作參考就好



考慮到你是工程、物理背景，我是最推薦[3]。

這本書是我找書的時候，英文的書評推薦的。

評論的人是說這本書是為讀廣義相對論鋪路的，算是先備的數學基礎

這本我主要就看前面Chap 1, 2

相對於[2]沒有那麼嚴謹的感覺，不過講得很簡潔。

Chap 1 雖然都是Linear Algebra ， 但我覺得還是很值得看的

他在很短的篇幅就把本書要用的交代清楚，尤其是

Section 1.8 中 Covariance(共變) 和  Contravariance(反變)

這兩個很重要的名詞定義。很多 Linear Algebra 的書是不會講的，

包括為什麼 i j 這些 index 有些為啥要寫上標，有些要寫下標。





<Conclusion>

總之，你有 Linear Algebra 的基礎的話，

再接著看[3]的Chap 1, 2應該可以解決大部分的疑惑了吧





<Reference>

[1]

Chollet F.,

Deep Learning with Python, 2018

[2]

Greub W.H.,

Multilinear Algebra, 2ed, 1967

[3]

Renteln P.,

Manifolds, Tensors, and Forms: An Introduction for Mathematicians and

Physicists, 2013



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.39.97.182 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1572088746.A.004.html
推 DLHZ        :
※ 編輯: annboy (114.39.97.182 臺灣), 10/26/2019 21:56:51
推 physics11   : 感謝大大詳細的回覆，我自己有借［3］，只是讀的時
→ physics11   : 候感覺自己還缺一些背景知識才能get到作者的意思，
→ physics11   : 例如covector那邊我就很掙扎，coordinate和vector的
→ physics11   : 概念也是越是越讀越模糊，我會去把你提到的第一和第
→ physics11   : 二本書看一看，謝謝大大
如果對linear functional = covector 比較混亂的話，可以參考
Friedberg, Linear Algebra, 4ed
中的Section 2.6 DUAL SPACE。因為這本書很有名，所以GOOGLE馬上就有了。
這節對於finite dimentional dual space 的介紹個人覺得蠻足夠的了。
推 j0958322080 : dual space在ch6還有出現一次
謝謝J大補充
推 expiate     : 感謝分享
※ 編輯: annboy (42.75.202.236 臺灣), 10/31/2019 17:06:58