[討論]representation learning是否在找對稱性?

[davidwales (cluster)]

 representation learning

 是一個我覺得非常有趣的主題

 我先用我理解的圖像講述一次,再請版友補充或是指證



 我的感覺, representation learning 是在找一個最適座標系統

 可以對應系統的對稱性

 套用 數學的例子,

 如果今天的系統有球對稱  那最好的座標系統當然就是球座標

 反之如果是柱對稱,那我當然去選一個柱座標會比較適合

 representation learning

 似乎在找研究系統的資料的結構的某種對稱性?

 顯然資料也是從真實的系統收集而來

 但這些真實系統往往不像幾何物體那樣容易用視覺去理解

 但這不阻礙其具有某種幾何甚至是拓樸(或其他可度量對稱性的參量)上的對稱性

 我的直覺是

 represention learning 是在找研究系統的一個最適座標系統

 也就是在這個最適合座標系統下

 數據的分布會是 1. 沒有維度災難 2.不會有過度擬和 3.會有最小的information loss

 如果能夠找到這樣的座標系統

 那後續的監督學習就會變得非常準確和有效率(因為已經選了一個最棒的座標系統了)

 這個概念很像 群論 reduible representation => irreducible representation一樣



 其實監督學習給我感覺很像在找系統的哈密頓量

 因為數學上哈密頓量依但知道後  就可以建構系統的運動方程式

 自然就能做未來狀態的各種預測


 但如果座標系統選得不好  那你建構出來的哈密頓量就會是一個拼裝車

 車子怎麼開都走不了太遠


 回到我想問的問題上

 有辦法從representation learning的結果

 知道研究系統可能的對稱性或是不變量為何嗎?

 因為板友可能不一定具備 數學物理背景知識

 但如果你覺得我講的東西和你之前碰過的理論似曾相似

 但可能是用CS的語言或是學科的名詞來描述的

 也不吝分享討論!

 感謝!!










--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 155.69.170.63 (新加坡)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1584953104.A.301.html
推 acctouhou: 怎麼感覺就是deep learning 在做的事，相較於傳統機器
→ acctouhou: 學習他比較不需要特徵工程（座標系轉換等）
→ acctouhou: 另外感覺你應該要走無監督學習 然後再嘗試跟現有結構
→ acctouhou: 做連結
→ davidwales: 樓上 我有看到一種說法  deeping learning就是represe
→ davidwales: ntation learning的一個分支
※ 編輯: davidwales (155.69.170.63 新加坡), 03/24/2020 15:22:13
推 sxy67230: 應該說現實資料的特徵有複雜的表示方式，我們人類透過
→ sxy67230: 數學很容易推導簡單的拓墣（球座標、二維座標）但是複
→ sxy67230: 雜化的拓墣就很難描述，這個時候就需要透過讓機器去學，
→ sxy67230: 而且我們希望找到一個符合解釋真實資料的函數，這種可
→ sxy67230: 能具備對稱性更好讓我們解釋真實世界。這個在往上就有點
→ sxy67230: 數學哲學的問題了。
推 howayi: 請問 representation learning 有沒有什麼論文或text book
→ howayi: 有給比較 formal 的定義或描述？