[討論] ML是不是有些東西不太教？

[rn940111 (自盡比較快)]

最近在自學前決定比較手上有的各種資源，

因為之前念過ISLR跟一部分的ESL，

這次在開始之前我已經有打算要看某兩本書了，

加上本來就不是做這個，所以也看看不同地方開研究所機器學習的課綱跟線上資源。

大部分的課程當然是多數工具都講過，

少部分課程會go through 一些推導，

但是為什麼幾乎沒觸及像是learnable，VC dimension等，

問念CS PhD的朋友也表示課程沒有提及，

這部分老師沒教/學生上課沒學，是有什麼原因可循嗎？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.58.99.239 (美國)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1606199320.A.74C.html
推 j0958322080: 林軒田的我記得有VC Dimension
推 jack1218: 林軒田的HTML有教
→ rn940111: 我就是在他的課上有看到，且我自己要讀的書也有，但是很
→ rn940111: 多課其實是沒有的，不管國內外都是，這件事我比較好奇有
→ rn940111: 什麼差別
→ hsnuyi: 因為不重要 現在的ML是工程導向 解工程問題就是逐個擊破
→ hsnuyi:  發現問題(e.g., 梯度消失)後再想解法就好
推 syc0924: 進階一點的理論ML課就會有啦 對一般使用者真的不重要
推 wtchen: learnable跟VC dimension需要一些數學才能理解
→ rn940111: 以hsunyi提到的概念，是否可以解讀成工程導向就像是直接
→ rn940111: 解決應用問題，但是不一定是從底部開始處理，可能ad hoc
→ rn940111: 的用了一些東西處理好也可以，除非遇到很系統性的問題？
推 kumitang: 我覺得是看從什麼角度來切入耶 我覺得數學系的比較會教
→ kumitang: 到這些（根據我自己的經驗
→ hsnuyi: 系統性問題也可以用工程導向解 解完後用大一統模型解釋就
→ hsnuyi: 是理論
推 VIATOR: VC dimension要花很多時間瞭解，不知道對應用也沒什麼差
→ ciman96: 因為不知道那些理論，ml使用者也能套工具
推 cplalexandta: 通常要理論ml課才會教那些 而且後來發現VC bound滿
→ cplalexandta: 多情況不是很tight
推 cplalexandta: 現在比較流行考慮data dependent的bound 像是pac-ba
→ cplalexandta: yes或是mutual information 可以從stability的概念
→ cplalexandta: 出發來理解
→ cplalexandta: 題外話 我覺得communication complexity對VC dimens
→ cplalexandta: ion的定義比較直觀 ml用的是組合學的概念反而在高維
→ cplalexandta: 的情況很難想像
→ cplalexandta: 不過老實說自學的話 尤其是為了工作 import torch可
→ cplalexandta: 能比學這些更有用啦...
推 agario: VC dimension 不見得能很好解釋 deep learning 的現象吧
→ agario: 很多時候反而 over-parametrization 比較好