[徵求] 解釋深度學習原理易懂的文章

[ponponjerry (ponpon)]

以下是廢話跟前言：
小弟是某大大三數學系，OR期末報告做有關深度學習的題目，我使用Keras最簡單的全線
相
連4層感知器模型，其中用到reLU、sigmoid、binary-crossentropy，最後很順利的打完
程式碼了。
但是老師要求我們需要解釋所用到的演算法和深度學習的數學原理，因為能力、時間有限
，找過許多論文，也翻過deep learning那本原文書，卻還是不解其中奧妙。

以下重點：
故希望板上大大能提供我一些簡單易懂的paper或文章，感激不盡。

——————————————————————
板友提供的資訊：
1. Michael Nielsen http://neuralnetworksanddeeplearning.com/

2. 李宏毅老師
http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18

3. 吳尚鴻老師
http://www.cs.nthu.edu.tw/~shwu/

4. 兩本可參考原文書
(1)http://web.stanford.edu/~hastie/ElemStatLearn
(2)https://www.deeplearningbook.org/

5. 我自己找到頗簡單的文章
https://www.ycc.idv.tw/ml-course-techniques_6.html

6. 林軒田老師(coursera)
https://zh-tw.coursera.org/learn/ntumlone-mathematicalfoundations

感謝各位版友熱情的幫忙！！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.56.188
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1528807009.A.E12.html
※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 20:40:58
→ yoyololicon: 要不要找ML相關的書籍試試 只看類神經網路的部份就好
→ yoyololicon: deep learning那本的數學推導很工程師寫法
→ yoyololicon: 又一堆字 我也不是看很懂= =
謝謝建議，我再翻翻看ML的書看有沒有符合老師需求的
推 championship: 那就換簡單一點的有convex性質的模型，就可以有很多
→ championship: 數學性質可以講
不考慮換模型…我不想重打程式，而且組員應該會崩潰
推 proton: 去找台大李宏毅老師的上課教材來看
感恩，有稍微看過，「一天學會深度學習」前面有幾頁投影片蠻符合我想找的東西
※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 23:18:06
※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 23:20:07
→ Mchord: 演算法最重要就backpropagation，深度學習用universal fun
→ Mchord: ction approximator看待它就好，特殊結構如convolution或l
→ Mchord: stm等才比較容易有物理意義去說明
感恩，我之前大略看過backpropagation的演算法，看來得深入瞭解了！
→ f496328mm: 李宏毅老師  youtube 上有完整的影片
→ f496328mm: 還有林軒田   看完很有幫助
→ f496328mm: http://web.stanford.edu/~hastie/ElemStatLearn/
→ f496328mm: https://www.deeplearningbook.org/
→ f496328mm: 上面是 DL 的電子書  應該可以找到你要的章節
感謝提供！我再看看李宏毅老師相關的教學好了, DL那本我個人覺得幫助沒很大…
推 tsoahans: 李老師這學期的MLDS前面三章都講理論可以看看
→ tsoahans: http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18
感恩，目前覺得李宏毅老師的教材好像是最好懂的了！
※ 編輯: ponponjerry (140.119.122.6), 06/13/2018 13:03:59
推 sma1033: 推一個清大吳尚鴻，他有些教材講得比李宏毅清楚
→ sma1033: 不過數學比較多就是了http://www.cs.nthu.edu.tw/~shwu/
稍微看了一下，覺得level蠻高的，感覺比較適合以後研讀XD 不過還是感謝你的提供！
推 OnePiecePR: 李宏毅+1。sigmoid、crossentropy 都很輕鬆推出來
※ 編輯: ponponjerry (140.119.121.6), 06/13/2018 22:37:50
→ goldflower: 直接抄純python寫n-layer nn的code抄一次你就會了
→ goldflower: github上一狗票給你學
→ goldflower: 吳尚鴻之前我都直接看他的ipynb  他講得我覺得還好@@
我想你會錯意了…如果這位仁兄打完code，數學原理推導也會了，那也只能跪了
※ 編輯: ponponjerry (140.119.122.6), 06/14/2018 08:40:43
推 goldflower: 你在那call dense就以為是打完code當然不會啊XD
推 goldflower: 不過李宏毅的確這邊超詳細的 應該沒比他更簡單的了
了解！如果等我那樣打完code，大概就明年再來了XD
※ 編輯: ponponjerry (140.119.134.145), 06/14/2018 16:03:08
→ tsoahans: cs231的作業也蠻推薦的 寫完大概就能自己實做出DL框架
推 tsoahans: 吳尚鴻的數學講得比較深入 他連最佳化、PAC、NFL都有講
我個人是對這個領域蠻有興趣的，以後基本功強一點再好好研究他的教材XD，感謝你詳細
的介紹！
推 f496328mm: 樓上是 PCA 吧
※ 編輯: ponponjerry (140.119.134.145), 06/15/2018 00:23:22
→ ykjiang: 抱書回來啃吧
→ tsoahans: 我講的是PAC learning
→ tsoahans: 這是探討model的Generalization能力的一個理論，主要探
→ tsoahans: 討在data分布未知的情況下，倒底需要sample多少資料才能
→ tsoahans: 保證expected loss和empirical loss有很大的機率誤差在
→ tsoahans: 抹個範圍內。這個理論主要是在1980年代發展的，主要貢獻
→ tsoahans: 者Leslie Valiant因此理論獲得Turing Award
→ tsoahans: 後面的VC Theory也是在PAC的框架下繼續發展
→ tsoahans: PAC全名是probably approximately correct
推 Luluemiko: 長知識 推
推 njru04fm06: 有PAC learning喲
→ njru04fm06: 很偏數學，跟上面大大說得差不多與PCA是兩個不同的東
→ njru04fm06: 西
推 goldflower: PAC我記得田神的課有  但早就忘光...QQ"
※ 編輯: ponponjerry (219.70.183.56), 06/16/2018 01:03:47
推 booray: 李鴻毅老師的 youtube 看完發現新世界
推 enhuang: http://neuralnetworksanddeeplearning.com/
→ enhuang: 目前看到比較簡單清楚的教學，有python實作(從底層)
謝謝你的提供！！
※ 編輯: ponponjerry (140.119.134.145), 06/19/2018 23:16:11
※ 編輯: ponponjerry (140.119.134.145), 06/19/2018 23:20:48
推 h5904098: 想請教一下PAC 是田神的課裡面提到 hoeffding inequalit
→ h5904098: y  相關的東西嗎？
→ tsoahans: 是