看板 DataScience 關於我們 聯絡資訊
最近在做專題AI CNN那方面, 目前已知些最基本的架構, 舉例:Average pooling Max pooling ReLU Fully Connect(FC) Normalization 當然不只這些,今天看AlexNet的Paper 突然想到設計問題.. Why第一層可能是... (5層) 埢積 -> pooling -> ReLU -> normal.. -> FC Why第二層可能是... (3層) 埢積 -> ReLU -> FC 以此類推 (4層) . . . 問題1: 為什麼要"這樣"設計? (有些複雜有些稀疏) 問題2: 這是機密嗎? 因為Paper都不會說明,只有結果。 以上 謝謝各位版友! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.246.41.78 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1600270832.A.BB2.html ※ 編輯: arfa0711 (111.246.41.78 臺灣), 09/16/2020 23:42:40
acctouhou: 你如果知道每一個操作在幹嘛就不會問這個問題勒 09/17 01:36
可能你誤會了!我的問題比較偏向lin大大說的那樣
RumiManiac: AlexNet 參考 LeNet-5,其他打不贏就加入 09/17 02:10
RumiManiac: 你可以看看 LeNet-5 的 paper 09/17 02:11
了解,因為我也有看網路上GoogleNet的講解(不是paper) 裡面當然很多結構架構都是他們設計好了, 但 好像很少特別說明 每一層詳細的構造。
linfeelin: 就是一直試,可以先考慮輸入的維度或是你想要解決什麼 09/17 10:23
linfeelin: 樣的問題,才來建構每一層 09/17 10:23
所以其實他們也是一直try最後才得出paper上面看到的 感謝 ※ 編輯: arfa0711 (118.163.199.180 臺灣), 09/17/2020 11:08:52
wang19980531: 這是DL 不是AI 09/17 13:27
ddavid: DL也是AI會用到的技術,並沒有太大問題 09/17 15:32
ddavid: 然後其實是先理解每一種層能做到什麼效果,理解自己要解的 09/17 15:33
ddavid: 問題應該需要哪些效果,先有個預想以後才去猜想可以怎麼建 09/17 15:33
ddavid: 構,提出一些可能的模型,初步測試後發現結果在什麼方面有 09/17 15:34
ddavid: 不足跟缺失,才去修改或重建 09/17 15:35
ddavid: 不是一開始就try try try,問題隨便大一點try一次可能就一 09/17 15:35
ddavid: 星期以上,不可能沒有任何預想就從try開始的 09/17 15:36
ddavid: 至於Paper沒詳細說明,有時是篇幅不夠,有時是有些組合本 09/17 15:37
ddavid: 來就已經為人熟知 09/17 15:37
ddavid: 去看以前的相關reference就解釋過了,所以他就只側重在自 09/17 15:40
ddavid: 己有進一步改進的地方 09/17 15:40
ddavid: 像是為何Conv->ReLU->Conv->ReLU->Pooling而不是 09/17 15:41
ddavid: Conv->ReLU->Pooling循環兩次之類的,有些其實自己慢慢推 09/17 15:42
ddavid: 敲每層的效果與副作用也可以得到概念 09/17 15:43
arfa0711: 謝謝D大 很詳細! 09/18 09:52
chang1248w: 我怎麼記得看到比較多conv->bn->relu.. 09/18 21:53
world4jason: 某樓真的在講幹話 呵呵 09/19 16:23
world4jason: 通常是一個好的套路 大家就會沿用 而好的套路就是try 09/19 16:23
world4jason: 出來的 沒有為什麼 09/19 16:23
world4jason: 如果你真的想問 那應該是try的邏輯 這要去看paper 09/19 16:26
world4jason: 發paper通常兩種 一種是我假設某個東西很好 我實作 09/19 16:26
world4jason: 驗證 發現很好 那我發paper跟大家說 另一個就是我東 09/19 16:26
world4jason: 改改西改改 發現很好 找個解釋or強行給個解釋 09/19 16:26
email81227: shorturl.at/bxzK3 這篇文獻不知道能不能幫忙? 09/20 18:03
rain45: 原po應該不是想問每個conv block內部設計,畢竟他已經知道 09/26 10:16
rain45: relu 、池化等概念,而是問說為何這邊連續接5個conv block 09/26 10:16
rain45: ,後面連續接3個conv block,這個「數量」是怎麼設計的, 09/26 10:16
rain45: 不知道理解有沒有誤 09/26 10:16
erre: 就是調參數的概念 10/03 14:49
kevin8197: 覺得調參+1 10/07 13:33
wang19980531: Try and error 10/16 00:50
howayi: 看一下 CS231n 介紹神經網路的歷史,大概就能知道架構怎麼 10/28 07:33
howayi: 演變到現在的邏輯 https://youtu.be/dJYGatp4SvA 10/28 07:34