推 yoyololicon: 說的ㄅ錯 09/11 10:40
推 abgfeds: 推推 講到連我都懂了 不簡單 09/11 11:05
推 ChenXY: 感謝您精闢的解說 09/11 22:36
推 melonboya: 推推 09/14 11:21
※ 引述《ChenXY (不差不歪 一插就歪)》之銘言：
: 藉著這篇標題想請問CNN與FCNN的比較
: http://mnist-demo.herokuapp.com/
: 上方連結是分別用上述兩種網路分辨手寫數字0~9的試驗
: 網頁中提到CNN的準確率達99.2% 而FCNN只有91.8%
: 實際測試雖然辨識度都不到9成 但CNN確實比較準
: 兩者差別在CNN只有最後一層才fully connected
: 查了一些資訊提到當圖像尺寸較大時
: FCNN會有過多的完全連接浪費掉
: 而且快速累積的大量參數也會很快就導致過度配適
: 對於上述解釋其實我不太有感受
: 想請教有沒有比較直觀的說法
: 可以解釋為何CNN的辨識率會比FCNN還高呢？謝謝！
原原po問的應該是Fully Convolutional Neural Network
而不是Fully Connected Neural Network
通常前者會簡寫為FCN，後者會簡寫為FNN
FCN是拿來做pixel-wise classification用的，也就是segmentation
至於你說的問題，為何CNN在影像辨識會比FNN好
我給一點定性的說法：
人眼決定一個物體看起來像什麼是由物體的各個局部特徵決定
影像中的局部特徵如邊、角、形狀等等都是只由局部的像素構成
比如兩個相鄰的像素一個灰階值255一個是0，那你就知道中間很可能有個edge
而相隔很遠的兩個像素通常不會給你什麼關鍵的資訊
CNN這種sliding window的方式正好給Network一個機會去學習怎麼提取影像的局部特徵
傳統的影像處理上也常利用各種kernal function去對影像做Convolution
所以與FNN強迫把整張圖的像素的聯繫在一起比較起來，CNN是更自然的作法
至於過度配適指的應該是over-fitting吧？
這個比較一下FNN跟CNN的參數就知道了
MNIST是32*32=1024
假設第一層hidden-layer有100個neuron，這樣光第一層就有102400個參數了
而CNN就算來100個3*3的的kernel也才900個參數
自然就不容易over-fitting了
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.212.150
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1536596485.A.F63.html