[問題] 全捲積網路(FCN) 在YOLOV2上訓練的問題

[NMOSFET (NMOSFET)]

問題類別: CNN


問題內容:

請問各位大大

YOLOV2 的架構因為沒有全連接層(都用捲積層取代)，

所以在訓練的時候，可以輸入任意大小的圖片做訓練

但輸入任意大小的圖片，經過整個模型，

算到最後的 feature map 大小不是會不一樣嗎?

而 YOLOV2 最後的feature map 大小是 13*13*125(125是5個bbox的資訊)

再拿13*13*125的 feature map 去算 detection 的 loss，

那這樣怎麼會對得起來?

還是說會根據最後一層的 feature map 大小去調整對應的 loss ?

小弟一直卡在這邊，

能否請各位大大幫忙解惑一下，

感恩!

論文名稱:YOLO9000: Better, Faster, Stronger

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 163.18.104.168
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1523859524.A.530.html
→ jackwang01: 記得沒錯的話他有做resize的動作
resize 是指 loss 架構嗎?
※ 編輯: NMOSFET (163.18.104.168), 04/16/2018 15:05:41
※ 編輯: NMOSFET (163.18.104.168), 04/16/2018 15:59:53
※ 編輯: NMOSFET (163.18.104.168), 04/16/2018 16:05:15
推 hl4: 進到model之前可能先resize過了
推 OnePiecePR: 應該就是ㄧ二樓的講法。前端進入麻豆前 resize, 作出1
→ OnePiecePR: 3*13的 grids 才能 meet model 的處理。
推 f496328mm: resize 是指縮放圖片的大小  例如 640*320 - > 13*13
那請問一下，同樣的圖片，不同解析度，一張是1600*1600，另一張800*800,兩張圖片同
樣resize變成416*416,解析度的品質  一樣嗎
※ 編輯: NMOSFET (1.175.73.141), 04/16/2018 23:51:42
推 KyotoAnime: 呃 前者也許比較好一點點吧 但這幾乎不會是個issue
推 jameszhan: 解析度變怎樣沒有考慮的必要 因為不resize連餵都不能
→ jameszhan: 餵
推 jameszhan: 另外能輸入任意大小是因為有resize 跟有沒有全連接層無
→ jameszhan: 關吧
推 jameszhan: 建議再看一下神經網路裡矩陣運算的方式
Yolov2是每10個epoch更改(resize)輸入圖片的維度，但CNN detection 架構是不變的，
我想問的是，最後一個feature map 大小不一樣，是怎麼算LOSS
推 KyotoAnime: 上面幾樓好像怪怪的 yolo確實有resize 但yolov2 可沒
→ KyotoAnime: 有
→ KyotoAnime: 不 應該說yolov2的resize是故意讓他變得不一樣大小
→ KyotoAnime: Fc layer本來就會限制input dimension  conv layer就
→ KyotoAnime: 不受限
→ KyotoAnime: 至於原po說的loss function需要調整這件事
推 KyotoAnime: 我是沒仔細看啦 不過loss function通常是sigma 你的
→ KyotoAnime: 圖像變了 sigma項數就改變了而已 在實作上甚至不用改c
→ KyotoAnime: ode 想想numpy.sum()不管有幾個element寫法也都是一
→ KyotoAnime: 樣
謝謝k大，我在想說最後一個feature map 會不會 reshape成13*13 *125 還是 不 reshap
e 直接 ？*？*125 丟進loss 去算
推 EGsux: 如果800*800會變成416*416 那1600*800 會變成832*416 13*13
→ EGsux:  變26*13 這樣會不會比較好懂
所以意思是說 一張圖片分成26*13 grid  還是 兩組13*13 grid 去算Loss
推 leoloveivy: 原po是說multiscale trainging 嗎
→ leoloveivy: 反正label都是0-1之間
→ leoloveivy: 所以其實還會有一個label 轉換
→ leoloveivy: 看你feature map w h多少做轉換
→ leoloveivy: 那這樣就可以算loss
推 leoloveivy: detection 跟classfication不太一樣
→ leoloveivy: resize再進去一定有差
沒錯就是 multiscale trainging ，轉換的意思是轉成13*13嗎？
※ 編輯: NMOSFET (218.174.81.46), 04/17/2018 11:26:19
※ 編輯: NMOSFET (218.174.81.46), 04/17/2018 12:41:20
※ 編輯: NMOSFET (218.174.81.46), 04/17/2018 12:52:40
推 leoloveivy: 應該是轉換你feature map的大小吧
推 KyotoAnime: 第一改變大小不叫reshape 是resize reshape是面積不
→ KyotoAnime: 變 形狀改變
推 KyotoAnime: 第二 他回歸出的東西就是bb 應該不需要resize 如果res
→ KyotoAnime: ize要怎摸做 bilinear? 但裡面除了bb的座標 還有信心
→ KyotoAnime:  機率 bilinear會很怪 沒有resize的意義
→ leoloveivy: 還是我打成這樣會造成誤會
→ leoloveivy: 應該說你predict出來的都不要動
→ leoloveivy: 然後label因為已經normalize
→ leoloveivy: 所以乘上你predict W H之後
→ leoloveivy: 就算BEST OVERLAPPING在哪個ANCHOR BOX之後在做成GT
→ leoloveivy: 會像這樣 predict =p
→ leoloveivy: gt=[batch,p_w ,p_h,bestanchor,:]=xywh
→ leoloveivy: wh該取log就取
→ leoloveivy: xy改以grid為中心就做
→ leoloveivy: 我的理解是這樣有錯再指正感謝
推 goldflower: multiscale training的部分出來的feature map就不是
→ goldflower: 13x13囉  他每次採取不同scale時都會對應不同size
→ goldflower: 從320 - 608分別對應10 - 19  在論文裡有這塊
推 goldflower: 還是我搞錯你要問的意思XD
推 goldflower: 喔喔我看到你回文了  請忽略我上述
推 goldflower: 他的loss的確是照grid size去調整的
→ goldflower: 所以我是認為他前面的darknet19在multi-scale
→ goldflower: training那邊有點像multi-task learning中的shared
→ goldflower: layer  但是後面分別對應不同的loss計算方式
謝謝g大，我想知道的就是這個，我直接去github看別人的程式碼，input size
320 ~ 608(32的倍數) 對應到算loss 的 grid size 也會跟著改變 10 ~ 19 這樣
真的很感謝上面各位大大為小弟解惑，感謝你們!
※ 編輯: NMOSFET (1.173.30.241), 04/17/2018 22:11:17
※ 編輯: NMOSFET (1.173.30.241), 04/17/2018 22:15:17
→ goldflower: 讚讚  想問你看哪個github有所有步驟都實作出來的啊XD
→ NMOSFET: https://github.com/leetenki/YOLOv2
→ NMOSFET: g大抱歉，現在才看到妳的留言
→ goldflower: 這好像蠻精美的XD  感謝分享