[問題] 驗證的accuarcy完全沒變

[fragmentwing (片翼碎夢)]

在練習用VGG16做分類，我用這篇的程式碼下去改的https://reurl.cc/RvvG9x
VGG16的部分和他這篇不一樣不是用預設而是用寫的

問題在於，進行訓練的時候Testing acc一直都是0.500，而acc都在0.5附近上下跳動
也就是說好像根本沒有學習到

進行訓練的程式碼如下:
(基本與那篇相同，這裡只是將原文中的C改成model，並且把label的type改成tensor)
if __name__ == '__main__':
    for epoch in range(epochs):
        start_time = time.time()
        iter = 0
        correct_train, total_train = 0, 0
        correct_test, total_test = 0, 0
        train_loss_C = 0.0

        model.train() # 設定 train 或 eval
        print('epoch: ' + str(epoch + 1) + ' / ' + str(epochs))

        # ---------------------------
        # Training Stage
        # ---------------------------
        for i, (x, label) in enumerate(train_dataloader) :
            label = label.type(torch.LongTensor)
            x, label = x.to(device), label.to(device)
            optimizer_C.zero_grad()                         # 清空梯度
            train_output = model(x)
            train_loss = criterion(train_output, label)     # 計算 loss
            train_loss.backward()                           # 將 loss 反向傳播
            optimizer_C.step()                              # 更新權重

            # 計算訓練資料的準確度 (correct_train / total_train)
            _, predicted = torch.max(train_output.data, 1)
            total_train += label.size(0)
            correct_train += (predicted == label).sum()
            train_loss_C += train_loss.item()
            iter += 1

        print('Training epoch: %d / loss_C: %.3f | acc: %.3f' % \
              (epoch + 1, train_loss_C / iter, correct_train / total_train))

        # --------------------------
        # Testing Stage
        # --------------------------
        model.eval() # 設定 train 或 eval
        for i, (x, label) in enumerate(test_dataloader) :
            with torch.no_grad():
                label = label.type(torch.LongTensor)
                x, label = x.to(device), label.to(device)
                test_output = model(x)
                test_loss = criterion(test_output, label)   # 計算 loss

                # 計算測試資料的準確度 (correct_test / total_test)
                _, predicted = torch.max(test_output.data, 1)
                total_test += label.size(0)
                correct_test += (predicted == label).sum()

        print('Testing acc: %.3f' % (correct_test / total_test))

        train_acc.append(100 * (correct_train / total_train).cpu()) #
training accuracy
        test_acc.append(100 * (correct_test / total_test).cpu())    # testing
accuracy
        loss_epoch_C.append((train_loss_C / iter))            # loss

        end_time = time.time()
        print('Cost %.3f(secs)' % (end_time - start_time))

指定epochs只跑3次，得到以下結果:
epoch: 1 / 3
Training epoch: 1 / loss_C: 0.693 | acc: 0.514
Testing acc: 0.500
Cost 21.822(secs)
epoch: 2 / 3
Training epoch: 2 / loss_C: 0.693 | acc: 0.475
Testing acc: 0.500
Cost 23.002(secs)
epoch: 3 / 3
Training epoch: 3 / loss_C: 0.693 | acc: 0.476
Testing acc: 0.500
Cost 22.669(secs)

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.77.144.160 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1678336929.A.EBC.html
推 jigfopsda: 我猜是 train 壞了，調看看 lr 或變數印出來看看有沒有
→ jigfopsda:  bug
推 st1009: 沒有設定optimizer的程式嗎？
→ lycantrope: 複製貼上沒錯的話就是VGG寫錯了
→ fragmentwing: optimizer有寫只是放在更前面指定 lr調過幾次都不影
→ fragmentwing: 響這個問題
→ fragmentwing: 主要是擔心因為我看到有人說是pytorch使用gpu時造成
→ fragmentwing: 的bug（不過他的案例是不要用adam就行 但我這邊一開
→ fragmentwing: 始用的就是sgd）
→ truehero: train loss 完全沒變阿, 把第一個batch資料全印出來比對
→ fragmentwing: 嗚嗚想說換另一個人寫的vgg下來代，結果gpu記憶體
→ fragmentwing: 不足，請問3070真的還不夠vgg16用嗎?
→ wuyiulin: 你 batch_size 開多少？3070 只有 8GB當然容易爆開
推 st1009: 3070應該是可以train vgg16的吧，但這東西容易炸
→ st1009: 建議看一下板規2-2
推 st1009: 其實optimizer可能影響這問題，我寫過vgg16...
推 st1009: 剛剛卜一卦，卦象告訴我你的問題是"梯度消失"
→ fragmentwing: 感謝建議 我看看怎麼解
→ st1009: 其實如果還是不行，可以用pastebin把完整程式貼上來（？
推 kaltu: 梯度消失也很難消失得這麼徹底到好像完全沒做back propagat
→ kaltu: ion一樣
→ kaltu: 壞的這麼漂亮的狀況我投bug一票
→ st1009: 之前試過lr bs設錯會這樣，才想說讓他看2-2貼完整的程式
→ st1009: bug有機會，只是目前貼出來的部分看起來沒問題
→ fragmentwing: 後來終於搞懂整個pytorch主要架構後再回來挑戰一次
→ fragmentwing: 把整個程式重寫後發現loss根本沒在動
→ fragmentwing: 查了很久最後發現有人說VGG不能用ADAM（他還說這很
→ fragmentwing: 知名，那我怎麼找這麼久才找到QQ，而且我看有人做CI
→ fragmentwing: FAR10一樣用ADAM啊）
→ fragmentwing: 改用SGD之後表現就正常多了(雖然還是滿爛的，accura
→ fragmentwing: cy和precision差不多在80%)
→ fragmentwing: 還有SGD吃資源好像比較兇，用ADAM大概6.0G，用SGD吃
→ fragmentwing: 到7.9G差點到顯卡極限
→ fragmentwing: 等到我把存檔等等細節也搞定後再來看看怎麼用板上提
→ fragmentwing: 供的東西把整個模型貼上來
→ fragmentwing: 喔對了我這邊目前只分兩類