› 看板 DataScience 關於我們 聯絡資訊
作者ruthertw (督人無數就是我)
看板DataScience
標題[問題] 標記的圖片數據集,樣本個體之間差異性太小
時間Mon May 23 00:21:02 2022
由專業人士標記的數據集, 他們當初深怕樣本之間差異性太大, (不知為何?) 刻意挑選了類似的母樣本. 結果, 導致他們在母樣本上標記出的圖片數據集, 樣本個體之間差異性太小. 隨便拿一個模型學習, 不進行data augumentation, test accuracy都能輕鬆超過95% 進行data augumentation後, 有些模型可達到99% 指導教授也同意我的結論, 覺得這樣只是訓練出一個在單一條件下獨斷的分類器, 不能寫什麼研究論述. 想要求專業人士多找些不類似的母樣本, 請他們標記. 他們覺得好累好煩, 標記好花時間, 拼命拒絕, 反問應該有什麼方法能解決這個問題? 我原先提出Few-Shot,Zero-Shot,GAN類,...的模型概念, 建議先嘗試看看輸出結果會如何. 後來在報告後, 雖然這些專家沒提出什麼進一步的想法. 但我突然發現不對, test accuracy還是會回到原來的問題, 樣本個體之間差異性太小. 怎麼驗證都會有好的結果. 想請問有什麼方法可以解決這個本質上的問題? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.51.13 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1653236464.A.B9A.html
推 ctr1: 自己標記最實在 05/23 00:30
→ chang1248w: semi supervise learning，盧專家每個母體標注一些就 05/23 03:29
→ chang1248w: 好 05/23 03:29
→ chang1248w: 或者你可以試著建模母體間的差異，把多語言翻譯模型 05/23 03:31
→ chang1248w: 的概念斜槓過來(這只是在幹話 05/23 03:31
→ yoyololicon: 沒救 05/23 12:57
推 wuyiulin: 你是用什麼資料集？為什麼會有這個現象 05/23 21:06
→ chang1248w: 你弄不弄得到沒有標記的數據? 05/24 00:10
→ chang1248w: 去看一下semi supervise learning 怎麼和你的任務連 05/24 02:20
→ chang1248w: 結，現在大部分的領域都有辦法做了 05/24 02:20
→ chang1248w: 不過要找一下paper就是 05/24 02:21
→ chang1248w: 這一塊發展的用意就是克服標注昂貴的問題 05/24 02:23
→ chang1248w: 至於標注分佈狹隘得另外克服 05/24 02:26
推 ej0cl6: 也可以看看self-supervised pre-training 05/24 12:06
→ ej0cl6: 拿得到沒標記但是大量的data試試看semi-supervised或是sel 05/24 12:08
→ ej0cl6: f-supervised都有機會變好 05/24 12:08
推 ILYY: self-supervised learning和自己標 05/24 15:23
→ ILYY: 然後請專家再檢查標完的結果 他們可能比較願意 05/24 15:24
→ chang1248w: 感覺他的任務可能是分割類型的，那他的資料量應該沒 05/24 19:40
→ chang1248w: 辦法跑自監督 05/24 19:40
推 goldflower: 但你拿來judge的若都是那個test set你搞這堆有意義嗎 05/25 02:02
→ goldflower: 你至少要拿更符合母體的test set才能去評斷你做的事情 05/25 02:03
→ goldflower: 有沒有用 05/25 02:03
→ ruthertw: 指叫不准我自己標,就算模型標,那些專家也推說很忙,不看. 05/26 00:58
→ wuyiulin: 遇到這種神人教授，只能說你加油啊。 05/26 04:22
→ wuyiulin: 這樣出來的結果感覺就不能發，我這邊看過的論文都是用 05/26 04:24
→ wuyiulin: 嚴謹的資料集去跑的 05/26 04:24
推 wuyiulin: 這樣發出去很容易被 challenge 資料集在亂做吧www 05/26 04:28
→ ruthertw: 目前用比較大的dimension切samples,改成比較小Dimension 05/26 08:28
→ ruthertw: 來切,總數量可以達至少2倍以上.我不指望指叫的誤人子弟! 05/26 08:31
→ yoyololicon: 你現在這些操作都做在test data上？不行吧 05/26 08:53
→ yoyololicon: 不如拿沒標記的raw data跑些unsupervised 的tasks， 05/26 08:54
→ yoyololicon: 至少有東西可以秀 05/26 08:54
→ yoyololicon: 標記很麻煩的話也一定程度代表用unsupervised 比較 05/26 08:56
→ yoyololicon: 合適 05/26 08:56
→ ruthertw: 這幾天重新手動調整採樣比例分配,現階段不使用亂數分配. 05/26 08:56
→ ruthertw: 也按照比例分割母體裡面的samples,希望能有好的結果... 05/26 13:25
→ ruthertw: 用UNet訓練300個epochs,[email protected]=0.2,結果頗爛,怎麼辦? 05/31 20:01
→ ruthertw: 想請問微調和改進模型方法和方式,感謝~ 05/31 20:47
→ chang1248w: 找任務sota摟 06/04 20:21
→ ruthertw: 好,謝謝樓上大大的幫忙~ 06/05 12:20
※ 編輯: ruthertw (180.217.243.20 臺灣), 08/19/2022 15:51:10