[問題] 多個模型比較問題

[kero961240 (kobe)]

想請問各位大大，目前小弟在工作上用了一個二分類模型
預測率來到 90%，但老闆不太滿意，問說假如要99％ 怎麼辦
小弟提出一個想法，目前有三個差不多的模型
分別為SVM 深度學習 隨機森林 都有接近 90% 的準確
我倒入一組新的樣本(假設未知標籤），讓三個去辨別，
選擇三個模型中最多人判別的結果，再把另一個當作判別錯誤
丟進去那個模型的 train data，重新訓練模型，請問這樣是可行的嗎
會造成什麼問題嗎？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.172.92.239
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1541165109.A.12F.html
→ Mchord: 感覺這種做法會產生很強的bias，搞不好的東西更加搞不好
我懂 Ｍ 大意思，容易錯更是錯的
我原本是想說三者皆有長處，擷取他們長處
※ 編輯: kero961240 (1.172.92.239), 11/02/2018 22:11:45
※ 編輯: kero961240 (1.172.92.239), 11/02/2018 22:12:26
※ 編輯: kero961240 (1.172.92.239), 11/02/2018 22:15:18
※ 編輯: kero961240 (1.172.92.239), 11/02/2018 22:15:38
推 jkkert: 有點ensemble的概念
推 dongogo: kaggle比賽常用ensemble多個模型結果 是可以improve一些
推 a78998042a: 假設你現在建模的資料集是A，未標記的是B。
→ a78998042a: 如果你的A、B相似性高，則訓練出來新樣本也就90%準度
→ a78998042a: 所以不會提升準確性；如果B的剛好適應模行，使得B資
→ a78998042a: 料的正確率100%，準確率會提高，但模型更容易overfitt
→ a78998042a: 如果A、B根本不像，你用A預測B都是錯的，很難期望會
→ a78998042a: 拉更高。
→ a78998042a: 只有B的資料跟A不像，但B擁有正確標籤，才有可能cover
→ a78998042a: 原本沒解釋到的部分。
→ a78998042a: 用原始資料調整增加樣本是挺常見的，不過目標通常是希
→ a78998042a: 望之後在預測時可以cover一些資料沒有，但可能出現的
→ a78998042a: 況，像是圖像翻轉。所以期望是模型更廣泛，提高是看運
→ a78998042a: 氣。至於你的方式讓模型更general都做不到，如果真的
→ a78998042a: 預測正確率提升，我反而會擔心。
→ a78998042a: 第一段指的都是你新增自建標籤資料後，新模型的變化。
→ wrt: 論文多讀一點可以發現其實蠻多人在用組合模型
→ wrt: 只是準確率提升但是速度很慢
→ yoyololicon: 要提升到99%只靠組合有點難ㄟ
→ yoyololicon: 而且又不知道你的三個Model是不是剛好互補
→ yoyololicon: 99%>>>>>不可跨越之壁>>>>>>90%
推 gbd37: 資料已經90%了 應該無法跨越到99%去
→ a78998042a: 不確定樓上有沒有看懂或是我誤解了，原po說他有一組沒
→ a78998042a: 標籤的資料，想用投票設定標籤，利用這組資料增加正確
→ a78998042a: 率。這個想法可不可行後，才會去探討有沒有90%跟99%的
→ a78998042a: 問題吧。
推 zxp9505007: 通常提升程度沒那麼高
→ ice80712: 半監督式學習？
推 yoyololicon: 喔我搞錯惹
→ yoyololicon: 應該可以試試但提升程度應該不大
→ Mchord: 如果你真想要增加偽標籤，用這三者產出soft-label可能還安
→ Mchord: 全一點
Ｍ大您好，不太懂您的意思，可否交流一下
※ 編輯: kero961240 (1.172.112.140), 11/03/2018 23:10:18
推 steveyeh987: 先嘗試做模型的ensemble，semi-supervised learning
→ steveyeh987: 不一定會比較好
推 yiefaung: training acc是多少?data是否imbalance或有noise?