看板 DataScience 關於我們 聯絡資訊
最近替人研究怎麼做文章分類 手中拿到數據有約100篇文章 分了十幾個類別 不知是數據太少了 參考某篇用nltk+svm的範例 分對機率非常之低 幾乎是亂猜 用sklearn給的news數據測試倒是表現還蠻好的 目前在想有什麼對策 請對方給更多數據嗎 好像短期內也沒辦法 有想說找找few shot learning 方法 不過沒有很清晰的方向 對方有提到或者不分類直接從文章抽取tag當類別 目前有想到用專有名詞抽取的算法去做做看 不知道可不可行 還請高手指點 ----- Sent from JPTT on my iPhone -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 126.182.12.56 (日本) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1582040756.A.6CA.html ※ 編輯: del680202 (126.182.12.56 日本), 02/18/2020 23:51:06 ※ 編輯: del680202 (126.182.12.56 日本), 02/18/2020 23:53:22
itis0423: BERT 02/19 21:10
linfeelin: 可以用PAN dataset 02/20 00:52
kokolotl: bert可以直接拿Bert as service來用 02/20 10:01
sxy67230: few shot learning 其實就是把原本分類的問題變成一個 02/20 16:01
sxy67230: 比較的問題,自然就會增加很多可訓練資料。 02/20 16:01
sxy67230: 不過我建議是你可以先對他提供的文章做初步的分析,看 02/20 16:05
sxy67230: 看feature夠不夠明確,是不是有辦法透過關鍵字增加featu 02/20 16:05
sxy67230: re 來分類。直接拿bert做fine tune 也是可以。 02/20 16:05
del680202: 感謝各位的意見 我去找找bert相關的資料來切入 02/20 21:39
sxy67230: 其實如果你是用python 我推薦你一個叫snorkel的套件, 02/21 18:40
sxy67230: 基本上就是一個weak supervised learning 的模塊,可以 02/21 18:40
sxy67230: 用一些規則方式幫你做文字分析,在用多種規則聯合推理 02/21 18:40
sxy67230: 資料分布,在訓練模型。另外,他還有資料增生的範例, 02/21 18:40
sxy67230: 對你一定有幫助 02/21 18:40
erre: 掰陳用svr只需要一間房子用電量就可以預測了! 02/22 08:25
erre: 試試看call svm 02/22 08:56
ypsc: 直接用文章內容分效果很差 要先parse出一些可以作為參考特徵 02/23 20:24
ypsc: 再去作分類器 效果比較好 02/23 20:24
ctr1: erre ㄋㄊㄇ亂回文回爽沒 02/24 08:29
goldflower: 該永桶了ㄅ= = 02/26 08:43
st1009: 有人要蒐集證據向板主檢舉嗎(? 02/26 11:49
roccqqck: 他到處多恨交大andrew chen 02/26 13:04
roccqqck: 到底 02/26 13:05
goldflower: 居然有人知道他在說誰XDDDD 02/26 22:58
luli0034: SVM對小量資料比較不友善 support vectors不夠具代表性 05/05 13:09
luli0034: 的話分類準確度不好 少量資料可以靠pretrained 在大量 05/05 13:09
luli0034: 文本上的shallow embedding去些微提升 或者做些基本的da 05/05 13:09
luli0034: ta augmentation (提升有限) 05/05 13:09
luli0034: 是說資料的語言是? 05/05 13:10
popo14777: 可用SVDD 支援向量資料描述 05/17 21:43