20newsgroup的資料算是相當容易判別的資料了
用十年前的 Naive Bayesian Text Classifiation
(http://www.cs.cmu.edu/~knigam/papers/multinomial-aaaiws98.pdf )
當training 和 testing data set 各佔50%時，就可以達到平均85%以上的正確率
就算是你說的比較難分的 religious.misc 也有 60% 以上的正確率
如果你再用一些 feature selection 的技巧，平均正確率達到95%以上沒問題
Dr. McCallum 的 Bow (http://www.cs.cmu.edu/~mccallum/bow/ )
可以完全做到你要做的事
該網頁也是用20newsgroup做例子
連feature selection都幫你準備妥當了
: 其實是這樣的 text mining 可以粗略簡化為三個流程
: 1.特值擷取: 因為電腦讀不懂語意 所以需要使用一些數學方法擷取出相對重要的
: 詞，做為該文件的索引字，例如使用 ”馬英九” ”慢跑” 這兩個字
: 做為馬英九慢跑這篇新聞的索引字。
: 2.建造分類器：分類器有很多種 可以選擇ＳＶＭ ＫＮＮ等 都有不同特性
: 3.Pattern Matching: 將需要分類的新文件 與過去使用Training data 所建製的
: 分類器 做比對的動作 計算相似度 接著決定這分新文件屬於哪
: 個類別
: 以上是三個連貫的流程 也就是說 其中一個環節有錯 就會直接對結果產生影響
: 另外越前端的環節做不好 產生的影響越大
: 其實我現在的問題是 我有一個benchmark 有相似的類別 也有非常獨立的類別
: 使用這個benchmark 來測試分類器的準度 使用一定比例進行Training 和 Testing
: 相似的類別使用數學方法 計算權重 擷取出來的字非常相似 經常重疊
: 這連帶的影響到後端分類器的建置 分類器無法明顯的區分出這兩個類別
: 就搞得頭好痛 那個benchmark 叫做 20newsgroup 有幾個很難區分的類別分別是
: "atheism" ,"talk.religion.misc","religion.christian" 這幾個類別截取出來的字
: 常常就是 "god","christian" ,"christ" 等 經常談論到神 如果使用關連法則作為分
: 類器 就很容易產生 {god,christian}->talk.religion.misc 和 {god,christian}->
: religion.christian 這種容易混淆的規則 因為分類器就是依照這些擷取出來字
: 搭配所使用的分類器 所產生的pattern 進行分類
: 不知道這樣子有沒有說明白...不好意思 麻煩了
--
My blog: http://sandwichc-life.blogspot.com/
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 146.186.229.10