Re: [請益] 有沒有一樣是研究text mining的同好呢

[cansas (cansas)]

※ 引述《sandwichC (沒回應=掛站)》之銘言：
: 標題: Re: [請益] 有沒有一樣是研究text mining的同好呢
: 時間: Fri Feb 20 00:26:03 2009
:
: 20newsgroup的資料算是相當容易判別的資料了
: 用十年前的 Naive Bayesian Text Classifiation
: (http://www.cs.cmu.edu/~knigam/papers/multinomial-aaaiws98.pdf )
:
: 當training 和 testing data set 各佔50%時，就可以達到平均85%以上的正確率
: 就算是你說的比較難分的 religious.misc 也有 60% 以上的正確率
: 如果你再用一些 feature selection 的技巧，平均正確率達到95%以上沒問題
:
: Dr. McCallum 的 Bow (http://www.cs.cmu.edu/~mccallum/bow/ )
: 可以完全做到你要做的事
: 該網頁也是用20newsgroup做例子
: 連feature selection都幫你準備妥當了
:
:
: : 其實是這樣的 text mining 可以粗略簡化為三個流程
: : 1.特值擷取: 因為電腦讀不懂語意　所以需要使用一些數學方法擷取出相對重要的
: :              詞，做為該文件的索引字，例如使用　”馬英九”　”慢跑”　這兩個字
: :              做為馬英九慢跑這篇新聞的索引字。
: : 2.建造分類器：分類器有很多種　可以選擇ＳＶＭ　ＫＮＮ等　都有不同特性
: : 3.Pattern Matching: 將需要分類的新文件　與過去使用Training data 所建製的
: :                    分類器　做比對的動作　計算相似度　接著決定這分新文件屬於哪
: :                    個類別
: : 以上是三個連貫的流程　也就是說　其中一個環節有錯　就會直接對結果產生影響
: : 另外越前端的環節做不好　產生的影響越大　
: : 其實我現在的問題是　我有一個benchmark 有相似的類別　也有非常獨立的類別
: : 使用這個benchmark 來測試分類器的準度 使用一定比例進行Training 和 Testing
: : 相似的類別使用數學方法　計算權重　擷取出來的字非常相似　經常重疊
: : 這連帶的影響到後端分類器的建置　分類器無法明顯的區分出這兩個類別
: : 就搞得頭好痛　那個benchmark 叫做　20newsgroup 有幾個很難區分的類別分別是
: : "atheism" ,"talk.religion.misc","religion.christian" 這幾個類別截取出來的字
: : 常常就是　"god","christian" ,"christ"　等　經常談論到神　如果使用關連法則作為分
: : 類器  就很容易產生 {god,christian}->talk.religion.misc 和 {god,christian}->
: : religion.christian 這種容易混淆的規則 因為分類器就是依照這些擷取出來字
: : 搭配所使用的分類器 所產生的pattern 進行分類
: : 不知道這樣子有沒有說明白...不好意思　麻煩了
:
: --
: My blog: http://sandwichc-life.blogspot.com/
:
: --
: ※ 發信站: 批踢踢實業坊(ptt.cc)
: ◆ From: 146.186.229.10


您給我的資訊非常寶貴 我是在研究一些特徵值截取的方法

例如 Tf-idf ,Mutual Information 等 這些方法的共同點是

相似的類別截取出來的特徵值會很像  但因為我正在研究

一些新的特徵值截取方式  所以 BOW 這個工具裡面已經有的方法

可能幫助有限  不過您提的貝式分類器 倒是給了我不少靈感

因為我一直懷疑自己的研究 準度一直上升不起來的原因

可能是建製分類器的方法太陽春了 才會有這個問題

所以近幾天 稍微研究了一下貝式分類器的特色

非常感謝您的資訊


--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 125.230.76.227
推 PsMonkey:囧... 看來你的論文的研究基礎十分... 危險 Orz
→ cansas:因為沒使用一些比較著名的分類器 就是在研究嘛.....
推 willhunting:光靠tf-idf, chi-square等的確準度高不起來
→ willhunting:你該多去找找論文看看更複雜的feature selection
→ willhunting:建議你去找一個叫作bns的metric
→ willhunting:不管如何 只基於字頻的classifier幾乎無法做到很好