Re: [請益] 有沒有一樣是研究text mining的同好呢

[cansas (cansas)]

※ 引述《cansas (cansas)》之銘言：
: 標題: [請益] 有沒有一樣是研究text mining的同好呢
: 時間: Mon Feb 16 00:14:46 2009
:
: 唉 是這樣的 小弟目前在研究文件分類
:
: 但是一直有瓶頸 就是相似的類別
:
: 不管怎麼橋 它們經過特徵值截取出來的字
:
: 實在是太相像了 不好的開始 導致了最後分類效果非常的差
:
: 正在苦惱 真的不知道該怎麼辦 想請問有沒有一樣是做文件分類的同好
:
: 可以一同討論
:
: --
: ※ 發信站: 批踢踢實業坊(ptt.cc)
: ◆ From: 125.230.69.106
: 推 PsMonkey:ㄜ... 我幫別人作過文件分類，算有一點基礎               02/16 00:44
: → PsMonkey:不過我看不太懂你的問題，請說清楚一點吧 XD（請勿來信）  02/16 00:45


其實是這樣的 text mining 可以粗略簡化為三個流程

1.特值擷取: 因為電腦讀不懂語意　所以需要使用一些數學方法擷取出相對重要的
             詞，做為該文件的索引字，例如使用　”馬英九”　”慢跑”　這兩個字
             做為馬英九慢跑這篇新聞的索引字。

2.建造分類器：分類器有很多種　可以選擇ＳＶＭ　ＫＮＮ等　都有不同特性

3.Pattern Matching: 將需要分類的新文件　與過去使用Training data 所建製的
                   分類器　做比對的動作　計算相似度　接著決定這分新文件屬於哪
                   個類別

以上是三個連貫的流程　也就是說　其中一個環節有錯　就會直接對結果產生影響

另外越前端的環節做不好　產生的影響越大　

其實我現在的問題是　我有一個benchmark 有相似的類別　也有非常獨立的類別

使用這個benchmark 來測試分類器的準度 使用一定比例進行Training 和 Testing

相似的類別使用數學方法　計算權重　擷取出來的字非常相似　經常重疊

這連帶的影響到後端分類器的建置　分類器無法明顯的區分出這兩個類別

就搞得頭好痛　那個benchmark 叫做　20newsgroup 有幾個很難區分的類別分別是

"atheism" ,"talk.religion.misc","religion.christian" 這幾個類別截取出來的字

常常就是　"god","christian" ,"christ"　等　經常談論到神　如果使用關連法則作為分

類器  就很容易產生 {god,christian}->talk.religion.misc 和 {god,christian}->

religion.christian 這種容易混淆的規則 因為分類器就是依照這些擷取出來字

搭配所使用的分類器 所產生的pattern 進行分類

不知道這樣子有沒有說明白...不好意思　麻煩了

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 125.230.69.106
推 Huangs:2 跟 3 不是同一件事嗎？
推 PsMonkey:2 跟 3 不同喔... 2 是決定方法而已...
→ micklin:建立hierarchy分類樹先把好分的分出來
→ micklin:再利用significance比較高的term下去算, 卡掉noise.
→ micklin:或者應該說, 為什麼你會覺得你用的演算法可以分得很好?
※ 編輯: cansas          來自: 125.230.69.106       (02/16 02:09)
※ 編輯: cansas          來自: 125.230.69.106       (02/16 02:14)
→ cansas:其實我正在嘗試一些新方法 很獨立的類別已經可以分的不錯
→ cansas:但往往整體的準度會被幾個容易搞混的類別拉下來 正在傷腦筋
→ cansas:micklin 先生您的方法 我會嘗試看看 感激不盡