Re: [請益] 有沒有一樣是研究text mining的同好呢

[PsMonkey (痞子軍團團長)]

※ 引述《cansas (cansas)》之銘言：
: 其實是這樣的 text mining 可以粗略簡化為三個流程
: 1.特值值截取: 因為電腦讀不懂語意　所以需要使用一些數學方法截取出相對重要的
:              詞，做為該文件的索引字，例如使用　”馬英九”　”慢跑”　這兩個字
:              做為馬英九慢跑這篇新聞的索引字。
: 2.建造分類器：分類器有很多種　可以選擇ＳＶＭ　ＫＮＮ等　都有不同特性
: 3.Pattern Matching: 將需要分類的新文件　與過去使用Training data 所建製的的
:                    分類器　做比對的動作　計算相似度　接著決定這分新文件屬於哪
:                    個類別
: 以上是三個連貫的流程　也就是說　其中一個環節有錯　就會直接對結果產生影響
: 另外越前端的環節做不好　產生的影響越大　
: 其實我現在的問題是　我有一個benchmark 有相似的類別　也有非常獨立的類別
: 相似的類別使用數學方法　計算權重　截取出來的字非常相似　經常重疊
: 這連帶的影響到後端分類器的建置　分類器無法明顯的區分出這兩個類別
: 就搞得頭好痛　那個benchmark 叫做　20newsgroup 有幾個很難區分的類別分別是
: "atheism" ,"talk.religion.misc","religion.christian" 這幾個類別截取出來的字
: 常常就是　"god","christian" ,"christ"　等　經常談論到神　
: 不知道這樣子有沒有說明白...不好意思　麻煩了

  有些東西我還是看不太懂，而且錯字一堆
  （例如 20newsgroup 是啥，裡頭的類別又是啥？）
  你應該是卡在第一階段，但是跟你後面的敘述又搭不起來
  大概是我程度太差... 請不用理我，下面也當作我自言自語

  如果選定一個特徵詞庫（或是所有的 term 都下海... [奸笑]）
  那責任算在那個詞庫上...
  （反正也不可能自己建立一個公認有權威性的詞庫）
  接下來找 TF-IDF 這類的計算方法，看看哪一個可以「迎合」效果
  （理論上 TF-IDF 就能夠降低「大多數文件都有某個詞」的影響了
    至少數學是這樣子告訴我們...... ）

  講難聽一點... 能作的也只有這幾件事情... （吧？）

  如果幾個八竿子打不著的文章都有相同的特徵詞
  就好像不同類型的電影裡頭罵的髒話都一樣
  要拿髒話當特徵詞.... 然後哀號沒辦法分類... 這......


  有錯還請各方高手指正
  我不是研究這個的，只是幫別人寫論文實作，被迫得了解一些...
  （而且還是作分群，不是分類 XDXD）


====
都說請勿來信了，那要求 talk 是怎樣...
這年頭的人都不管禮節，也不在乎別人的要求就是了...

--
       侃侃長論鮮窒礙          首頁：http://www.psmonkey.idv.tw
       眾目睽睽無心顫          Blog：http://ps-think.blogspot.com
       煢居少聊常人事   
       殺頭容易告白難          歡迎參觀 Java 版（@ptt.cc）精華區  \囧/

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 61.228.197.217
推 micklin:20個news group
推 cansas:PsMonkey 不好意思喔　我就是按到talk 不是故意的　打擾了
推 TroyLee:要怎麼按talk壓 @@
→ PsMonkey:hmmm... 我也不知道怎麼從文章列表 talk 人 XDXD
推 cansas:我是從休閒聊天區　但那時候我看太快　就沒想太多直接按了
→ PsMonkey:還是回歸主題吧... 你的問題到底是什麼  XD
→ cansas:我的問題是 有沒有什麼方法 可以從相似的資料中 擷取比較
→ cansas:重要的詞彙 因為我其實是個研究生 正在嘗試這方面的研究
→ PsMonkey:簡單（武斷）地說：無法。你自己都說是相似了...
→ PsMonkey:當然我也希望你能產生出一個 general case 的方法 XDXD
推 cansas:謝謝 正在研究中.......
→ nomuse:如果是要找出重要字彙 有嘗試過tf idf嗎?
→ nomuse:依照文章長短 文章間相似度 找適合的model及tf idf值
→ nomuse:方法確立之後 就要靠調參數了 = ="
→ nomuse:這類演算法很多 算是研究蠻完整的領域了 不彷找本書
→ nomuse:挑選最適合你文件特性的演算法
→ nomuse:哈 歡迎討論 我很閒 只是也不強就是了 不一定幫的到忙
推 cansas:我是使用Mutual Information 但效果似乎不顯著