推 clayclc:如果用肯德爾和諧係數呢? 10/11 22:20
→ tomin:好點子^^ 之前不知道有這東西 10/12 00:55
推 miller0323:你可以去找找multiple rater's kappa 但文獻好像不多 10/12 12:13
→ miller0323:好像有一個公式可以用..但是使用macro來寫的... 10/12 12:18
推 chien533:2005年就有人在SUGI30發表過相關的SAS macro了 10/13 03:26
大於2位評分者（也就是有3,4,5,6,7,8,9, ....以上的評分者），
皆對同一份資料評分的情況，
國內似乎常採用Holsti's method加強版
國內一些統計書上提供Holsti's method多人版的算法
不過我看英文的書或paper 只看到2人版的 好像只有國內用多人加強版
我個人是有點懷疑加強版的公式啦
我算過 加強版的平均相互同意值 就算只是0.3~0.4偏低的數值
只要人數多一些 (7~8人以上) 信度仍然能超過0.8
多人版有什麼跑法嗎？
我是有查到Krippendorff's alpha，不過要另外用巨集等公式下去代，很麻煩且複雜。
剛查到Cohen Kappa也有多人版 沒試過
http://cosmion.net/jeroen/software/kappa/
http://justus.randolph.name/kappa
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.122.30.140
※ 編輯: tomin 來自: 140.122.30.140 (10/11 21:08)