Re: [問題] 資料整理

[celestialgod (攸藍)]

※ 引述《Udyr (Udyr)》之銘言：
: [問題類型]:
: 程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
: [軟體熟悉度]:
: 請把以下不需要的部份刪除
: 入門(寫過其他程式，只是對語法不熟悉)
: [問題敘述]:
: 資料形式為list
: $`875523`
: [1] "A" "B" "E" "C" "D" "G"
: $`881823`
: [1] "B" "D" "F" "E"
: 想將資料整理為以下格式
:            A    B    C    D    E   F    G
: 875523     1    1    1    1    1   0    1
: 881823     0    1    0    0    1   1    0


A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
all_levels = sort(unique(unlist(A_list)))
out = sapply(A_list, function(x) {
  tmp = rep(0, length(all_levels))
  tmp[match(x, all_levels)] = 1
  tmp
})
out = t(out)
colnames(out) = all_levels
out
##        A B C D E F G
## 875523 1 1 1 1 1 0 1
## 881823 0 1 0 1 1 1 0

## 如果A, B, C, ...不是只有一個，sapply內部要做更改
out = sapply(A_list, function(x) {
  x2 = tapply(rep(1,length(x)), x, sum)
  tmp = rep(0, length(all_levels))
  tmp[match(names(x2), all_levels)] = x2
  tmp
})


## method 2 (可以查看前面的資料整理套件介紹的系列文)
library(reshape2)
library(data.table)
library(plyr)
library(dplyr)
library(magrittr)
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
DT = llply(1:length(A_list), function(i){
  data.table(id = names(A_list)[i], level = A_list[[i]])
}) %>% bind_rows
DT %>% dcast(id ~ level)
##       id A B C D E F G
## 1 875523 1 1 1 1 1 0 1
## 2 881823 0 1 0 1 1 1 0

## use sparse matrix
library(Matrix)
A_list = list(LETTERS[c(1,2,5,3,4,7)], LETTERS[c(2,4,6,5)])
names(A_list) = c("875523", "881823")
all_levels = sort(unique(unlist(A_list)))
j_index = lapply(A_list, match, table = all_levels)
i_index = lapply(1:length(out), function(x) rep(x, length(out[[x]])))
i_index = as.integer(unlist(i_index)-1)
j_index = as.integer(unlist(j_index)-1)
out = new("dgTMatrix", i = i_index, j = j_index,
    x=rep(1,length(i_index)),
    Dim=c(length(A_list), length(all_levels)))

如果是all_levels無法配置足夠的記憶體的話

請使用迴圈用setdiff做人工的unique...

這裡沒考慮大於1的可能性，如果大於1需要比較複雜的運算

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.205.27.107
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1437965677.A.A6F.html
推 Udyr: 謝謝你的回答
→ Udyr: 但因為資料量太過龐大
→ Udyr: Error: cannot allocate vector of size 1.5 Gb
→ Udyr: 最終要做的是找association rule
→ Udyr: 需要把資料轉為transaction 形式
→ Udyr: 請問有沒有其他方法可以將原始資料轉為transaction 形式
我不確定你是處理過程，還是最終沒法儲存那麼大的結果

如果是處理過程，我就沒有其他方法做

如果是最終無法儲存那麼大的結果就善用sparse matrix吧

※ 編輯: celestialgod (123.205.27.107), 07/28/2015 09:47:43
→ Wush978: 如果要轉成transaction，也許你可以直接先一行一行寫到
→ Wush978: 檔案(依照read.transactions能吃的格式)
→ Wush978: 然後直接用read.transactions讀進來