Re: [問題] 矩陣的處理...拜求各位大大

[celestialgod (天)]

※ 引述《s3714443 (metalheads)》之銘言：
: http://imgur.com/a/1s7Is
: 資料大概是長這樣
: 我想要處理的是：
: 像第八行就有兩個非0的數字
: 那我就是取最左的那排 26.57這個數字
: 倒數第二排有26.43跟26.57這兩個數字
: 那就是取最左邊的26.43
: 反正就是 特定欄之中 先看有沒有非0的數字，有就取最左的，沒有就取0
: 然後就是mutate出來新的一行
: 我想不到除了sapply之外的辦法了
: 但是我的資料有500多萬筆
: sapply可能會跑到電腦燒掉ＸＤ
: 感恩各位

# 資料生成
n <- 5e5 + 12
m <- 8
r <- 2
X <- matrix(0, n, m)

for (i in seq(1, n - 5, by = m-r))
  X[cbind(i:(i+7), m:1)] <- rnorm(1)
X[cbind((n-1):n, 8:7)] <- rnorm(1)
# 隨機抽10000列讓整列變成0
zeroLocIdx <- sample(n, 10000)
X[zeroLocIdx, ] <- 0

# 程式開始
st <- proc.time()
# 取出全部不等於0的位置，並以matrix矩陣表示 row跟column位置 (arr.ind)
tmp <- which(X != 0, arr.ind = TRUE)
# 對每一個row取最小的column index
out <- tapply(tmp[ ,2], tmp[ ,1], min)
# 組出位置矩陣
locMat <- cbind(row = as.integer(names(out)) , col = out)
# 處理非0部分
zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1])
if (length(zeroLocIdx2) > 0)
  locMat <- rbind(locMat, cbind(zeroLocIdx2, 1))
# 排序
locMat <- locMat[order(locMat[ , 1]), ]
# 取出值
out <- X[locMat]
proc.time() - st
# user  system elapsed
# 1.05    0.03    1.10

驗證結果：http://imgur.com/QMpBoGh

驗證0位置： all(zeroLocIdx2 == sort(zeroLocIdx)) # TRUE


搭配data.table的做法如下：

library(data.table)
# 轉成data.table
DT <- data.table(X)
# 假設有其他欄位
DT[ , `:=`(V9 = sample(1:5, nrow(DT), TRUE),
           V10 = sample(LETTERS, nrow(DT), TRUE))]

# 把上面的程式直接抓下來用
findValue <- function(X){
  tmp <- which(X != 0, arr.ind = TRUE)
  minColLoc <- tapply(tmp[ ,2], tmp[ ,1], min)
  locMat <- cbind(row = as.integer(names(minColLoc)) , col = minColLoc)
  zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1])
  if (length(zeroLocIdx2) > 0)
    locMat <- rbind(locMat, cbind(zeroLocIdx2, 1))
  locMat <- locMat[order(locMat[ , 1]), ]
  X[locMat]
}

st <- proc.time()
# 直接把需要的column抓出來利用do.call + cbind組成矩陣丟進去
DT[ , v := findValue(do.call(cbind, .SD)), .SDcols = V1:V8]
proc.time() - st
# user  system elapsed
# 1.04    0.04    1.09

# 驗證結果
head(DT, 40)

http://imgur.com/NxjaCaH

--
R資料整理套件系列文：
magrittr    #1LhSWhpH (R_Language) https://goo.gl/72l1m9
data.table  #1LhW7Tvj (R_Language) https://goo.gl/PZa6Ue
dplyr(上.下)   #1LhpJCfB,#1Lhw8b-s (R_Language) https://goo.gl/I5xX9b
tidyr       #1Liqls1R (R_Language) https://goo.gl/i7yzAz
pipeR       #1NXESRm5 (R_Language) https://goo.gl/zRUISx

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.224.109.231
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1503827007.A.D2A.html
推 s3714443: 感恩大大，想問大大為什麼處理這種大量資料有用到apply
→ s3714443: 還是可以這麼快呢！甘拜下風
我只用到tapply而已，tapply速度是還算快的XDD

推 s3714443: 所以tapply算apply家族中比較快的嗎？而且我覺得只用到
→ s3714443: min這種簡單函數函數來跑tapply也是關鍵
應該說group by somethin to do something比較難做vectorization

所以用tapply就變成是不得已去使用的情境

但是背後其實也是lapply而已


不過這裡是有替代方案，例如先把which出來的row,column排序之後

利用rle取出第一個出現該row的位置就好

簡單實現的程式如下：

X <- matrix(c(0,0,2,0,0,0,2,0,0,0,1,1,3,2,0), 5)
locMat <- which(X > 0, arr.ind = TRUE)
## 要的是第1,2,4,6列
#      row col
# [1,]   1   3
# [2,]   2   2
# [3,]   2   3
# [4,]   3   1
# [5,]   3   3
# [6,]   4   3

## 利用order把row根col排序
locMat <- locMat[order(locMat[,1], -locMat[,2]), ]
#      row col
# [1,]   1   3
# [2,]   2   3
# [3,]   2   2
# [4,]   3   3
# [5,]   3   1
# [6,]   4   3

locMat[cumsum(rle(locMat[,1])$lengths), ]
#      row col
# [1,]   1   3
# [2,]   2   2
# [3,]   3   1
# [4,]   4   3
※ 編輯: celestialgod (125.224.109.231), 08/27/2017 21:54:54
→ f496328mm: 如果用 apply 家族的話   開平行會不會好一點??
→ f496328mm: 像是 snow or parallel
→ f496328mm: 單就速度上來看
推 s3714443: 但是我500多萬筆50幾個column三分鐘就跑完了 超快ＸＤ
推 s3714443: 想請問c大 findValue(do.call(cbind, .SD)) 跟
→ s3714443: findValue( .SD) 差在哪？ 為什麼後者跑不出來？ 感恩
推 f496328mm: 如果你用apply家族，3分鐘跑完，那開平行會更快
推 f496328mm: 不過主要是c大寫的比較有效率
→ celestialgod: 開平行可能改善不多，中間還有傳輸問題，建議還是用
→ celestialgod: vectorization方法解決
→ celestialgod: .SD是list 要轉成矩陣才能跑findValue