Re: [問題] merge 3 tables with summing common var

[celestialgod (天)]

※ 引述《celestialgod (天)》之銘言：
: ※ 引述《celestialgod (天)》之銘言：
: : 簡短但是慢很多，提供參考XD
: : 你的方法在我i5第一代電腦上測試，大概是0.36秒，下面最快方法大概是2.9秒
: : 我測了一下，主要是在group_by做和的時候比較慢
: : library(plyr)
: : library(dplyr)
: : library(tidyr)
: : library(data.table)
: : # rbind.fill是參考參考網址的
: 原本這裡會出問題，稍微修改之後就正常了，可是速度會驟降
: t = proc.time()
: wide_table = rbind.fill(list(x, y, z)) %>% tbl_dt(FALSE)
: # 這行是錯的，會出現NA+NA+NA = 0的情況
: # sum_without_na = function(x) sum(x, na.rm = TRUE)
: sum_without_na = function(x) ifelse(all(is.na(x)), NA_integer_,
:   sum(x, na.rm = TRUE))
: out = wide_table %>% group_by(SP) %>% summarise_each(funs(sum_without_na))
: proc.time() - t # 8.66 seconds
: : # 參考下面網址的
: : t = proc.time()
: : wide_table = rbind.fill(list(x, y, z)) %>% tbl_dt(FALSE)
: : out2 = ddply(wide_table, .(SP), function(x) colSums(x, na.rm = TRUE))
: : proc.time() - t # 50 seconds
: : # 利用tidyr做的，感覺很費工~"~
: : t = proc.time()
: : out3 = list(x, y, z) %>% llply(function(x){
: :   gather(x, variable, values, -SP) %>%
: :     mutate(variable = as.character(variable))
: :   }) %>% bind_rows %>% group_by(SP, variable) %>%
: :   summarise(values = sum(values)) %>%
: :   spread(variable, values)
: : proc.time() - t # 3.9 seconds
: : 參考網址：http://tinyurl.com/o7gbeej

上一篇的內容：

我把cy大的code改成dplyr

然後另外多一寫一個Rcpp 去做aggregate的動作 (完整程式後面有連結)

把要加總的data.frame個別抓出來加總

原本想說可以很精簡的方式完成

最後發現我寫得很複雜(嘆氣

程式：http://pastebin.com/Q7XEpTnb


本篇：

我終於毫無懸念的找到比較快又不會太複雜的方法....

感謝Edster大大提供了rowSums的想法，進而有了這一個方法

因為這個用了purrr，所以就另開了一篇文章...

增加30％的速度左右，因為是一次merge，而非兩兩merge

再補一個測試數據：

在多一個data.table w

w <- matrix(sample(2e6), 1e5) %>% data.table() %>%
     setnames(1:20,sample(LETTERS,20)) %>% .[,SP:=seq_len(nrow(.))]

cy大的方法
   user  system elapsed
   0.76    0.09    0.87

上一篇Rpp的方法
   user  system elapsed
   0.98    0.05    1.03

rbind.fill with group_by, summarise
   user  system elapsed
   9.06    0.04    9.22

tidyr
    user  system elapsed
    2.16    0.27    2.48

本篇
    user  system elapsed
    0.31    0.05    0.36

果然一起做之後，比較不會隨著兩兩merge次數變多，而效率drop down過快

如同do.call 跟 Reduce......

好讀版：http://pastebin.com/VZisufKC


10/14 00:45新增

加一個Rcpp版本: http://pastebin.com/ZhhiV6VS
    user  system elapsed
    1.46    0.11    1.57

速度瓶頸在處理兩兩相加，跳過NA的地方
(我如果直接用armadillo的vector相加只要0.13秒)

這裡只要處理好，cpp應該可以加速不少

10/14 01:23新增

應該是最後一個版本了XDD

最後用RcppArmadillo實現NA相加

    user  system elapsed
    0.04    0.03    0.12

程式：http://pastebin.com/piu2Qxcd

我覺得這已經很快很快了XDD

沒研究下去的必要了~~~

10/14 02:20

以上結果都是在我i5-760的電腦上執行的結果

最後給整合版本的程式: http://pastebin.com/HthDsLnz

最後程式都以整合版本為主

整合版本程式是在i7-3770K@4.4GHz電腦上跑的結果

i7電腦的session information 如下：

Revolution R Open 3.2.2
Default CRAN mirror snapshot taken on 2015-08-27
The enhanced R distribution from Revolution Analytics
Visit mran.revolutionanalytics.com/open for information
about additional features.

Multithreaded BLAS/LAPACK libraries detected. Using 4 cores for math
algorithms.

R version 3.2.2 (2015-08-14)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1

locale:
[1] LC_COLLATE=Chinese (Traditional)_Taiwan.950
[2] LC_CTYPE=Chinese (Traditional)_Taiwan.950
[3] LC_MONETARY=Chinese (Traditional)_Taiwan.950
[4] LC_NUMERIC=C
[5] LC_TIME=Chinese (Traditional)_Taiwan.950

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

other attached packages:
[1] RcppArmadillo_0.5.400.2.0 Rcpp_0.12.0
[3] magrittr_1.5              purrr_0.1.0
[5] tidyr_0.2.0               dplyr_0.4.2
[7] plyr_1.8.3                data.table_1.9.4
[9] RevoUtilsMath_3.2.2

loaded via a namespace (and not attached):
 [1] assertthat_0.1  chron_2.3-47    R6_2.1.1        DBI_0.3.1
 [5] stringi_0.5-5   lazyeval_0.1.10 reshape2_1.4.1  tools_3.2.2
 [9] stringr_1.0.0   parallel_3.2.2

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.109.73.190
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1444724507.A.2BF.html
→ cywhale: 厲害，這麼多新名詞 哈哈 真是很好的練習範本..非常感謝
→ celestialgod: purrr 我剛好最近在練... 這也是我的練習範本，哈
→ celestialgod: 哈哈
推 cywhale: 我下班前在公司還跑不出來，套件可能有版本問題，家中的
→ cywhale: 就可以，另外兩台電腦跑Rcpp的microbenchmark差不多，但
→ cywhale: dplyr版本則不同電腦差很多，purrr很快但在公司跑不出來~
→ celestialgod: purrr的版本在三個df，不會差太多
→ celestialgod: 三個以上，兩兩merge變多，速度差距就出來了
→ celestialgod: 我記得purrr只有0.1.0版本，你可能要確定r版本，3.1
→ celestialgod: 跟3
→ celestialgod: 2之間有些程式會有問題
※ 編輯: celestialgod (180.218.154.163), 10/14/2015 02:27:09
推 cywhale: 最好版本好威 armadillo學習範本get..問一問題收益良多！
推 cywhale: 最後(..打錯)...這些版本收藏了！感謝c大費心整理！