看板 R_Language 關於我們 聯絡資訊
假設有一個 data frame 只有兩個變數 X Y, 其數值如下: X Y 1 2 1 3 2 4 2 6 3 2 3 7 . . . 那我希望能夠去除出現重複元素的 rows, 所以就會剩下: X Y 1 2 3 7 . . . 目前是用 for loop,但由於資料量較大導致會花上不少時間, 想請問有沒有其他方法可以更快解決?謝謝 -- 這是我老婆,如果你之前沒看過,現在再看一次 https://imgur.com/o8uCC4R -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.241.130.39 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1613480106.A.182.html
andrew43: unique(...) 02/16 21:05
xiangying: 嗯...我試過 unique, distinct 跟 duplicate,但這些滿 02/16 21:17
xiangying: 足不了需求,還是說有什麼參數是我沒注意到的? 02/16 21:17
wenbuneatble: 兩個欄分別distinct之後再bind_cols即可 02/16 21:34
locka: 你的需求有順序問題,意即row1的(1,2)如果選擇留下,row2的( 02/16 21:36
locka: 1,3)就需排除,這種情況下自己寫loop可能是最好的方法,向 02/16 21:36
locka: 量化寫法比較難控制先後順序 02/16 21:36
wenbuneatble: distinct(df, X) %>% bind_cols(distinct(df, Y)) 02/16 21:36
locka: 樓上如果兩個欄位各自distinct後數量不一樣,這樣還可以bin 02/16 21:39
locka: d嗎? 02/16 21:39
xiangying: 兩個各自distinct無法達到要的效果(以上面為例,X=2的 02/16 21:56
xiangying: rows不會被砍掉) 02/16 21:56
xiangying: 如同L大所說,想知道是不是只剩下loop這方法,不然就是 02/16 21:58
xiangying: 要寫一個底層的函數或是用foreach之類的來加速 02/16 21:58
xiangying: 補充說明一下,在考慮該row 是否要被移除,就是看該row 02/16 22:16
xiangying: 的每個值是否在前面的rows任意的變數中出現過 02/16 22:16
showfeb: 試試遞迴 https://ideone.com/h9p8Rn 02/16 22:19
cywhale: (2,4) or (2,6) 為什麼在預設答案中沒有一個留下? 02/16 22:30
xiangying: 謝謝S大的程式碼,又學了一課,是快上不少,雖然在實際 02/16 22:41
xiangying: 數據上還是需要數以分鐘的計算時間,但應該是目前較快 02/16 22:41
xiangying: 的方法 02/16 22:41
xiangying: C大,因為row 1的(1,2)導致後面的rows的X與Y不能出現 02/16 22:42
xiangying: 1或2 02/16 22:42
cywhale: so若先刪x,y共有重複,再刪x,y各自重複,再刪互有重複? 02/16 22:58
cywhale: https://ideone.com/NFdoyO 02/16 22:58
cywhale: 啊我沒有做一般性測試 最後列可能有bug..sorry..概念參考 02/16 23:03
xiangying: 不會,感謝您的想法,明天來測一下真實數據能多快,謝 02/16 23:14
xiangying: 謝 02/16 23:14
locka: 感謝17樓S大提供的做法,原來有apply(df,2,"%in%"…)這種寫 02/16 23:35
locka: 法 學習了~FUN的部分竟然能以字串的方式放pipe運算子,好神 02/16 23:35
locka: 奇 哈哈 02/16 23:35
locka: C大的做法的確有bug喔(一樣也是順序的問題),剛剛幫忙測過 02/16 23:38
locka: 了~遞迴寫法不好寫 S大厲害!! 02/16 23:38
evilove: 為什麼我完全看不懂原po的需求@@.. 02/17 13:40
Gjerry: 原po 希望得到一個 data.frame 裡面的每個 row 包含的x y 02/17 15:36
Gjerry: 都沒出現在該 row 之前的任一 row 中 02/17 15:36
Gjerry: 然後這些 row 都來自一個給定的 data.frame 02/17 15:37
andrew43: row2有y=3了為什麼預期x=3被留下來? 一樣還沒看懂... 02/17 15:57
Gjerry: 應該說從第一列開始,記錄一個set包含出現過的 x, y,如 02/17 16:12
Gjerry: 果接下來的一列裡面包含此set內的值,就丟棄這列;若無就 02/17 16:12
Gjerry: 保留這列,然後將這列x, y放入set中。重複這個步驟到最後 02/17 16:12
Gjerry: 一列,然後輸出保留的列。 02/17 16:12
Gjerry: https://ideone.com/J1XkGl 02/17 17:36
andrew43: for loop的話可能可以在找到對應時馬上排除剩餘所有可能 02/17 18:34
andrew43: 對應的列,可以減少大量的圈數。 02/17 18:35
andrew43: 這可讓待比對的資料快速地變少。 02/17 18:37
locka: A大的做法也不失為一個好方法,效率取決於不重複資料的稀疏 02/17 18:59
locka: 程度~ 02/17 18:59
andrew43: 嗯對,太稀疏不值得嘗試。 02/17 19:02
kokolotl: 借用s大的程式碼當範例 https://ideone.com/0roCLw 02/19 21:20
kokolotl: 數字多的時候快一些,提供參考 02/19 21:21