[問題] dictionary 使用問題

[eplis (Eplis)]

這個問題比較像是如何設計。

系統會陸續收到很多筆資料(一天約兩千萬筆)，我想判斷這些資料是否有重複。
通常只需要和當天資料比較，也就是說今天資料不需要和兩天前的比。

原先我是使用 dictionary儲存，收到資料就 add 進 dictionary，
再使用 containskey 方法來做為重複判斷。

目前問題出在當系統運作幾天後，這個dictionary內的資料量會變得很大
而不需要被比較的資料仍舊存在(如上面所說，要判斷重複僅須和資料的+-1天相比)

我想到用 remove(dictionary.keys.first)方式，但是新進的資料就會被放在 first
一旦下一次 remove時就會刪到較新的資料

ex:
dic.add("1",1);
dic.add("2",2);
dic.add("3",3);
dic.remove(dic.keys.first);
dic.add("4",4);

印出結果..
4,4
2,2
3,3

下一次 remove 4,4就會被刪除了


我有想到用sortedDictionary，但是他的速度慢很多，一個是 O(log n)，一個是O(1)
想請問有沒有更好的方式或建議？




--
Mars-瑪爾斯群英傳，為一種多人的地下城文字網路遊戲(MUD)，
以西方魔法奇幻風格為背景，讓玩家扮演各種職業進行冒險、解謎。

IP：218.161.35.207  8888  討論板: PTT mud_mars
                                               Eplis @ Mars

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.163.17.139
→ m339606:兩千萬....先進資料庫如何?
→ m339606:資料量大的話在程式碼中處理會非常非常非常消耗資源
→ eplis:如果說都先進資料庫確實沒有這個問題，只是每一筆都進資料庫
→ eplis:去比對是否有重複，會不會製造大量I/O，反而比較慢？
→ eplis:這方面我比較沒經驗..
→ emn178:改用MemoryCache ?
→ m339606:進資料庫好處是可以分散資源(資料庫獨立)，後續處理容易
→ m339606:至於大量IO的問題要看實際運作，可以Cache後定時進資料庫
→ m339606:從文內判斷的話資料會無限制的不斷進來
→ m339606:1天兩千萬，10天呢?100天呢?到時候比對會是一個大災難
→ m339606:如果每天清空重新處理的話倒也還好，考慮+-1天比對的話...
推 YahooTaiwan:我覺得進資料庫會造成更大的災難欸 兩千萬筆...
推 YahooTaiwan:你有試過OrderedDictionary嗎
→ ssccg:+-1天比對，不能每天清掉-2天的資料嗎
很抱歉我補充一下，因為資料只會比對+-1天，所以舊的資料是可以清除的

我有想過一個方法，但是應該不是很好
在資料量進來少的時候，做foreach，判斷資料時間 < -1天，就remove

※ 編輯: eplis           來自: 124.218.24.252       (03/18 21:24)
推 g66932007:還沒看過table裡有兩千萬筆的資料.....
推 YahooTaiwan:請問你remove的條件只有"時間 > 一天"嗎
是的，有用的資料就是"當下時間"到"當下時間的前一天"，其他都已經沒用了
→ m339606:兩千萬筆資料進不進資料庫都會有大問題，好處是可以分散
→ m339606:不進資料庫就需要謹慎考慮資料安全性，例如出錯當機
→ m339606:存在記憶體給你一個方向就是三個Dictionary
→ m339606:A、B、C 每天固定時間從A複製到B、B複製到C，一天分配一個
→ m339606:讓一天的資料固定占用一個Dictionary，+-一天比對就解決了
→ m339606:天啊三個就6千萬...權衡一下要用哪種吧，混合也是種方法
※ 編輯: eplis           來自: 124.218.24.252       (03/19 00:22)