推 Dracarys: 搜尋The One Billion Row Challenge 07/13 14:03
OK,感謝
推 wulouise: 我覺得先改格式吧，如果多次對同一個檔案seek,不如拆開 07/13 17:06
→ wulouise: 你可以用C寫但是瓶頸可能是io bound 07/13 17:07
→ wulouise: 比方先對大檔案做index或分拆，下次少搜少寫趕快 07/13 17:08
推 wulouise: 你可以試試看光cp要多久 07/13 17:10
大概3G大小就要花上約1-2分鐘，用rsync更久.......
推 kdjf: 你match的regex先給出來看看，是不是卡在regex效能 07/13 20:35
→ kdjf: 除非你的程式是邏輯為主，不然你自己寫的regex實作不一定能 07/13 20:36
→ kdjf: 贏perl 07/13 20:37
這我清楚，不過現階段就是要等蠻久的，所以想說擠牙膏看看有沒有辦法擠出更多效能
我的寫法是這樣
$input = "X123.X\\d+.X456.XX.RR\\d+";
$_ = "X123.X11.X456.XX.RR0 = 0.01";
while(<fid_rd>){
$tmp = $_;
if($tmp =~ /$input/i){
$tmp =~ s/0\.01/1e15/;
}
}
由於0.01與1e15都是唯一的，所以我直接寫死在程式內
推 LPH66: 或者換個說法:「對特定字串做搜尋或修改」是什麼樣的改動? 07/13 22:59
→ LPH66: 會想用 regexp 應該是「特定字串」不僅僅是固定文字 07/13 23:00
→ LPH66: 那究竟是個什麼樣條件的字串要改成什麼樣子? 07/13 23:00
→ LPH66: 然後這個「特定字串」會不會根據需求有變動可能? 怎麼變動? 07/13 23:01
→ LPH66: 會說「兩個字串」應該是這樣的修改有兩條或以上的改動規則 07/13 23:03
→ LPH66: 這些規則的數量有多少? 規則型態有哪些? 07/13 23:03
→ LPH66: 這些都是在考慮要不要換做法時可能會需要評估的問題 07/13 23:04
推 gusion: 原字串和新字串長度一樣嗎？如果長度不一樣，那每次寫入就 07/14 00:08
→ gusion: 勢必要整個檔案重新寫入，寫入的資料量就不是單純修改後的 07/14 00:08
→ gusion: 字串大小而已 07/14 00:08
只更換其中一個特定關鍵字，上面有
推 lc85301: 這個高機率是 IO bound，不是 language 的問題 07/14 12:48
推 lc85301: 如果有需要更詳盡的解法，建議給一點範例測資 07/14 12:48
交叉測試過，確定是IO問題沒錯，不過公司硬體設備就是這樣，沒辦法變
所以我只能研究看看是不是能靠coding來補強
推 b0920075: 先用 profile tool 找熱點吧 07/14 16:48
推 steak5566: 前輩好壞 建議學perl 07/15 11:15
對啊！推坑完就跳槽去更好的公司了XD
推 johnjohnlin: 兩個字串翻倍代表你檔案讀兩次 07/15 11:35
對的喔！
推 easyman: 關鍵字 mmap , SIMD string lib ? 07/15 12:57
我來試試，謝謝
※ 編輯: jacky1989 (150.116.208.71 臺灣), 07/15/2024 23:56:46
推 alex70266: mmap或許可以，但要改內容的話可能就..嗯 07/16 12:34
→ james732: 記憶體夠大，不能把整個檔案塞到RAM處理嗎 07/16 14:10
推 kdjf: 你先用dd測一下序列存取同大小的檔案花多久吧？目前的寫法每 07/16 20:26
→ kdjf: 行會重新seek，可以看一下檔案系統快取設定有沒有快取到你的 07/16 20:26
→ kdjf: 寫入 07/16 20:26
→ kdjf: 也能試看看整個檔案丟到ramdisk / fs裡再改的話要多久 07/16 20:29
推 Killercat: 你可以先試試看簡單的用mmap取代試試看 看瓶頸在哪 08/08 17:03
→ Killercat: 你可以參考一下為何他可能會快一點，以及他如何profile 08/08 17:04
→ Killercat: 自己土炮IO效能是一定爛的 讓歷史悠久的工具幫忙吧 08/08 17:04
→ Killercat: Read only的use case應該可以直接套mmap不會有問題 08/08 17:05
→ Killercat: 不過1.5T記憶體喔 那直接開個tmpfs在mmap吧XD 08/08 17:07
推 kingofsdtw: 開檔分析資料結構？ 10/31 20:11
→ kingofsdtw: 那就是看你定位是讀到記憶體分享 10/31 20:12
→ kingofsdtw: 還是ramless定位 10/31 20:12