[問題] 如何改善大文件的讀寫效能

[jacky1989]

餓死抬頭

我在工作上撰寫一些程式給同仁使用
主要是以perl做文件內容的更改或比較
一開始都還沒問題，但隨著檔案愈來愈大，效能就是一個問題了
檔案目前大約3G-9G不等，我寫法是從IO做讀寫

同仁會輸入一串字串，然後要與文件內容作比較
輸入：
  $input = "AX.BC.\\SR\\d";
  $source = "Banana";
  $tar = "APPLE";
這似這樣
我的程式碼大約這樣寫

$line=1;
open fid_wr,">file2";
open fid_rd,"<file1";
while(<fid_rd>){
  $tmp = $_;
  if($tmp =~ /$input/){
    printf("Matched in line %d\n",$line);
    $tmp =~ s/$source/$tar;
  }
  printf(fid_wr "$tmp");
  $line++;
}
close fid_rd;
close fid_wr;

目前搜尋一個大約3G大小的文件就要耗費2分鐘
如果同仁搜尋更多，那就要更久了
因此在想有沒有方法可以讓其更快的做完？
目前我想到先把所有的資料load到memory，然後走memory來做比較
可以節省IO的時間，不過memory只有1.5T，擔心多人使用就卡死了
有試過先push到array，再一起寫入硬碟，但更慢
所以還是邊讀邊寫才是最快的
我們是使用CentOS 7，硬碟是一般傳統硬碟
因為是公司資源，所以硬碟沒得動，系統沒得動，一切就是手邊現有資源

希望有知道怎麼解決的人可以幫忙一下，或是提供我關鍵字搜尋也好
我可以自己找資料沒問題的，因為我在網路上有先找過
但如果同時要用正規表示式來支援萬用字元，又要兼顧修改

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 150.116.208.71 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Perl/M.1720786959.A.2B7.html
→ flu: 如果要純用perl 讀整個檔作處理的話 可能用File::Map 對記憶
→ flu: 體的管理會比較有效一點  後續再看要multi-thread, -procces
→ flu: 用外部工具的話 看人弄過印象中是 parallel(1) 搭 grep(1)
→ flu: 現有工具中 ag, ripgrep 處理大檔也蠻快的
是有思考過走記憶體流程，但就擔心同仁一起用，反而會拉高記憶體的使用量
推 jkchang: 將printf("Matched.. 先關掉
→ jkchang: 結果輸出檔案拿掉,然後用>>將結果重新導向到檔案
→ jkchang: 如果可以的話用sed
→ jkchang: sed -n '/AX.BC.\sR[0-9]/ s/Banana/APPLE/g p' file2
→ jkchang: sed -n '/AX.BC.\sR[0-9]/ s/Banana/APPLE/g p' file1
→ jkchang: 接上 >> file2
→ jkchang: perl -ne '/AX.BC.\sR\d/ && s/Banana/Apple/ && print'
→ jkchang: 接上 file1 > file2
所以建議是捨棄用perl做這件事，改用sed是嗎？目前只會簡單的awk,但sed不會，看來得學
習了......
※ 編輯: jacky1989 (101.10.6.175 臺灣), 07/17/2024 16:19:23
→ jkchang: 就這個例子會用sed或perl單行來執行,或許你試試2種效率
好的，我來試試，感謝分享
※ 編輯: jacky1989 (150.116.208.71 臺灣), 07/17/2024 22:28:04
→ jkchang: 另外,if(/$input/o)加上o參數還可以爭取一些效率
推 herculus6502: regular expression純拿來搜尋真的是overkill