作者xbrain (我最愛小爽)
看板Perl
標題Re: [問題] 逐行處理大檔有更快的方法嗎
時間Sun Apr 26 23:23:05 2009
: 我需要用perl對大檔做典型的每行比對擷取處理工作,
^^^^^
不知道您的資料有多大,常常處理 100GB-200GB 的檔案
逐行處理這種資料 I/O threshold 很重要
另外 在 loop 裡面的東西 能精簡則精簡.
my $i;
while .. {
$i=...
}
和 while .. { my $i=.... }
就是不一樣
建議您看看 loop 裡的內容
chomp 可能不需要
字串比對與擷取部分資訊可能可以合併用 RE 解決
: 可是效能似乎不佳,是逐行處理的工作本身就一定很慢?或是有沒有更快的寫法呢?
: 感恩!
: ps. 我有拿掉處理資訊的部分,效能還是很慢,確認瓶頸不是在那邊
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.217.209.180
→ clkao:其實 my 在哪邊是一樣的. 你可以用 perl -MO=Concise 看看. 04/27 00:40
→ teyton:瞭解~~總之就是精簡就對了~~ 04/27 00:43