[問題] 找尋超大檔案內容但python會當掉

[sariel0322 (sariel)]

想請問一下大家
我現在要用從一個相當大的文字檔中找到對應的字串並寫出
但是現在遇到一個問題是會一直當掉跑不動
想請問各位有沒有不會當掉又執行速度快的方法
我讀取兩個檔案
一個A.csv是1.5mb左右，只有在第一欄有東西
一個是B.txt，約17.4GB
我要將A.csv中有對應到一樣字串的B的特定那一行寫出

我的code如下:

import csv
g = open("A.csv","r")
f = open("B.txt","r")
o = open("output.txt","w")
Alist = []
for row in csv.reader(g):
        Alist.append(row[0])
for row in f:
        if row[0:5] in Alist:
                o.write(row+"\n")
g.close()
f.close()
o.close()

感謝大家的幫忙

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 120.126.36.171
※ 文章網址: http://www.ptt.cc/bbs/Python/M.1404915156.A.E73.html
※ 編輯: sariel0322 (120.126.36.171), 07/09/2014 22:13:21
※ 編輯: sariel0322 (120.126.36.171), 07/09/2014 22:20:29
※ 編輯: sariel0322 (120.126.36.171), 07/09/2014 22:23:07
※ 編輯: sariel0322 (120.126.36.171), 07/09/2014 22:23:33
推 jokester:把Alist換成Aset, in應該會變快
→ jokester:相應改成 Aset=set(); Aset.add(); row[0:5] in Aset;
推 walao81:如果在linux底下,用subprocess run grep 會不會更快點？
感謝jokester，我會試試看，如果不會當掉的話
to walao81，有在考慮，但對linux不熟，如果換過方法還是一樣的話我會這樣做的
※ 編輯: sariel0322 (182.235.15.230), 07/09/2014 23:29:49

還是會當掉，跑第一個迴圈就當掉了，不論如何，先感謝
※ 編輯: sariel0322 (182.235.15.230), 07/09/2014 23:41:22
→ KSJ:當掉的原因是啥?
不清楚，研判是第2個迴圈導致第一個迴圈有問題(我也不能理解)
曾經把第二個迴圈拿掉，第一個迴圈有跑完
但是把第二個迴圈加上去跑第一個迴圈跑到快結束時就當掉了
http://ppt.cc/fF~U
補上計數，第一個迴圈的資料記得應該是19萬筆
在18萬多時就當在那邊了
還請高手詳解...
※ 編輯: sariel0322 (182.235.15.230), 07/10/2014 00:03:43
→ KSJ:你開工作管理員看一下 是不是記憶體不夠的問題
→ KSJ:用IDLE跑看看  紅字寫啥
看起來記憶體是沒問題、CPU也是，不過磁碟的讀取跟寫入幾乎是滿的
如果是電腦資源不夠，有更好的寫法比較不吃電腦資源的嗎?
※ 編輯: sariel0322 (182.235.15.230), 07/10/2014 00:57:05
→ KSJ:用IDLE有紅字嗎?
→ KSJ:一直WRITE不flush 記憶體理論上會先滿才是
沒有耶，很不解
不過現在有時候放著會跑完了，可是看起來我要對應的資料(19萬個對應17GB)
結果第二個字串對應的迴圈中19萬個中的第一個結束後就自己結束了...
※ 編輯: sariel0322 (182.235.15.230), 07/10/2014 01:08:28
補上，有時候會當在那，有時至少會跑完一個就結束了
※ 編輯: sariel0322 (182.235.15.230), 07/10/2014 01:09:13
→ KSJ:跑出來的檔案結果有寫什麼進去嗎?