[問題] 讀入較大的JSON檔

[cal0712 (冷靜 沉著 堅持)]

板上各為前輩好

小弟這邊有個JSON檔大概500MB左右 但一直無法順利讀入

import ijson

f = open('news_780796.json',mode='rb')

for url in ijson.items(f,'url'): #"url", "timestamp"
    print(url)

會出現MemoryError

環境
Windows XP
Python 3.3
6GB RAM

想請問板上高手

1.如果完全不知道內部格式 想要只讀入前10筆資料怎麼個寫法呢?

2.如果想要全部讀入來處理的話 應該怎麼寫呢?

3.如果要處理這樣的檔案 系統的配置建議應該是怎麼樣呢?

感謝協助





--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.21.108.1
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1432690311.A.B4A.html
推 LiloHuang: 作業系統要用 64bit 版本，Python 也要是 64bit 版本
→ sean50301: for url in ijson.items(f,'url')[:10]? 純猜測沒試過
→ sean50301: …
推 ENEP: 請用with  http://stackoverflow.com/questions/8009882
→ cal0712: 瞭解 感謝協助