[問題] CSV檔案輸入

[LibrainAir (矛盾與平衡)]

請問各位先進，我有檔案僅紀錄一連串X,Y座標但可能出現多個重複值，也就是說可以畫成heap map

我想要將這個檔案依照對應出現次數轉成list，例如
[原始檔案]
X Y
1 2
2 1
1 1
1 1
0 0
1 1
[預期輸出]
[[1，0，0]，
 [0，3，1]，
 [0，1，0]]


主要是要用於深度學習預處理資料，想請問大家改如何切入？

謝謝！
----
Sent from BePTT on my Samsung SM-J610G

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.141.108.205 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1586054439.A.144.html
※ 編輯: LibrainAir (223.141.108.205 臺灣), 04/05/2020 10:42:16
→ Starcraft2: 先掃一次X, Y可能的最大值  宣告一個2維陣列
→ Starcraft2: 初值為0然後for迴圈去this_heat_map_array[x][y] += 1
→ Starcraft2: 你自己有寫寫看一些了嗎?
→ LibrainAir: 謝謝回覆，是的有嘗試過，但資料是百萬尺寸所以RAM爆
→ LibrainAir: 掉了
→ LibrainAir: 所以想請問是否Panda或是Numpy有提供類似功能或是能
→ LibrainAir: 改善的架構?
→ LibrainAir: 再次感謝
推 TitanEric: numpy.unique搭配return_counts參數
→ justoncetime: 前面一頁內有人問過.還有貼出你的code才知你怎寫的
推 jigfopsda: 可以看一下 sparse matrix 有沒有滿足你的需求
→ LibrainAir: https://i.imgur.com/VdJ79bK.jpg
→ LibrainAir: 主要處理到這邊，目前卡在資料量太大如何處理，我會
→ LibrainAir: 參考上述的建議
→ LibrainAir: 再次感謝!
→ justoncetime: 電腦上的畫面請用電腦擷,除非其他方式能一樣清楚
→ justoncetime: code有的人可能想try幫你debug,貼文字(或pastebin
→ justoncetime: 這兩項,我覺得是提問者對潛在可能會幫助者的禮貌
→ LibrainAir: 好的，十分感謝建議！
→ LibrainAir: 我之後會更正程式碼，謝謝
→ LibrainAir: https://i.imgur.com/7oRXHin.jpg
→ LibrainAir: 更正程式碼
→ Starcraft2: 目前的code一樣是爆在memory嗎?  錯誤訊息也可以幫助
→ Starcraft2: 大家幫忙看
推 darama: 先找 x, y 的最大值， 用以上值宣告一個output 2d array
推 darama: 遍歷全部座標(i,j) ;output[i][j]+=1