[問題] 超級大檔案內的一維向量要做unique運算

[klain (klain)]

假設我有一個檔案, 內有一個很大的一維陣列,
譬如是(10^50)*1的一維陣列A好了,
不知道我要怎麼在A上做unique運算呢?

因為陣列太大了,
所以很顯然地我沒辦法一次load進matlab.

如果做不到的話,
因為我最後的目的只是要知道在這個超級大的陣列裡面是否有任何兩個element是相同的,
不知道這樣會讓問題比較好解嗎?

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 140.112.4.185
推 sunev:你記憶體多大，你硬碟多大？
→ klain:4G RAM, 270G HDD (我知道10^50太大, 這只是舉例一個很大
→ klain:數字
→ banco:陣列內容的資料型態有限制嗎?
→ klain:希望是浮點數, double