現在由於學校要用到
需要把一些很大的生物資料放進MySQL的資料庫中
而這也是我第一次用跟學java和MySQL 冏rz..
>JCVI_SCAF_1101669000001 /length=1071 /full_length=1071
/assembly=JCVI_ASM_feb03_2005_GS-02
ATTCTTATTTATGATCTAGATGTGCATCAAGGTGATGGTACTGCGAAAATTTTTGAAAATAATGATCAGGTGTATACTTT
............(中間省略)
GGATCCAGCATCAAACACTCTAGGCTGGAGATGGGTGGCAGGTCTTCATACCAAGGGGAAGCATTATCTAGCTTCCGAAT
GGATATAATAAATCTCCGCTAAAAGTATGAG
我原本的想法是MySQL load data的時候是用\n\t來分隔資料
而我的資料不是格式都相同
所以原本打算用java來做資料的轉換
JCVI_SCAF_1101669000000 length=840 full_length=840 assembly=JCVI_ASM_feb03_2005_GS-02
AATACACCTTATGCAGATATCGCTTCTTCTAATTTTGCAAACAAAAGATTGAGTTCGTTTTATTTAGGCGGGATTA...
這樣資料就都是變成以tab和換行來表示了 MySQL也就可以作輸入的動作了
但是 以上都是我用一個小數據測試的結果
當我要實作時 我的資料是4.5GB...冏rz
跑了三四個小時 最後出現
java.lang.OutOfMemoryError 冏..
--
好像po太長了
怕各位強者看得不耐煩
我的code在下一篇 ^^
--
btw 檔案的輸入方法其實原本就有個格式
老師說那是一種生物用的格式
叫fasta
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.109.57.40
※ 編輯: penguin0322 來自: 140.109.57.40 (07/20 17:07)