[問題] 有辦法把多個job包起來變成一個跑嗎?

[peter308 (pete)]

 是這樣的

 假設我有一各job(n) 裡面的參數n假設是0~9

 然後一各job假設需要4個cpu(如果機器是4核心的) 那就是一各node

 可是我希望可以把job0~job9 合起來變成job_total

 然後一次submit出去可以跑job0~job9 (總共用掉40顆cpu 或是10個node)

 因為我目前是在公用的cluster server上跑

 上面的規範就是一次只能submit兩各job

 這樣我等於每次都只能submit job0~job1 或是 job2~job3(共8顆cpu)

 其他變成是在idle

 因為cluster 是用pbs quening

 我想說把多各job包在一起  然後丟到可以依次跑比較多顆的system上

 這樣我等於是省四倍的時間....

 有人可以告訴我我這樣的想法是否可行??

 打包的方法又要怎麼做?

 或是有其他的方法也不吝賜教

 感恩!!!




--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 118.160.184.140
※ 編輯: peter308        來自: 118.160.184.140      (03/03 11:57)
→ bitlife:如果可以改程式,我是覺得改程式比較快,工作參數接受一次執
→ bitlife:行跑多個結果, 本來是job 1 和 job 2改成一次 job 1 2
→ bitlife:甚至更多
→ bitlife:推完再看一次,發現沒符合需求,總時間沒節省.
→ bitlife:但是若系統只限制process,沒限制thread,用上面改程式的方
→ bitlife:法,或許可以2個processes,但有8個thread,然後看看thread
→ bitlife:會不會被schedule到不同CPU
→ kdjf:有人正在用pidgin+msn(on jabber)嗎？
→ kdjf:推錯Orz
→ peter308:我有想過改程式... 可是我想要的作法是程式不變然後改參
→ peter308:數 再把不同參數的數個job結合成一個...
→ peter308: 這樣可以在cluster 上用更多資源...
→ Kouni:看Oracle Grid Engine(Sun Grid Engine)合用冇？