Re: [問題] HPC的 I/O drawer 通常是用來做什麼的？

[ives0228 (ives)]

_
我不是HPC專家，所以我只能提供我不負責任的猜測..

supercomputer裏會把純計算跟I/O分開，提高效率

計算的node單純負責計算，當遇到需要I/O時，會把I/O的task丟給I/O node

所以我猜IO drawer的computing card是用來處理硬碟I/O相關的task

而不是用來進行主要的計算task

譬如這個訓練課程的投影片的第10及18頁

http://0rz.tw/nXm3G

可以看到computing node, I/O forwarding node, storage node是分開的

然後我猜PCIe expansion slot可以用來插網絡介面，

這樣猜是因爲不同的interconnection pattern會用到不同數量的網路界面

至於我這些猜測可信度有多高我也不知道，因爲我只是單純的使用者

對我來說電腦能用，程式能在deadline前跑出結果就滿足了

※ 引述《vic750314 (都一人)》之銘言：
: 小弟最近在看IBM blue gene/Q的硬體資料，
: 發現有個蠢問題想請問一下。
: HPC每個機櫃(Rack)除了各種多核心處理器和內存記憶體組成的計算節點(compute node)
: ；
: 計算節點會有網路連結處理器，
: 並用各種不同拓撲結構連結節點；
: 然後再搭配空氣冷卻、水冷系統。
: 機櫃中除了以上所說的，
: 還會有一組IO drawer，
: 以IBM為例，
: 每個IO drawer搭配 8 Computer cards、
: 8 PCIe expansion slot。
: 通常這個IO drawer在HPC裡可用來做什麼呢？
: 我能理解成如個人PC的PCIe slot吧？
: 可是HPC如果要增加計算速度或是增加容量不都是再增加計算節點嗎？
: 不知道這個問題能不能在這發問，
: 因為是硬體問題...
: 如有打擾小弟先說聲抱歉，
: 謝謝。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 161.253.72.149
※ 文章網址: https://www.ptt.cc/bbs/Linux/M.1478651855.A.F14.html
※ 編輯: ives0228 (161.253.72.149), 11/09/2016 08:39:37
推 vic750314: 謝謝大大回覆，我覺得你推測的沒錯。I/O node有配八組c
→ vic750314: omputer card，如果之間只有bridge接，傳輸速度是不夠
→ vic750314: 的。最近看了一些現行server board，很多除了內建1G, 1
→ vic750314: 0G, 100G LAN，還會有Infiniband card(約20G)。過沒多
→ vic750314: 久甚至會有CPU長出金手指，然後金手指直接連infiniband
→ vic750314:  card，直接將計算結果傳出去的板子出現。