看板 Stock 關於我們 聯絡資訊
原文標題: AI晶片如何讓美國電網癱瘓?微軟工程師:只要10萬片就完了 原文連結: https://www.ctee.com.tw/news/20240329701360-430704 發布時間: 2024.03.29 16:25 中時新聞網 記者署名: 吳美觀 原文內容: 全球掀起人工智慧(AI)熱潮,也讓AI進化成吃電巨獸!一位微軟工程師爆料,如果在美 國同一個州部署超過10萬片H100 GPU高階晶片,就會導致電網癱瘓。顯見AI運算速度愈快 ,電力供應需求暴增將成為令人擔憂的問題。 財聯社報導,人工智慧聊天機器人ChatGPT開發者OpenAI下個版本GPT-5模型尚未面世,似 乎已開始著手訓練GPT-6,不過電力可能成爲一個「卡脖子」難題。 AI新創公司OpenPipe創辦人Kyle Corbitt在社群平台X上透露,自己最近與一位負責GPT-6 訓練集群項目的微軟工程師討論新版本中遇到的問題,這位工程師抱怨,不同區域GPU之 間部署infiniband(無線頻寛)級別鏈接,實在非常痛苦。 Corbitt接著問「為何不將訓練集群集中同一個區域?」這位微軟工程師回答,有嘗試過 ,但是如果在一個州放置超過10萬片H100 GPU,電網就會癱瘓。 10萬片H100是什麼概念?據市場調查機構Factorial Funds的報告顯示,OpenAI的文字生 成影片模型Sora在高峰期間需要72萬片H100,依該工程師說法,這個數量足以讓美國7個 州的電網崩潰。 Corbitt指出,隨著越強大的AI製造出來,開發這些模型的成本也越來越高,並面臨電力 供應所帶來環境挑戰。 OpenAI 執行長奧特曼(Sam Altman)曾為AI的電力需求「叫苦」。在年初的達沃斯論壇 上,他表示,AI發展需要能源方面的突破,AI將帶來遠超預期的電力需求。 有數據顯示,ChatGPT每天需要消耗超過50萬千瓦時的電力,用於處理約2億個用戶請求, 相當於美國家庭日用電量的1.7萬多倍;至於搜尋巨頭谷歌,若在每次用戶搜尋中都調用 AIGC,年耗電量將增至290億千瓦時,這甚至高於肯亞、瓜地馬拉等國1年的用電量。 心得/評論: 隨著AI運算速度愈快,電力供應需求也將暴增,將成為令人擔憂的問題 還好咱們台灣電網堅韌無比,不缺電,不停電,不是美國那種落後國家能比的 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.137.161.32 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1711764788.A.3BE.html
FGK : 心得 笑死 也只能自娛娛人了我們 03/30 10:14
boards : 中時新聞網 03/30 10:14
boards : 「卡脖子」是什麼語? 03/30 10:15
suntw : 台灣不適合核能,但AI真的吃電非常 03/30 10:15
meowyih : 說真的,這種擺明不是想討論股票的文就別發了,有很 03/30 10:15
meowyih : 多其他適合的板 03/30 10:15
suntw : 剛才跳過心得沒看,補噓沒意義的酸文心得 03/30 10:18
patrol : 有股點阿,就是在ai 這條路上,台灣終究會被外拋, 03/30 10:19
patrol : 要ai就投美股 03/30 10:19
peter080808 : 台灣不適合核能個屁 03/30 10:19
peter080808 : 台灣要零排放又要跟上AI時代 是打算把中央山脈砍光 03/30 10:20
peter080808 : 插光電板? 03/30 10:20
a9a9a8a1 : 純噓上面反核仔 03/30 10:21
dosiris : 找老黃呼籲核電 政府應該會買單 03/30 10:21
peter080808 : 微軟+AI+電網 沒股點? 這話有經過自己良心嗎? 03/30 10:21
qa1122z : 高速快速公路插太陽能板有搞頭? 03/30 10:22
qa1122z : 白天遮陽發電儲能,晚上照明 03/30 10:23
porkonrice : 把公園通通插滿太陽能板就有電了 03/30 10:24
patrol : 地震颱風就會滿地的太陽能板癱瘓交通 03/30 10:24
FatFatQQ : 遲早用核電哈哈 03/30 10:25
qa1122z : 捷運軌道上方蓋滿太陽能板有搞頭? 03/30 10:26
sss700304 : 台灣:40%用愛發電 03/30 10:27
bnn : 簡單來說就是台灣只會有硬體業 AI軟體相關都是假的 03/30 10:27
peter080808 : H100伺服器耗電量就要10kW了 10萬台需要100萬KW 自 03/30 10:27
peter080808 : 己算要多少光電板吧 03/30 10:27
peter080808 : 硬體業不耗電嗎 生產AI晶片EUV製程電力需求多恐怖 03/30 10:29
LDPC : 人類電池!!!!各位 用脂肪發電時代來臨了!! 03/30 10:29
kinki999 : 愛台灣股民是又看不慣電力汙名化了 03/30 10:32
catboost : 柵欄壞了 03/30 10:34
pisu : 1度電=1kWh 03/30 10:34
Alwen : 以後會很耗電 我建議用人類來發電 03/30 10:34
dosiris : 靠光電板?所以陰雨天伺服器就停工嗎 XD 03/30 10:41
qa1122z : 是不是當儲能是塑膠的(誤 03/30 10:43
bulabowu : 如果是科幻小說會研發出在太陽旁邊吸取能源的訓練站 03/30 10:44
kunyi : 跟挖礦一樣浪費電 03/30 10:48
asaman99 : 原來打敗天網只要攻擊電網就好了 03/30 10:51
TaiwanUp : 天網真的形成你根本攻擊不完電網 起碼是分散式的 03/30 10:53
ksjr : 沒關係 AI不適合台灣 不需要擔心電力問題 03/30 10:53
TaiwanUp : 電網可以24/7無限制生成 看卡爾達蕭夫文明等級到哪 03/30 10:56
boards : AI的主要應用在美國 03/30 10:56
boards : 台灣只是代工AI晶片 03/30 10:56
onstar : 不用幫美國擔心沒電好嗎!? 03/30 10:59
Chilloutt : 抽脂發電 03/30 10:59
mike0608 : 這種心得發在股板…有點扯 03/30 11:03
NexusPrime : 就跟之前瘋瘋算eth類似,也是狂用GPU 03/30 11:04
CORYCHAN : 是說這是誰 03/30 11:06
Ligamenta : 核電廠旁放AI 03/30 11:09
zxcvb1234522: 高算力=高耗電≠獲利 03/30 11:11
mqhung : 徵求工讀生踩腳踏車發電給AI用 03/30 11:11
bakayalo : 先進製程+先進封裝的重要性越來越高了 03/30 11:14
TomChu : 台灣有很多的電 不怕 03/30 11:15
yoshilin : matrix有教過電力來源 03/30 11:20
LDPC : matrix明明就是紀錄片 只是穿越到了現代QQ 03/30 11:21
minhsiensung: 不管怎麼改 所有電力節點都要變壓器啊 華城表示: 03/30 11:25
siki588 : 核融合MIT 03/30 11:36
tomdavis : 美國電力概念股會變股王嗎XDDDDDDDDDDDDDDDDDDDDD 03/30 11:38
create8 : 結論:人類=電池 03/30 11:39
cosmite : 台灣不適合核能個屁 03/30 11:42
aken59420 : 台灣不要用AI就好了,負責生產設備 03/30 11:42
oneIneed : 說台灣不適合核能的應該是低能 03/30 11:48
oneIneed : 低能發電 用愛發電 03/30 11:49
stupidboyu : 真是笑話 這種有股點的新聞還不能放 乾脆規定只準 03/30 11:53
stupidboyu : 放三民自跟大妓院的好了 03/30 11:53
JOKO58802218: 慘爆 03/30 11:55
peter080808 : 哈哈 民視和三立也開始有美日重啟核電的新聞了 03/30 11:58
raygod : 太耗電了台灣不需要 03/30 12:01
FatFatQQ : 能發展算力就美中沙 其他都不可能 光蓋一堆核電廠 03/30 12:03
FatFatQQ : 地狹人稠就無法 03/30 12:03
maplefff : 聽起來根本沒問題啊,才幾萬戶家庭用電而已 03/30 12:04
peter080808 : 日本: 啊我國土是很大嗎? 要重啟全球最大核電廠 03/30 12:04
peter080808 : 了喔 03/30 12:04
maplefff : 美國家庭至少也有8000萬戶,給你耗電2萬戶有什麼 03/30 12:06
maplefff : 白痴新聞 03/30 12:06
peter080808 : 樓上是不是因為電廠到你家中間沒電網? 電網其中一 03/30 12:09
peter080808 : 點瞬間少掉2萬的家庭用電 需要多少電力去穩電流? 03/30 12:09
edison51501 : 還好台灣都是用愛發電 不怕 03/30 12:15
yesyesok : 台灣電多到可以藏起來,沒事沒事 03/30 12:17
nocash : 台灣有愛 03/30 12:25
wurick000 : 建議土條趕快提出將龍門廢墟 改成fusion 試驗場的可 03/30 12:31
wurick000 : 行性計畫 不然有可能光內科皆有可能榨乾整個台北市 03/30 12:31
wurick000 : 的電網??? 03/30 12:31
sheepxo : 是無限頻寬 不是無線 03/30 12:49
ab4daa : 美國怎麼跟得上台灣 03/30 12:54
eternal0327 : 那台灣怎麼發展 03/30 13:02
eternal0327 : 台灣算力準備落後了嗎 03/30 13:02
Brioni : 很明顯AI發展會進入一個算力瓶頸,而這個瓶頸就是電 03/30 13:08
Brioni : 力供應 03/30 13:08
northwater : 卡陰囊 03/30 13:11
jackas103 : 日本國土確實大啊,一個九州就跟台灣面積相近了 03/30 13:32
darktasi : 又是浪費錢跟電的玩意 03/30 13:45
AirLee : 這就是現在半導體的瓶頸,所以才有人開始研究量子 03/30 13:48
AirLee : 電腦想取代目前的大型訓練系統,但是變超導體應該 03/30 13:48
AirLee : 也是很耗能。 03/30 13:48
jasonkey123 : 還談什麼節能減碳....暖化議題呢? 03/30 13:48
ulamong : 有些人總喜歡將綠能與基載混在一起談 03/30 14:18
ProTrader : 電力消耗就是小模型跟自製AI晶片會有市場的重要考量 03/30 14:23
centiyan : 宏碁:這裡有一批神秘小盒子很便宜的 快來買喔 03/30 14:24
YCL13 : 是自己公司沒有建立可以推10萬片H100 GPU的電力系統 03/30 15:23
YCL13 : ,光想要推這麼多H100的不斷電系統就覺得驚人 03/30 15:24
kkchen : 怎不開發超導體ai晶片啊?這樣不就完全不用消耗電 03/30 15:36
kkchen : 力了。 03/30 15:36
vuncent : 台灣最需要的就是核能! 03/30 16:11
a8017700 : 核能治百病 電不夠就核能就對了 03/30 17:17
stoke4096 : 外拋什麼台灣的半導體業就是ai軟體的,87 03/30 18:33
Iloveriona : 核融合也要靠AI有突破了 03/30 19:06
balafind : 主機+太陽能板上太空有沒有搞頭? 03/30 19:26
kanehhh : 老黃會推下一代功耗降低30%吧 03/30 21:59
hui2708 : 把台灣的路全部挖掉重鋪「發電公路」大家說好不好 03/30 22:56
hui2708 : 啊 03/30 22:56
quartics : 因AI失業的人改行當人力電池吧 03/31 11:31
samhsu : 這心得只會讓某粉看起來越來越惹人厭 04/01 20:22