[菜單] DeepSeek 671b大模型推理機

[xiemark (aisinjuro)]

已買/未買/已付訂金（元）：未買

預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用
CPU來算

CPU (中央處理器)： 全新 EPYC 7K62 48核心96線程 2.6G 正式版  $7500
MB      (主機板)： 超微H11SSL-i 二手 ＄8900
RAM     (記憶體)： 三星DDR4 ECC REG 64G 2666 x 8  $1600x8 = $12800
VGA     (顯示卡)： 舊EVGA 3060 12G(已有)
Cooler  (散熱器)： 6熱管金錢豹AMD epyc 散熱器 $850
SSD   (固態硬碟)： KIOXIA 鎧俠 Exceria G2 2TB M.2 2280 PCIe 3.0 ssd  $3590
HDD       (硬碟)：
PSU (電源供應器)： 台達 金牌全模組650W $2890
CHASSIS   (機殼)：
MONITOR   (螢幕)：
Mouse/KB  (鼠鍵)：
OS    (作業系統)： Ubuntu

其它      (自填)：
總價 (未稅/含稅)：$36530

CPU 主機板、DRAM在洶寶買。

是否有更好選擇

謝謝

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.75.31 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1739363103.A.053.html
推 jim543000: 洶寶<3
推 wsdykssj: https://www.bilibili.com/BV1REPqeFE6d
→ narukaza: H11SSL-I只有PCI-E 3.0，你要確定耶，
→ narukaza: 還有沒有支援Resizable BAR，這H12才有
→ xiemark: 只用cpu跑，pcie沒關係
推 Supasizeit: 這一問一答要多久啊
推 kamir: 要本地部署嗎？
→ kamir: 我是覺得個人玩家直接用線上的就好，
→ kamir: 自由度也高
推 YukilinnMigu: 這速度大概跟macmini跑速度差不多
推 MK47: https://is.gd/u3VvxG 這連結你參考一下
→ MK47: 還有這個 https://is.gd/vKxtAT
→ MK47: 他是vram不是ram
→ moonlightz: 我記得H100要好幾張
→ xiemark: h100要8張，買不起。
推 yocpswang: 肯定是淘寶或小黃魚買
推 observer0117: 用unsloth處理過只需要不到200G
→ observer0117: 我是用Z840，128G一萬多而已，再加
→ kuninaka: 線上一直斷線，根本不能用
→ observer0117: SSD、RAM、GPU
→ kuninaka: 你串MAC MINI會不會比較快？
噓 ntuee1803: 荒唐
→ observer0117: 不過顯卡不延長只能插一張
→ kuochuwon: deepseek 用CPU跑效率好嗎?
→ observer0117: 671b應該不太好，unsloth動態量化後
→ observer0117: 還可以，但是會有非預期EOF問題
→ diablohinet: 哇....@@
→ promaster: 老黃下巴掉了
推 ocean920704: 我還是選擇api就好
推 tetani: 這不會慢死嗎?
→ tint: https://tinyurl.com/muttrn8d
→ tint: KTransformers可以參考一下
→ tint: 用GPU加速的純CPU方案
推 prag222: 最大的參數量拿單機去跑很慢拉
→ erisiss0: 哈哈哈哈哈哈
推 croweva: 期待原po未來分享用cpu跑671b的效率
→ annboy: 老哥 買顯卡跑蒸餾完的不就好了
→ yinaser: 收張3090跑32b就好
推 lluck: 每天睡覺前問問題, 睡醒看回答嗎 XD
→ sasado: 已讀不回AI模擬機
推 boringuy: 線上跑就好了，不用蝦折騰
→ yam276: 笑了
→ tc22: 可以用袐塔
推 doomsday0728: 什麼鬼 這樣要跑多久？
噓 xelnaga: ？？？？？？
推 Lightee26: 有人也是epyc+ddr4，可跑3~4token/s
→ Lightee26: 比拿ssd跑快多了
推 stlinman: 先試試api吧!
推 ArcherX: 蠻好奇這樣可以跑多快
推 FreedomTrail: 跑7B還行，想跑671B?
推 a71245969: 推實驗精神，bilibili 有用transformer
→ a71245969: s 跑6.6 tokens/s
→ a71245969: Ktransformers
推 jboys75: 要怎麼看自己電腦的token數啊？
→ widec: deepseek動不動就過宅，是要怎麼用線上的
→ widec: 3060我看對岸是說大約每秒10 tokens
→ xiemark: 現在可以在3060上跑14b, 速度很好。用cpu
→ xiemark: , 可跑32b速度可以接受。
→ xiemark: 但是還是要用cpu 跑671b, 測試。
→ xiemark: 訓練ai確實一定要用gpu, 因為都是用fp32
→ xiemark:  或fp16來算。但推論都是經過量化的，多
→ xiemark: 以int8來算，cpu不見得不好
→ xiemark: 上面有人提到ktransformer, 也要先建一個
→ xiemark: 至少512gb dram的平台，再用4090加速
→ xiemark: 這次先讓它能跑起來就好了
→ SRNOB: 太貴。e5 26xxv4 x2 不過應該都被炒起來了
→ zzahoward: https://tinyurl.com/29nvcw83
→ zzahoward: https://tinyurl.com/3wzj6cwr
→ xiemark: 謝謝，xeon也會研究一下
→ Ceferino: 在前陣子ds剛爆紅時就在推特看過這種全
→ Ceferino: 載ddram用cpu跑的方案，記得那時看到是
→ Ceferino: 說大概5 tokens/s左右！？
推 keepgoingKH: 期待後續成果
→ Ceferino: ktransformers聽說可以加速快30倍是真
→ Ceferino: 假？
推 guogu: 我記得很像有人用雙路cpu跑到13token/s
推 artjio: 我幫你問deepseek本人了，感覺不太行
→ artjio: https://i.imgur.com/vDKw2Wt.png
→ NanaMizuki: ktransformers建議是ram至少1t
→ xiemark: 1-10 tps可以接受
推 arrenwu: 1tps 可以接受....猛
→ xiemark: 因為會寫程式去問它
→ xiemark: ktrans 需要GPU 24GB VRAM 和382GB DRAM
推 guogu: 這是為了玩還是工作? 2 3t/s真的不是人用的
→ guogu: deepseek自己的很塞可以用openrouter
→ guogu: 即使免費的也有10t/s 怎樣都比 2 3t/s強
→ guogu: deepseek網頁版看起來應該有個3 40t/s
→ guogu: 但有些問題光"想"它就能花上3 5分鐘
→ guogu: 用你這方案豈不得跑一小時
推 felaray: 網頁版的問題是現在服務常常不穩定
→ xiemark: 要建知識庫，不可能上傳網頁使用。
→ moguli: 雙路13token0.3版才出不過MoE限制6個=閹割
→ moguli: ktrans至少要用16GB以上的顯卡，看來要換
推 AIRURU: https://github.com/ggerganov/llama.cpp/
→ AIRURU: discussions/11765
→ AIRURU: 看這篇測q5的r1有4t/s
推 sina1: cpu跑ai模型？你是不是搞錯了什麼？
→ xiemark: 推論本來就可以用cpu跑
推 kamir: 知識庫我用GOOGLE試算表一類的記錄，
→ kamir: 算線上嗎？
噓 chysh: 科技公司：原來AI這麼便宜的...
推 bitcch: 推論本來就可以用RAM跑 不過字就是慢慢吐
推 fukku100: 這會慢到不行吧
推 NetsFan: 4060/3060ti 跑8b版本很快 供參
推 AmigoSin: Ktransformer參考一下
→ AmigoSin: https://apple.co/3KDa4vI
→ AmigoSin: https://bit.ly/3CHRceN 這個才對xd