Re: [討論] AI晶片

[sheepmanager (AI專家)]

這我來回答吧
AI晶片一般是指用來加速深度學習模型推理的晶片
如果是訓練通常還是利用Gpu 因為生態系比較成熟

那麼深度學習推理時間會耗在哪裡呢
通常就是convolution 或是Gemm
當然convolution 可以透過線性代數幾次的轉換
變成gemm 這也是一門學問
所以矩陣相乘等於是最重要的運算了
你只要能加速這麼簡單的東西
就能號稱你在做AI晶片了
不斷的堆硬體上去 性能就出來了
甚至有些公司走火入魔
連非矩陣運算的指令都做了

因為深度學習的模型越來越大
所以並行去運算矩陣相乘就是很重要的事了
你的硬體並行時 耗電跟降頻做得夠好的話
就能有點能見度了 現在中國的新創沒有一家做到的
所以就有一些人腦袋動到光計算上面
訊號轉成光能計算 算完再轉回電
但這非常的不穩定 基本上也是不可能回收成本

好了 你說這麼簡單的話 那也很容易啊
然而 深度學習在運行過程中 還有一個很大的耗損
就是算子與算子之間的資料傳輸
用硬體加速過後 每個算子的時間大幅縮短
但是彼此之間的memory copy仍然耗損嚴重
於是cache或是local memory變的異常重要
算子與算子之間的fusion做得好
搭配上速度夠快又大的memory基本上也很厲害了
中國那一堆新創耗電降頻不行
現在就往這方向拼命做

那麼AI晶片前景怎麼樣呢
老實說 前景是死路一條
CPU GPU 大公司都在從自家指令來優化模型
或是直接配上特殊資料格式 如tf32 fp8
華為的c4比起來就是個花拳繡腿 還推行不起來

我現在底下50多人就在做未來的方向
從模型優化演算法 記憶體策略 框架
到底層assembly加速 完整的一套方案
如果你有關注一些新的paper
優化到最後 對比常用硬體 AI晶片根本沒有優勢
就像挖礦沒有收益時的礦機一樣
純電子垃圾




※ 引述《QQmickey》之銘言
: 雖然從新聞上看到 三星已經出了 不知道是不是唬爛的
: 自己也是理工背景 但是想問科技版的大大們
: 這是真的嗎?
: 我所學的 覺得不太可能
: 雖然很多事很難講 已知用火
: 諾貝爾物理獎也一堆錯的
: 難道是神學

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.76.1.30 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1663433702.A.04B.html
推 WTF1111     : 推！
推 djboy       : 推
推 QQmickey    : 電子垃圾那幹嗎做??大數據之前就有了
推 QQmickey    : 而且優化到最後ai不是會自算嗎??
推 blacktea5   : 推
→ labbat      : 疑惑？哪個做AI晶片的不最佳化暫存器不最佳化快取的
推 domyutmost  : 請問最近Graphcore的IPU有搞頭嗎？
→ outzumin    : 老闆請問有缺人嗎?
推 LLSGG       : 涼
推 snow10725   : 謝謝補充說明
推 zxp9505007  : 涼
推 x3795566    : 有缺人嗎(舉手
→ Colac5566   : 說穿了Ai晶片只是GPU的subset
→ Colac5566   : GPU DSP VPU NPU TPU 科科
推 gg15ffgg15ff: 用asic做不贏gpu cpu based的ai晶片，倒一倒算了
推 Morphee     : BIREN的BR100/BR104 你評價如何?
推 mmonkeyboyy : ASIC做不贏收收會好點 現在問題不是做不贏 是時候還
→ mmonkeyboyy : 沒到
推 iamala      : 唉，將帥無能累死三軍就是這樣...明明能賺錢的東東
→ iamala      : 自以為垃圾
推 dixsion     : 推
推 brightest   : 大公司都有AI processor 像tpu等 cpu/gpu/tpu很難
→ brightest   : 互相取代
→ aas5566     : 同意樓樓上
→ aas5566     : 你自己不行 希望你底下的人能取代你
推 SMIC5566    : 看不出是真的還是唬爛的 只看的出想被喊"大大你好厲
→ SMIC5566    : 害"哈
推 gn01216674  : 你意思是給你50人，然後你做出垃圾嗎
→ gn01216674  : 你哪個部門說一下 我不敢去...
推 imreader    : 推電子垃圾
噓 birdyman    : 這個人的文章  可信度存疑 給噓
推 leoloveivy  : MIT 韓那個lab看一看抄一抄搭上台積電很難嗎
噓 lunasdejavu : 那個未來的方向早就做好幾年了,一聽就知道你不是那
→ lunasdejavu : 方面背景的,只是年資長就被不懂的人資抓去當大頭
→ sheepmanager: 呵 好幾年 怎麼減小transformer的sequence說來聽聽
→ sheepmanager:  你有top conference嗎
→ sheepmanager: 這種優化還要搭配硬體 PTT臥虎藏龍啊 還能早好幾年
→ sheepmanager: 做出新硬體並軟硬配合 看來data center  cpu gpu
→ sheepmanager: 都是台廠天下了 但市佔率好像是0欸
→ sheepmanager: 美國做這類的新創去年才出來 都沒有ptt的厲害 嘴巴
→ sheepmanager: 超越加州
推 abc85216923 : 推 好心
→ OBTea       : 考慮效能也要考慮功耗和資源，要這樣說影像壓縮用軟
→ OBTea       : 解，理論上目前廣用硬體也可以超越專用硬體
→ OBTea       : 目前純AI晶片台灣也不是排在前面的，資料中心沒有台
→ OBTea       : 廠晶片也很正常
→ hank780420  : 專用硬體架構輸CPU GPU硬幹 你有沒有想過會不會輸的
→ hank780420  : 是做的那個人
→ sheepmanager: google的gpu要求可是白天運行遠端遊戲 晚上才跑AI
→ sheepmanager:  專用硬體做得到嗎 又不是做了AI功能大家就會買單
→ sheepmanager: 當然google不會這樣要求自家的東西 但是晶片公司處
→ sheepmanager: 境就是這麼坎坷
→ hank780420  : 你該不會只知道用CMOS硬幹吧  這樣當然輸大廠
→ sheepmanager: 講的都不是同一個東西你也能回
噓 lunashining : 會講TOP Conference就知道是外行了,重要東西都公司
→ lunashining : 內部自己做誰會去公開重要的東西,再來近年論文品質
→ lunashining : 越來越水,不是拿簡單dataset東西做看起來高難任務
→ lunashining : 就是隨便接個transformer performance看起數字變好
→ lunashining : 就行了,講美國新創還來這邊留言不會是在sifive做吧
噓 shanks2012  : 觀念不太正確
→ sheepmanager: 噗 nvidia跟微軟都是外行 你們公司最內行
噓 lunasdejavu : 不要講這麼多把你們家MLPerf數據貼上來看阿 呵
→ sheepmanager: 呵呵 想釣人？ 我們MLPerf數字蠻多的啦 然後呢 給
→ sheepmanager: 你看幹嘛 讓你去歐兔徵友？
噓 lunasdejavu : 這樣就怕啦XDDD 只說多就是排名不高,敢出來在網路嘴
→ lunasdejavu : 一定不是大公司的,八成就是待過大公司跳到小公司
→ lunasdejavu : 或竹北中資騙騙錢那種等級的
→ sheepmanager: 呵呵 讓你酸又不要緊 我可不想被認出來 比起一個徵
→ sheepmanager: 友徵四年的人 我還是蠻注重隱私的
→ followwar   : 講top conf外行? 不如你先說自己發幾篇吧 不是很水?
→ followwar   : 不公開 整個社群哪會進步? github都是佛心來的?
→ chang1248w  : 確實挺佛心的
噓 thiy71      : 先贏得了耐能再來說嘴
噓 Colac5566   : 口憐喔，還沒退休...
推 LLVMBackend : https://tvm.apache.org/docs/topic/vta/index.html
→ hank780420  : 就連不是做電路端做材料的都知道你講的問題解答在哪
→ hank780420  : 你到底多久沒看文獻...
→ sheepmanager: 哇你知道問題解答在哪好厲害 Nvidia的秘密都被你挖
→ sheepmanager: 出來了 NV記憶體存取的專利就是這產業最有價值的東
→ sheepmanager: 西 你看看文獻就能找到 intel amd的人都不如你呢
→ sheepmanager: 想必是個fellow吧
→ sheepmanager: Raja Mike hong 都解決不掉的問題 你查文獻就能查
→ sheepmanager: 到欸 奇才啊
→ sheepmanager: 啊不對 連jim keller 這種傳奇人物都沒處理掉這問
→ sheepmanager: 題 你一個材料專業的人吊打這些大神喔
→ sheepmanager: 連citadel這種頂級投行找了專業的人去研究nv硬體的
→ sheepmanager: 行為 最後的分析報告也沒能觸碰到核心 你說看文獻
→ sheepmanager: 就可以了 太神了
推 IdenTits    : 我也不看好 XD
→ leo61532    : 他就是之前工作十年 美商主管職哥啊 呵呵
推 mmonkeyboyy : Top conference 都嘛做完 賺完錢去秀肌肉的
→ mmonkeyboyy : 現在問題是market 做了要賣誰？ 做了會不會被卡 能
→ mmonkeyboyy : 做AI針對某NN專用IC的公司數起來都沒幾家
推 shikemurajy : Special purpose的電路效能會輸general purpose，
→ shikemurajy : 聽起來就不合理
→ mmonkeyboyy : TVM卡了好一陣了 說實話概念好 但很難推
→ mmonkeyboyy : 是啊 但誰會那麼做 那來市場可賣？
→ mmonkeyboyy : Top conference 硬體相關的一堆都在玩bit …  壓縮
→ mmonkeyboyy : XD 做NN也ㄧ堆搞這個…. 真正做AIC的人都知道這不是
→ mmonkeyboyy : 這樣搞啊
推 vlstone     : 推！
→ sheepmanager: 誰跟你比電路效能 最後都是整網性能下去看 硬體性
→ sheepmanager: 能再強也強不過直接從模型優化
推 mmonkeyboyy : 現在都是ㄧ起做好嗎？ 這也是很多公司搞得不上不下
→ mmonkeyboyy : 死在沙灘上的原因