Re: [新聞] 黃仁勳開口加持！AI PC是什麼？跟傳統PC有何不同？AI PC

[LDPC (Channel Coding)]

AI PC/AI Phone都屬於on-device題材 詳情翻閱之前文章

那這玩意跟之前安裝老黃的GPU筆電有啥不同
我個人認知重點在inferece省電這塊 如果有嘗試拿筆電有NV顯卡跑AI玩意
就會發現那東西是吃電怪獸 自己親身經驗跑一個CV inference算法 全開CUDA 拔掉插座後
筆電瞬間關機 因為該算法會強制讓筆電跑200~250w這功率 這玩意是電池無法承受
就算能承受 一個小時就沒電

而NPU on-device 則是透過底層硬體特殊設計 搭配API和AI算法 然後在inference時
你可以透過c語言去使用不同特殊api 比方說做矩陣乘法 你可以用c函式庫 或者
用硬體ic公司底層api去實現 後者就是省電 速度又快 比前者有時差異可到10倍省電
而台灣最適合做on-device AI 因為這玩意需要懂硬體(ic設計)和軟體和AI算法設計
(壓縮AI模型) 在inferece這塊 非常吃對C語言了解 以及如何魔改AI算法 比方說原本AI算法要用ReLu6
但你硬體加速只支援ReLu 那你就稍微去魔改一些參數 重新optmize structure
然後deploy在省電NPU 所以你如果電腦是插電桌機 那老黃一個GPU就解決所有問題
因為從功能上來說NPU不能取代老黃GPU電腦

但如果是攜帶型設備像是手機 AR眼鏡(參照GPT4o/Google I/O 人工智慧助手願境)
筆電 那on-device的題材就在這 一個省電的移動性AI設備
通常瞄準落地場景就是多模態AI助手

所以on-device題材就是省電和壓縮模型 或者模型特制化小於一定參數(手機分水嶺是3B)
ARM+NPU的AI-PC遠景很美好 一但牽涉到軟體部分就很複雜
ARM的PC目前挑戰就是很多軟體不支援 也沒有optmize到省電極致
不像果家軟硬整合就做很好 但AI Phone就不一樣 沒像AI Window PC各種驅動程式問題
高通+狗家on-device模型就是領跑者 但臉家LLaMA第三方C開發社群
也做出許多on-device生態群

而在on-device省電玩家有果家高通聯發科和軟體切過來的狗家和軟軟 目前高通疑似
有在默默建立on-device軟體生態圈 聯發科最近也在HuggingFace刷自家模型了

--
on-device有點大亂戰 個人買股就是高通+QLD(賭狗家軟家和果.....家 QQ)

※ 引述《kurapica1028 (kurapica1028)》之銘言：
: 原文標題：
: 黃仁勳開口加持！AI PC是什麼？跟傳統PC有何不同？AI PC概念股、市場展望一次看
: 原文連結：
: https://s.yam.com/mNM4P
: 發布時間：
: 2024.05.27  14:47
: 記者署名：
: 工商時報 數位編輯
: 原文內容：
: 台北國際電腦展（COMPUTEX）即將在6/4登場，輝達執行長黃仁勳近日提前來台，台股AI
: 概念股再掀起狂歡，其中AI PC也強勢表態。事實上，黃仁勳上次來台，就曾以一句「我
: 預期五年之內所有人的電腦裡都會有AI。」，預言AI PC將是未來主流。到底AI PC是什麼
: ？台灣有什麼廠商可關注、AI PC的未來展望為何？工商財經網為讀者一次整理。
: 一、AI PC能做什麼？跟傳統PC有什麼差別？
: 近日不僅微軟在Build 2024開發者大會上展示了新的Surface筆電和Surface Pro，國內大
: 廠華碩與宏碁亦在21日釋出Vivobook S 15和Swift 14 AI兩個AI PC產品，讓「AI PC」的
: 討論度再度飆升。
: 隨著生成式人工智慧（AI）和大語言模型（LLM）的飛躍發展，作為AI直接觸及終端用戶
: 的重要媒介-邊緣裝置，成為AI技術發展的關鍵突破口。其中，AI PC無疑是最值得關注，
: 將AI模型與傳統PC緊密結合，為PC產業帶來全新的硬體架構設計、內容生態等全面的革新
: 。AI PC一方面為用戶提供更加個性化的創作、助理，大幅提升內容創作及消費體驗；另
: 一方面，透過本地的AI運算能力，保護用戶的隱私和數據安全。
: 在硬體架構上，AI PC採用「CPU+GPU+NPU」的異構設計，其中NPU（神經網絡處理器）為
: 關鍵。NPU可為低強度的AI任務，如照片、音樂和影片處理等，提供卓越的效能表現，並
: 縮短回饋時間、延長續航力。而CPU和GPU則用於更加複雜的AI任務，協同NPU發揮強大的
: 算力。
: NPU在神經網路運算中以較低的功耗完成運算，並能幫助內建CPU、GPU更好地發揮完整效
: 能，而微軟對於下一代AI PC內NPU的最低運算要求是40 TOPS（每秒兆次運算），為滿足
: 高算力AI應用的需求，AI PC的記憶體容量和速度也將大幅提升，未來16GB甚至32GB的記
: 憶體空間將成為標配。
: 在近期的相關產品方面，華碩21日端出採高通最新Snapdragon X系列處理器、及搭載微軟
: 最新Win 11升級更新版作業系統，AI算力達45 TOPs（每秒兆次操作）的AI PC新品
: Vivobook S 15。微軟在開發者大會上發表的新一代Surface Laptop筆電及Surface Pro變
: 形平板亦內建安謀架構的高通晶片，能在不連接網路的情況下直接在本機執行AI運算。
: 二、AI PC市場有多大？
: 伴隨著新一代AI晶片的問世，業界樂觀看待今年將成為AI PC元年。研調機構預估，隨著
: 逐步推廣，搭載的大模型AI晶片市場空間巨大；當AI PC滲透率達到30％時，相關AI晶片
: 市場規模將超過340億美元；當滲透率達到60％時，市場規模將突破670億美元。
: 市場規模的增長，除了受益於滲透率的提升外，還有賴於AI晶片從高端向主流的持續鋪開
: 。AI PC的出現，標誌著傳統PC正在經歷新的顛覆。通過AI模型，AI PC不僅能大幅提升內
: 容創作和消費的體驗，還可以為用戶提供個性化的智慧助理服務，進一步開啟個人生活和
: 工作的新紀元。
: 資策會預估，今年全球PC出貨總量將至2.46億台以上，其中AI PC可達3,864.8萬台。未來
: 三年間，AI PC將進入高速成長期，至2026年突破1.32億台、2027年時更將挑戰1.8億台，
: 滲透率亦從近五成拉升至達66％，成為市場主流產品。
: 摩根士丹利證券半導體產業分析師詹家鴻則指出，大摩全球PC硬體團隊預期，AI PC的滲
: 透率自2025年將會急速拉升，Windows on Arm（WoA）架構的PC因耗電較低，會是整個AI
: PC發展的關鍵成長引擎，估計滲透率從2024年的8％跳升至2025、2026年的30％與50％。
: 國內業者義隆電則表示，第二季NB持續有短單挹注，AI PC備貨訂單逐步放量。儘管公司
: 預期今年筆電出貨量介於低至中個位數增長、AI PC滲透率預估約5％～10％。
: 三、AI PC元年來了 台廠供應鏈有哪些？
: 隨著進入AI PC元年，英特爾宣布要在2025年前，上市1億台搭載英特爾AI處理器的AI
: PC/NB，帶動新一波換機潮。專家認為，台廠供應鏈是世界上最完整的AI PC生產鏈，在英
: 特爾的1億台AI PC目標下有望迎來大商機，當中包括宏碁、華碩、仁寶、英業達、藍天、
: 技嘉、緯創、廣達、精英、和碩等。其中宏碁與華碩更是在微軟舉行的新品發表會中被微
: 軟執行長納德拉（Satya Nadella）點名為設備合作夥伴。
: 亦有業者指出，台系ODM廠、晶片、傳輸介面及關鍵零組件等業者可望受惠，如瑞昱、聯
: 發科、新唐、聯陽、友達及台積電等大廠皆可大啖AI PC商機。聯發科的次世代AI晶片天
: 璣9400將於下半年問世，在COMPUTEX 2024（台北國際電腦展）上也將攜手輝達推出AI新
: 品Arm架構PC晶片，與高通X系列晶片一較長短，挑戰PC產業X86處理器獨大的市場現狀。
: 而半導體上游可以關注日月光、茂達、義隆等台廠，群聯與威剛則有望分食AI PC的SSD大
: 餅。
: 心得/評論：
: 市場普遍看好，AI PC下半年傾巢而出
: 包含半導體上游台積電、日月光、聯發科、茂達、
: 義隆及鈦太；品牌廠宏碁、華碩；
: 代工廠和碩、廣達、緯創、英業達、仁寶等可望受惠。

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 24.4.211.194 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1716877170.A.604.html
推 EddieJeremy : 不買USD??
推 Gipmydanger : QQQ就好了，現在吃硬體，以後吃軟體，通吃。
推 bluezero000 : 高通可行
推 SSglamr     : 好 all in 發哥
推 KrisNYC     : 好 總之能比較省電 可以在筆電上跑
※ 編輯: LDPC (24.4.211.194 美國), 05/28/2024 14:54:43
推 soome       : 用筆電跑AI CPU溫度都接近100度
推 fpso        : 嗯，我整篇都能看懂！樓下翻譯翻譯謝謝！
推 A1pha       : 翻譯：做某些工作比較省電。
→ A1pha       : 空單滿倉
推 IhateOGC    : 感謝關鍵字on device
推 scum5566    : 就省電 不會一跑就炸機
推 mdkn35      : 哪一家的筆電這麼脆弱？