推 a27417332 : 推推 06/04 01:42
※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 01:47:29
推 holebro : 學到了06/04 02:07
推 ggggggh : 好奇問問。一台會鎖螺絲的機器要多少錢啊? 06/04 02:56
這邊是假設AGI真的實現,那他不是只有會鎖螺絲,就像人類能自我急救、急救他人一樣
,那就不是一台專門鎖螺絲的機器,他可以做任何任務包含知道自己哪個部位受損該如何
自救。AGI實現的話,人類社會就不需要存在了,那才是真正的大問題。只是當前人類離
這個階段還很遠,當前所有深度學習模型只是基於歸納式的模型,那就必須依附在人類之
上。
※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 07:48:33
推 yudofu : 以螺絲來說現在早就已經可以自動給螺絲自動電腦視覺06/04 08:50
→ yudofu : 對位自動鎖螺絲加扭力控制了,不用的原因是人比較便 06/04 08:50
→ yudofu : 宜,在中國請個OP打螺絲底薪三千加班後五千又乖又聽 06/04 08:50
→ yudofu : 話,不是高毛利跟高良率產業或者少子化找不到人幹, 06/04 08:50
→ yudofu : 什麼都導機器人導AI而沒有實際為產品帶來對應的價值06/04 08:50
→ yudofu : 提升最後的結果都是放棄,好不好很需不需要是兩回事06/04 08:50
→ yudofu : 。06/04 08:50
→ yunf : 你講的都是很籠統的話06/04 09:16
→ yunf : 很多機器手臂已經會互相修復和溝通了06/04 09:17
→ yunf : 只是還有太多發展空間06/04 09:17
推 pttnowash : No 會說設備工程師難取代是因為背後的整套機制 06/04 09:18
→ pttnowash : 不是單純某個動作 根本沒看到重點06/04 09:19
→ pttnowash : 譬如換機油 如何製造取得/如何運送到機器旁? 06/04 09:20
→ pttnowash : 如何獲得最原始的各種原料?06/04 09:21
→ yunf : 這些都可以流程化 可以被流程化就有機會程式化 06/04 09:21
→ yunf : 小朋友言論 =.= 06/04 09:22
→ pttnowash : 在強尼戴普電影全面進化transcendence則有強調 06/04 09:22
→ yunf : 有什麼原物料是無法流程劃取得的嗎? 06/04 09:23
→ pttnowash : 超級AI如何解決原料取得跟安裝運送的問題 06/04 09:23
→ yunf : 哪裡有問題都是用電 06/04 09:24
→ yunf : 之後是核融合06/04 09:24
→ yunf : 你真的認為非核會成真嗎?06/04 09:25
→ yunf : AI認知中的環境是人類認知中的環境嗎?06/04 09:25
推 chocopie : 唯一最適合全面取代人工的是上太空, 06/04 09:27
→ chocopie : 在月球鎖螺絲、在水星挖礦之類的。 06/04 09:27
→ yunf : 小朋友你提出來的東西都經不起考驗喔! 06/04 09:28
推 pttnowash : 可以先進到這種水準的AI 就可以消滅人類了啦06/04 09:41
→ pttnowash : 你才在哪唬爛 光講甚麼可以解決 你馬上做啊只會放屁06/04 09:42
噓 pttano : ZZzzzzzzzzz06/04 09:57
推 kappaisshit : 你講的好複雜喔講簡單一點是什麼06/04 12:17
噓 DrTech : 拿過時paper當專業? 怎麼不拿LLaMA的paper 來說其06/04 13:42
→ DrTech : 實現在大家訓練GPT-3以上的能力根本超容易。06/04 13:42
→ DrTech : 一看就知道你不是在做NLP與LLM在亂發文啦,現況根本 06/04 13:44
→ DrTech : 不是這樣。06/04 13:44
→ DrTech : 2023年,現在很多Open source要訓練超越GPT-3 的能 06/04 13:48
→ DrTech : 力,本跟超簡單好嗎。06/04 13:48
所以LLaMa有GPT-4的參數量跟性能嗎?我這邊前面提到的就是OpenAI自己公佈他們訓練GP
T-4的可scalable 的工程化細節,這個放眼到現在要復現跟GPT-4一樣參數的跟scalable
能力,依然是不容易的事情。然後這邊是拿完全復刻GPT-3的OPT-3來做對比,利基點要一
樣才能做比對,然後深度學習可解釋的問題在2023的今天這篇2020的Paper基礎學習算法
依舊沒有改變所以依然有效,光是今年4月就有相關研究在研究一些學習有效性問題也發
現GPT-2、GPT-3更傾向低複雜度建模了,建議DrTech先看清楚文章脈絡再回覆喔。
P.S. 過時的文章不代表完全無用,要看中間有多少翻新的成果,當然對於基礎學習算法
的研究很多都要隔幾年才出現一篇,這類基礎學理當前還是很薄弱的。
※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 14:44:02
→ DrTech : 你跳針耶,你拿的論文是GPT-3等級的。 06/04 15:13
→ DrTech : LLaMA有沒有GPT-4的性能,也要看細節,有fine-tune 06/04 15:15
→ DrTech : 的,特定任務,可以贏沒有特地fine-tune的GPT-4也很 06/04 15:15
→ DrTech : 正常。 06/04 15:15
→ DrTech : 至於你在扯GPT-4參數? Open AI根本沒公布參數量, 06/04 15:16
→ DrTech : 你怎麼知道,你在瞎掰什麼。 06/04 15:16
→ DrTech : 歡迎拿論文或參考資料來佐證,而不是引用一篇paper 06/04 15:17
→ DrTech : 後,2成對,八成內容在瞎掰。 06/04 15:17
→ DrTech : 請教一下,哪篇論文或網址,有透漏GPT-4的參數量與 06/04 15:21
→ DrTech : 訓練細節的? 歡迎站內信給我學習,我是從來沒看過 06/04 15:21
→ DrTech : 。 06/04 15:21
→ DrTech : 你的文章都不錯,看得出來一定的專業。難得此版有專 06/04 15:26
→ DrTech : 業的人願意發文。如有什麼誤解,也歡迎站內信給我些 06/04 15:26
→ DrTech : 指導。 06/04 15:26
我覺得你有點誤會了,這邊是兩個問題分開說明的。
GPT-4是沒有公佈他的具體訓練細節跟參數,只能知道跟GPT-3差不多可能更大。可以看一
下GPT-4 report第三頁還是第四頁他們有討論到他們整體系統已經經過優化能做到從小模
型直接推估出最終大模型的loss這點就算是你直接拿開源Llama 訓練都很難復現GPT-4的
工程能力,我的第一個問題回覆是指撇開模型效能不管來探討純粹工程複雜度,當然Llam
a用1/10不到達到相應的效果是很好的,但是考量到未來萬一有想復現甚至把羊駝家族提
升到對應參數量那第一個問題就是要怎麼弄出跟OpenAI一樣的系統確保訓練穩定這件事,
所以我才會說是不容易的,不是要拿來說Llama云云之類的。
然後第二個問題關於學習算法問題可解釋的研究當前最多就是只有研究到GPT-2到GPT-3從
一些線索來推估GPT-4甚至整體LLM的可解釋問題,我覺得用這篇論文來說明沒什麼問題,
而且隨著模型更複雜反而會更難解釋模型到底學到了什麼的問題,所以當前的研究包含Op
enAI他們自己的研究都不會考慮拿最複雜的研究而是從比較好下手實驗的模型來推估隨著
參數增加模型的變化並且預測到GPT-4也會有相應的可解釋性。
主要是我想表述的有點多又比較雜,造成誤會就先說抱歉。
這邊附註一下,我這邊其實是想說明的是我為什麼覺得當前模型很難完全取代資工人,從
訓練來看降低工程複雜度是還有辦法提升的,這需要有資工背景,而從可解釋性來看,當
前算法很難有一個我們訓練好就可以解決全部問題的模型,所以最終還是需要搭配各種系
統包含顯式Coding來解決模型不足。
※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:23:54
推 gino0717 : 南無阿彌陀佛 06/04 16:10
※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:44:02
推 saygogo : 人力資源的取代是漸進的,一樣的工作成果,從10個人 06/04 19:58
→ saygogo : 漸進到5個人再到2個人 06/04 19:58
推 nanpolend : ai其實很燒錢搞不好用人才比較便宜 06/04 20:28
推 nikolas : 用做產品角度來 沒有人會做出符合全部市場的功能 06/04 20:40
→ nikolas : 根本不切實際 一定是漸進式先小規模再慢慢擴大應用 06/04 20:41
→ nikolas : 所以當然不可能完全取代資工人 06/04 20:42
噓 weitin7011 : 好喔 你覺得不會就不會吧 06/05 08:34
→ jones2011 : 在火星上使用遙控開車的技術不知道多久了 06/05 09:20
→ jones2011 : 那請問你現在出門也用遙控方式開車嗎 06/05 09:21
→ jones2011 : 為啥不會的理由,跟這個問題的理由一樣 06/05 09:22
→ jones2011 : 有些機密,是因為在人的腦袋內所以才是機密 06/05 09:27
→ jones2011 : 只要讓AI學會,就跟公開讓人查閱也相距不遠了 06/05 09:28
→ jones2011 : 而就成本來說,當前用人來執行相關工作更便宜 06/05 09:41
推 Jacob975 : 我覺得樓主sxy講的很棒,因為能夠用正確的數學佐證 06/06 15:41
→ Jacob975 : 自己的主張。被許多人質疑是一件好事,代表有許多人 06/06 15:41
→ Jacob975 : 看到你的意見,但是也請不要過度放在心上,畢竟有 06/06 15:41
→ Jacob975 : 些人,嘴上講得好AI,但可能連crossentropy是什麼 06/06 15:41
→ Jacob975 : 都解釋不來。 06/06 15:41
推 haha248787 : 推樓上還有樓主 06/06 19:31
噓 acininder : 笑死 拿一堆術語拼起來唬唬人還行 06/07 11:13
→ snoopy790428: 那ai機器人互摸會高潮嗎 06/07 22:13
推 elevenkbc : 也太專業了吧,推 06/08 07:54
噓 wengeniusgod: 你還是閉嘴吧 06/13 07:27