Re: [問題] 要怎麼讓AI記住一件事情？

[sxy67230 (charlesgg)]

※ 引述《choulan (莫可莫可)》之銘言
: 最近聊天用的AI很夯，我也去玩了一下，也試著弄了一些文字冒險遊戲

小弟本身是相關的研究領域的剛好在西恰看到就簡單回答，chatGPT當前是沒有所謂記憶這
件事的，他其實是用到一個Trick就是直接把你前面的對話直接併到當前對話，由於目前有
最大字數上限(印象中是4000還是40000，有錯還請見諒)超過就直接把你前面的對話都丟掉
，所以你常常會發現他好像講一講就自己忘記了。

GPT系列本身其實就是有點像接龍一樣的語言模型，你問馬可就會去預測一般人類遇到最常
做哪種回覆(最常見應該是波羅)，所以你要說他有智慧還差得蠻遠的，甚至生物智慧都是一
個當前學術研究的問題，像是神經演化算法也是一個新的研究方向(當前的神經元設計是由
人工構造用一些最佳化算法最佳化參數，而神經演化是基於遺傳算法跟自然選擇用進廢退的
方式企圖讓模型自我生成)。

最後當前有幾種業界常見的讓chatBot有記憶的方式，第一種是用一個長短期記憶神經網路
來去記住前面經過哪些對話序列後該選擇下一個是什麼，這種常見有明確選擇式的chatBot
，像是點餐機器人就是根據公司設定的對話串再決定你下一句該選擇哪個對話節點，另一種
是去透過一個更輕量的小網路來訓練機器把需要記憶的事情存起來，等到偵測到需要查詢的
內容再合併起來給模型生成對話回覆，其他的還有一些正在研究的做法，太複雜學術的就不
再這邊討論了。

人類其實在記憶上是很複雜的，大腦有分短期記憶跟長期記憶，而且人類也會選擇記憶，舉
例來說，你跟朋友前天話家常講幹話的內容應該沒有人都可以完全記住的，但是你跟主管開
會討論的內容重要代辦事項至少可以讓你記住兩三天後再忘記，人類也會借助外部儲存工具
來輔助，所以這塊還是有很多代解之謎，我跟大家都一樣期待有一天機器可以完美復刻人腦
通過百分之百的圖靈測試，那麼那天真的就是人類的科技奇點，再此之前身為研究員也會不
斷努力地站在巨人肩膀上也給後輩當巨人的肩膀傳承我們的任務。


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.46.112 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1671406728.A.DEC.html
※ 編輯: sxy67230 (101.12.46.112 臺灣), 12/19/2022 07:40:10
→ dreamnook2: 這篇有種ai產的感覺（欸
真人啦！機器應該不會這樣回覆推文吧？
※ 編輯: sxy67230 (101.12.46.112 臺灣), 12/19/2022 07:46:27
推 guogu: 只能等傳說中能通過圖靈的gpt4了
→ smart0eddie: 不是幹話可以記好幾個月但是開會只能記兩三天嗎（誤
有些幹話倒是可以記很久，像我到現在都記得我死黨自己說喜歡E奶大波，但是內人問我交
往當初的聊天內容就記不住了
※ 編輯: sxy67230 (101.12.46.112 臺灣), 12/19/2022 09:31:15
※ 編輯: sxy67230 (101.12.46.112 臺灣), 12/19/2022 09:35:04
推 arrenwu: 我總覺得LSTM那作法感覺不是很scalable 說XD              12/19 11:06
我這邊後來有看到去年有用Transformer做的，但是整體架構還是沒變，用Transformer大概
就是提升Robustness，其實這種Dialogue policy比較多應用在這種有既定任務的行為，這
種一般要做純生成是有困難的，畢竟他有動作(可能是調用API)需要人工設計給他一個目標
，純只靠一個模型生成我認為是很難的事情，大多都會用系統面搭配資料庫利用來符合工業
使用，缺點就是這個對話樹需要人工維護。
※ 編輯: sxy67230 (101.12.46.112 臺灣), 12/19/2022 12:56:14
推 UnifiedField: 唉我還真以為 GPT 成功做出記憶了，你一說並接我就
→ UnifiedField: 懂了XD
推 nilr: 推
推 TaiwanFight: 這領域年薪聽說隨便都能四五百萬吧  贏麻了           12/19 22:03
主要還是對這塊領域有興趣，大學時代就開始深耕了(那個年代做神經網路研究都被教授說
沒前景)，畢竟我那個孩童時代每個男孩都對阿斯拉、哆啦A夢有幻想過。
推 vios10009: 沒特別弄記憶是不想占太多內存吧？不然只有4000個標記
→ vios10009: 真的很少，不然他每個公開的網頁都能模擬出來，資料量
→ vios10009: 肯定很大
你說得對，國外有人逆向工程發現到他可以做到併接很大的前段對話，但是當前研究生物腦
發現其實可以更高效地壓縮資訊，等到需要使用部分資訊透過跳躍式聯想提取正確資訊，我
覺得當前GPT還沒做到這樣的生物腦功能。
題外話: 我有很多朋友覺得chatGPT出現就沒有甚麼東西可以研究了，但是我發現其實還有
更多需要研究的子議題出現，包含記憶、世界模型(你研究深一點就發現chatGPT根本不懂世
界的規則)，還有論文有發現到chatGPT在後期微調用強化學習方式會導致其他通用領域(像
是語意分類)的性能下降，這些都是值得繼續探索的議題。
※ 編輯: sxy67230 (49.216.26.207 臺灣), 12/20/2022 07:30:24
※ 編輯: sxy67230 (49.216.26.207 臺灣), 12/20/2022 07:36:15
推 UnifiedField: 真，像是正確性也還完全無法保證