噓 MoonCode: 03/07 10:24
看了這兩串, 充滿了疑問..
想討論一下這個主題： token
(1) 每個LLM 都有自己的max. tokens
這是在training model時就要決定的
(2) max output tokens是讓agent在送給LLM 之前處理用的，避免超過LLM model的max. tokens
(3) rules 沒被執行，有可能是context可能超過LLM model的max. tokens, agent 主動壓縮或刪除了某些context
這樣不就解釋了兩串原po的問題？
麻煩指正，若我的了解有誤。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.249.83.213 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1772849566.A.402.html