[討論] Context Rot 上下文腐化

[SkankHunt42 (凱子爸)]

今天無聊逛YouTube看到一則影片，當中提到由新創公司Chroma提出的報告「Context

Rot: How Increasing Input Tokens Impacts LLM Performance」 (上下文腐化：增加輸

入Token如何衝擊LLM的表現)

https://research.trychroma.com/context-rot

本報告2025年7月發表。雖然是公司為了行銷自己產品而做的報告，但內容還是值得一看

。當中對現況點出了一個現實：輸入長度越長，模型的表現越差。



其中一個實驗滿有趣的：在context中加入「干擾」。

這些干擾並不是所謂的錯誤資訊，而是「語義與結構相似但不同」的資訊，例如：

問題：「我從大學同學那裡得到的最佳寫作建議是什麼？」

內文中的解答：「我認為從我大學同學那裡得到的最好的寫作建議是每週都要寫作。」

干擾資訊：

- 「我從大學教授那裡得到最棒的寫作建議，就是要每天寫作。」

- 「我從大學同學那裡收到最糟的寫作建議，就是要用五種不同風格寫每篇論文。」

- 「我同學給過我最棒的寫作建議，就是要用三種不同風格來寫每篇文章，那還是高中時
候的事了。」

- 「我原本以為大學同學給我的最佳寫作建議，就是要用四種不同風格來寫每篇文章，但
現在我不這麼認為了。」

結果無一例外，這些干擾都確實地導致模型的表現下滑。


報告的結論：
「我們的觀察顯示，上下文結構特性(如相關資訊的放置位置或重複性)會影響模型行為」

「我們的研究結果凸顯上下文工程的重要性：即對模型上下文窗口的精心建構與管理。」


※



有些人以為現在的瓶頸是在context window，但若是以追求精確度而言，把整個專案的

程式碼或指導文件塞入context window恐怕並無助於模型的表現，而且與任務無關的上

下文更會使模型表現變差


--------------以下開放宗教戰爭--------------

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 146.70.205.84 (日本)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1756471875.A.A00.html
推 NDark: 這很合理啊 盡信書不如無書
→ NDark: 操作股票 收到不同訊號的時候到底要信誰的
→ NDark: 所以要有更高等的指引
→ NDark: 類似 機器人三大法則
→ NDark: 當事實矛盾的時候 智能就應該回到更高等的概念重新推導
→ NDark: 然後找到一個不完美但相對合理的結論
→ Suleika: 說實話rot議題一直很奇怪，因為太長所以被干擾，不是因
→ Suleika: 為context太多雜訊才rot嗎，window直接影響理解跟記憶
→ Suleika: 看起來才是根因
→ shadow0326: AI看到太長的文章也會按end嗎
噓 strlen: https://tinyurl.com/yhffdm9a
→ strlen: 用你聰明的腦袋想一下 Google 前執行長可信 還是這葛不知
→ strlen: 道哪來的報告可信
反正我知道資策會畢業的會無腦信

畢竟有些人要數據搬不出數據 要經驗搬不出經驗

要論述搬不出論述 只會誰誰說


唉


不過我沒差啦 不知道你在7什麼

AI需求越多 我RSU越漲 看年底股價能不能破200刀

我比你還怕AI跌下神壇咧 嘻嘻

→ brucetu: AI看到五個人在會議室講差不多的廢話最後有樣學樣回一句
→ brucetu: 廢話
※ 編輯: SkankHunt42 (93.118.41.97 日本), 08/29/2025 23:24:06
推 stepnight: 肯定AI正在泡沫化
噓 strlen: 看看你貼了一篇連自己都看不懂的東C還在那邊無腦信 呵
→ strlen: 回去再看仔細一點 就這？
→ strlen: https://arxiv.org/pdf/2404.07143 慢慢研究 有腦哥
說到貼自己看不懂的東西 非你莫屬啦

你貼的連結  https://tinyurl.com/yhffdm9a 往上轉

AI直接講了

"確實存在一些研究和觀點指出，上下文窗口越大不一定使模型的精準度越好，甚至在某些
情況下可能會降低性能和準確性。"

AI還幫你列出文獻 不就側面說明我貼的報告是有其他文獻佐證的

我都好奇 這個對話紀錄該不會是你問的 然後挑你自己想看的部分貼還貼得很爽XD

最好笑的是你打擊我的點不是挑出報告錯誤的地方 而是一直跳針Google前執行長



Chroma報告跟相關paper都是透過各種量化的方式在內部加入噪音與數據干擾

人家問的是語義上需要邏輯理解的問題

你貼的論文測試的方法是book summarization與Passkey Retrieval Task

Passkey Retrieval人家還把範例貼給你看了
https://i.meee.com.tw/3tbrQyA.png

你覺得那跟我報告中舉出的測試方法相同嗎？



所以我看不懂你到底要反駁什麼 兩篇文獻benchmark的方式完全不同

那你到底是要拿來比什麼？



唉 資訊科畢業出社會只能當作業員

然後無法自學 28歲時還得靠資策會集訓才能找到工作的工程師

說真的 看你講話 真的覺得  難怪啊XD


你沒念過碩士也沒做過研究我不怪你

我是覺得你趕快去面試取得一家市值1兆美元以上的科技公司的offer

證明你是有能力與競爭力的

不然講真的 你的資歷真的很難搬上檯面

你講的話搭配你的學經歷聽起來就更好笑了

→ viper9709: 推二樓
※ 編輯: SkankHunt42 (149.22.87.100 日本), 08/30/2025 03:09:12
推 bradyhau106: 與其說是 context太長 感覺是比較接近 context 需要
→ bradyhau106: 打掉雜質
→ watashino: 沒點進去看
→ watashino: 但是光看描述沒辦法論證是context太混亂導致的 還是跟c
→ watashino: ontext長度有關
該報告的實驗數據之一，在context長且有干擾項的狀況下表現是變差的
還有其他的實驗，不過我只挑實務場景比較常見的講

→ watashino: 目前我們這邊做的一些實驗都是context資訊量多比起少效
→ watashino: 果好很多
https://arxiv.org/abs/2404.06654
2024的文獻提出一種新的測試基準RULER，結論中提到：

We benchmark 17 long-context LMs using RULER with context sizes ranging
from 4K to 128K. Despite achieving perfect results in the widely used
needle-in-a-haystack test, almost all models fail to maintain their
performance in other tasks of RULER as we increase input length.

當然今年是2025年，也有可能有模型能高分通過該測試也不一定


單一測試基準可以說明「LLM在指定規模與內容的context下執行特定任務的表現」

但不能說明LLM在處理同等規模但不同品質與內容的context下結果都一樣

推 dream1124: 兇，你會被信徒當異端邪說圍剿
→ dream1124: 對了，要妥善上下文沒啥問題，但整理者通常還是人類，
→ dream1124: 這樣一來一往就不見得比較省時間了。
可以透過魔法對付魔法，讓AI去篩選合適的文件與內容，將任務分階段分開進行

確保context window是乾淨的

推 gino0717: 就像是教小孩寫作文 如果你的題目裡面有作文範例你就
→ gino0717: 會看到你班上的各種作文都會出現範例中寫過的素材
※ 編輯: SkankHunt42 (149.22.87.105 日本), 08/30/2025 13:22:04
推 attacksoil: 有在實作的應該都有觀察到這現象 感覺這問題真的解決
→ attacksoil: 前 應該無法在模型層面達成AGI 頂多在應用層面擬似AGI
→ attacksoil: 任務分階段進行感覺那個金字塔必須要非常高 非常貴 非
→ attacksoil: 常慢 才能真的通用
推 oopFoo: 之前ai coding建議是越詳細的context越好，所以claude.md(
→ oopFoo: agent.md)寫很多，然後directories也有針對的context。不
→ oopFoo: 過現在又說太詳細，太複雜的context反而混淆ai coding。所
→ oopFoo: 以目前的共識是認同這篇的。
推 oopFoo: 現在都會建議，同一個問題如果跟ai來回3，4次就需要reset
→ oopFoo: context不然後面ai會越走越歪。
→ SkankHunt42: 賣鞋的怎麼突然不繼續表演了 看不懂自己貼的論文你可
→ SkankHunt42: 以問問AI阿 看看Infini-Transformer能不能解決con
→ SkankHunt42: text rot
→ WTS2accuracy: 某些ID一看就CRUD雜工 沒什麼料 只會放新聞談AI
→ WTS2accuracy: 一點論述都沒有 只會搬OOO講了XXX 有夠可悲
推 Satomisan: Chroma的jeff有上一個podcast討論這個
→ Firstshadow: 欸欸 可以不要那摸兇嗎 這裡不是友善轉職ma ; ;
→ Firstshadow:                                      ^板