[爆卦] 牛頓法的最新擴展

[jackliao1990 (j)]

https://arxiv.org/pdf/2311.06374

1680年代艾薩克·牛頓發明牛頓法以尋找函數最小值
用函數的一階導數和二階導數構建二次泰勒近似
通過迭代計算二次方程最小值以逐步逼近函數最優解
人類用它解決優化問題如平衡投資組合的風險與回報、開發自動車視覺辨識系統。
此法收斂速度快（二次速率）且優於梯度下降法（線性速率）。
缺點是當起始點遠離真實最小值時可能失敗
19世紀俄國Pafnuty Chebyshev提出用三次方程近似卻無法處理多變量函數
2021年Yurii Nesterov解開如何用三次方程近似多變量函數但無法用在更高次方程

易於最小化的函數應具備單一谷底和平方和形式
普林斯頓大學的Amir Ali Ahmadi與學生Abraar Chaudhry和Jeffrey張為此使用半定規劃
微調泰勒近似使其同時滿足凸性和平方和特性又不偏離原始函數
新算法能以更少迭代次數逼近真實最小值且效率隨導數階數提升而增強
新算法計算成本仍高
而牛頓法每步計算成本較高但迭代次數少 總體效率高
另外梯度下降法因計算簡單
目前仍主導機器學習等領域
若未來計算技術進步降低每次迭代成本
新算法可能超越梯度下降法
Ahmadi預測10-20年後該算法可能在實踐中展現優勢

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.253.178.35 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1742866504.A.7BC.html
→ gx8759121: 好像很厲害
噓 NirOE: 不窺視issac
→ WeGoStyle: 跟樓下想得差不多 只是樓下懶得寫
推 HisVol: 西元2025年了還在牛頓法？
→ preisner: 我十年前就知道了只是不想講
→ Forcast: 牛頓拉弗生、高斯賽德
→ bill403777: 這我國小科展時有想過這題目
推 sasaya7749: 這玩ansys非線性求解的時候有用到
推 Xaymaca: 早就想到了  為什麼要發表呢?
推 bebehome: 小學數學拿來爆掛？
推 ryo1008: 對對
推 Mradult: 國中算給數學老師看，結果被臭罵一頓
→ HodorDragon: 嗯嗯 我昨天大便時也這麼想
推 leo1217000: 數學的精靈語太難看懂
推 ebiebibbNOOB: 我那天跟他小聊一下 竟然有聽進去
推 woogee: 減少疊代但計算成本高?這麼神奇
推 eric112: 我才剛用chatgpt推理出來馬上就有人知道
→ eric112: 了
推 finhisky: 砍蘋果樹就是厲害
噓 KadourZiani: 當年我證明給他看了，他不放在心上
→ KadourZiani: ，沒想到時間證明我是對的
推 gn01881106: 小輩如此受教 吾深感欣慰
噓 t19960804: 這東西我小學就知道了 我跟老師說他還
→ t19960804: 罵我
推 PetrVanis: 2025還在做牛頓法，成本一樣很高 這樣
→ PetrVanis: 也可以發新聞？嘴砲論文
推 fgh81113: 蘋果在哪裡
→ Cuchulainn: 到近年才優化新逼近
推 windydancer: 都快五百年了，還不放過牛頓？
推 orange0319: 幹，這連理組都不一定看得懂吧，只能
→ orange0319: 靠數學系了
推 DublinSky: 牛頓法限制太多，要連續，起始要夠近
→ DublinSky: 但是在連續的情況下可以用泰勒降階
推 pyhsiao: 是否可以和梯度下降法混合使用?
推 eternal523: 簡單 重要 下次會考
→ kamisanma: 108課綱刪掉了 又要補回來了嗎
推 deerdriver: 可以說中文嗎
推 create8: 牛頓快速尋根法，計算 inverse sqrt ，
→ create8: 毀滅戰士會用到