[微積] 最佳化的概念

[vacuityhu (真空管)]

抱歉大學學的東西不小心都還給老師了...請各路大神幫忙QQ

假設我有一組數據F_data
有一個函數F(a, θ, c) = a*cos(θ) + c
則可定義出我的objective function
min|| F-F_data ||_2, minimize的對象是a, θ, c, 且0<=θ<=2pi

為了求解這個最佳化問題
我可能可以選擇Gauss–Newton algorithm
或是Levenberg–Marquardt algorithm
或其他不同的演算法等等

我的問題是, 當我選擇不同算法的時候
這各種算法理論上應該要收斂到同一個最佳解嗎?
我以為當objective function決定的當下, 最佳解就跟著決定了
而不同算法只是走著不同的路線往最佳解收斂
不知道我的理解是不是對的QQ

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.17.65 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1726168065.A.3EF.html
→ saltlake    : 不同的起始點可能導致「收斂」到不同的解
→ saltlake    : 都看到「牛頓」法了。求根問題用牛頓法解，就知道
這可以理解, 但我對問題的定義應該已經讓根只有一個了才是?
又或著我控制各算法的起始點也一致的話, 就能讓大家都收斂到同一個解了嗎?
※ 編輯: vacuityhu (1.171.17.65 臺灣), 09/13/2024 09:24:16
推 arrenwu     : 欸 看你用什麼演算法。就我知道的演算法通常是收斂
→ arrenwu     : 到一個區域性的極值
→ arrenwu     : 但根據問題的性質，區域性的極值可能就是全域性的
→ arrenwu     : 極值。比如 comvex optimization problem 就有這種
→ arrenwu     : 性質
→ mantour     : 如果有幾個不同的局部極值,即使起始點一樣走不同路
→ mantour     : 徑也有可能最後落在不同洞裡阿
→ mantour     : 甚至用同一種算法, 比如梯度下降的步長不同也有可能
→ mantour     : 導致從同一個起點出發最後落在不同的山凹裡
→ saltlake    : 高中數學，求函數極大極小值，要看可能的極值點
→ saltlake    : 要對函數做一次微分後求根。那些根包括極點和拐點
→ saltlake    : 先看只有一個資料點的情況，目標函數微分後出現正弦
→ saltlake    : 函數，所以零點和二拍是兩選項。一次微分的括號裡面
→ saltlake    : 因為C是代入資料點，一般有誤差而不會滿足
→ saltlake    : 零點和二拍代入於弦函數得相同值，又剛好在區間端點