最近在自學人工神經網路(Artificial Neural Network)
這個方法在機器學習領域算是重要的工具
簡單來說既是將inputs透過線性方法先進行組合
然後再透過非線性轉換(例如Sigmoid或是ReLU)再進行輸出

在進行線性組合那個部分需要對parameters, w進行估計
這個部分和傳統的回歸模型非常類似

讓我不禁好奇是否ANN透過不斷iterate找尋最佳化w的過程
其實就是在創造一個擬合statistical distribution的過程?
如果是這樣的話，那和regression model背後的邏輯就很接近了

各位高手對這樣的見解看法如何?
若有誤解請指教，謝謝
※ 編輯: incessantgas (71.58.82.199 美國), 06/23/2020 01:45:15
推 joshddd: 同問
→ yhliu: ANN 通常採用的是 logistic form, 而它的 "參數估計" 是直
→ yhliu: 接按特定公式計算. 它是一直以新的資料更新參數, 並不考慮
→ yhliu: 參數估計方法的 "最優性", 也不考慮模型的統計適切性.
→ yhliu: 但由於 input 一直在增加 (n→∞), 所以, 最終得到的預測
→ yhliu: 模型將趨近於設定模型與事實最接近的狀態.
→ yhliu: 統計的 logistic regression model 操作上只有一組固定 n
→ yhliu: 的資料, 因此除了考慮模型的實務與統計適切性, 也考慮了估
→ yhliu: 計方法的最優性. 因為不是線性模型, 所以要得到最後的估計
→ yhliu: 或說是預測模型, 並沒有可直接套用的一次計算式, 而是用迭
→ yhliu: 代逼近的方法.
→ yhliu: 上面所說的 "統計適切性" 指的是模型中對資料所來自群體機
→ yhliu: 率分布的假設, 資料變異(分散)相關的假設等. 實務適切性是
→ yhliu: 指模型與事實是否足夠接近. 而 "最優性" 指的是估計方法產
→ yhliu: 生之估計結果與 "真實參數值" 之間誤差 "最小". "真實參數
→ yhliu: 值就是該模型與真實狀況最接近的狀態所對應的模型參數值.
→ yhliu: 統計的 "最優" 考慮一個結果就是估計值與 "真實參數值" 最
→ yhliu: 接近 (相同 n), 或最快趨近 (n→∞). 但由於 ANN 面對的是
→ yhliu: n→∞, 對趨近最終值速度及前面的有限 n 並不注重, 所以只
→ yhliu: 是取一個合理、易算的參數估計方法, 而不像統計人員精打細
→ yhliu: 算地想用有限 n 筆資料得到最接近真實參數值的估計.