作者abc2090614 (casperxdd)
看板DataScience
標題Re: [問題] L1與L2正規化的差別
時間Fri Apr 6 09:13:00 2018
※ 引述《bokxko1023 (bokxko1023)》之銘言:
: 在網路上看了不少文章,但還是無法理解為何L1會具有稀疏的特性?這兩者的具體差別到
: 底是什麼呢,能用gradient descent 在微分時的差別來解釋嗎?
: 另外想請問大家是怎麼選正規化的權重alpha的?雖說知道是用trial and error,但數字
: 範圍這麼廣,有沒有限縮範圍的方法呢?
: 感謝大家
一點數學史
大概在十幾年前
Tao跟Donoho在研究compressive sensing時
忘記是誰發現L0 optimization可以relax成L1 optimization
稀疏是從L0來的
但L0-norm不是convex problem
L1是convex
所以可以用convex optimization的方法下去解
大概二十幾年前convex optimization領域有突破 大家才知道怎麼解L1
才解得出 L0 的 sparse recovery
像 LASSO
我猜當年 Tibshirani 剛弄出來沒爆紅也是因為大家不知道怎麼有效率的算 L1
但其實 L0 才是大家想解的東西
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 68.71.180.136
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522977183.A.35B.html
※ 編輯: abc2090614 (68.71.180.136), 04/06/2018 09:16:05
推 EGsux: 推一下 沒看過 04/06 09:20
→ fallcolor: 好懷念喔 04/06 09:35
推 a75468: 推推 04/06 14:57
推 lucien0410: 能夠翻譯成不懂數學但想學的人聽的懂的語言嗎? 04/06 15:35
→ lucien0410: 數學這門學問 我越接觸越覺得迷人 04/06 15:36
推 kevin1ptt: 推數學史! 04/06 16:37