[問卦] 別雞同鴨講說抄襲 先搞懂什麼是蒸餾

[SkyIsMyLimit (天空才是我的極限的鍵盤)]

阿肥實在受不了一堆文盲吵不對焦還硬要吵
來先來看看 GPT是怎麼解釋蒸餾的
覺得太長的可以直接下滑到總結

Q: 在Deep learning領域 什麼是蒸餾?

以下來自ChatGPT的回答：

在深度學習 (Deep Learning) 中，「蒸餾 (Distillation)」是一種模型壓縮 (Model Compression) 技術，主要用來將一個大型且性能優越的「教師模型 (Teacher Model)」的知識轉移到一個較小、較輕量的「學生模型 (Student Model)」，從而減少計算成本，同時保持高性能。這個過程通常被稱為 知識蒸餾 (Knowledge Distillation, KD)。

知識蒸餾的基本概念

知識蒸餾的核心思想是，與其單純用標籤 (Hard Labels) 訓練學生模型，不如讓學生模型學習來自教師模型的軟標籤 (Soft Labels)，即教師模型對輸入數據的輸出機率分佈。這樣可以讓學生模型學習到更多關於數據的隱含信息，例如不同類別之間的關聯性。

知識蒸餾的主要步驟
        1.      訓練教師模型 (Teacher Model)
                先用大量數據訓練一個強大的深度學習模型，如大型 CNN 或 Transformer。
        2.      獲取軟標籤 (Soft Targets)
                用教師模型對訓練數據進行預測，獲取「軟標籤」，即教師模型的輸出機率分佈。
                軟標籤通常透過「溫度 (Temperature) 參數」來調節，使輸出機率更平滑：

其中，   是溫度超參數，   是某類別的 logits。較高的溫度    會使分佈變得更平滑，讓學生模型更容易學習類別間的關聯性。
        3.      訓練學生模型 (Student Model)
                使用教師模型的軟標籤和原始標籤共同訓練一個較小的學生模型。
                損失函數 (Loss Function) 一般是普通的交叉熵損失 (Hard Label Loss) 與蒸餾損失 (Distillation Loss) 的組合：

其中：
                   是基於真實標籤的交叉熵損失。
                   是基於教師模型軟標籤的交叉熵損失。
                   是控制兩者權重的超參數。

知識蒸餾的應用
                模型壓縮與加速：例如，把大型的 BERT 轉化為輕量的 DistilBERT，或將大型 CNN 壓縮為 MobileNet。
                增強小模型的性能：即使學生模型的容量較小，透過學習教師模型的知識，它仍然可以達到比直接訓練更好的效果。
                多模型集成 (Ensemble Distillation)：可以用多個教師模型來蒸餾一個學生模型，使其學習多種不同視角的知識。

知識蒸餾的變體
                Self-Distillation：學生模型與教師模型相同，只是利用自身的過去版本作為教師來提升性能。
                Task-Specific Distillation：應用於特定領域，如 NLP、CV 等，優化模型的某些特性。
                Contrastive Distillation：利用對比學習來提升蒸餾效果。

總結
知識蒸餾是一種強大的技術，能夠幫助小型模型學習來自大型模型的知識，在不顯著犧牲性能的情況下提高計算效率，是當前深度學習模型壓縮與優化的重要方向。

阿肥開示：
簡單講就是記者用詞不精確
導致抄襲這種說法有點歪樓
因為ChatGPT是閉源的 DS根本無從抄起
蒸餾ㄧ說是 Open AI指控DS拿ChatGPT去訓練DS的模型
但卻沒有提供證據 所以現在焦點應該是
1.
Open AI需有證據證明DS拿ChatGPT訓練模型
2.
如果1成立 那蒸餾的訓練方式構成侵權嗎？

阿肥觀點：
AI是個新的領域 智慧財產定義應該不完善
拿一個模型去訓練另一個模型應該是目前常態
雖然我不知道DS是不是真的這樣幹
但如果這樣就算侵權的話
那ChatGPT拿各種網路資訊訓練是不是也算？
-----
Sent from JPTT on my iPhone

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.46.76 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1738165693.A.C42.html
→ dlam002: 太長
推 Basket0205: 一樓蒸餾五樓屁眼
推 greensaru: 鳥兒說抄襲就是抄襲
→ Aliensoul: 又在貼中國大外宣的文章喔？
ChatGPT的回答是大外宣喔？
推 doig: 就CloseApi帶風向而已,沒人在意,NVDA又大跌
→ Barbarian123: 這麼急著闢謠做什麼
是不忍看八卦版吵不對焦
阿肥是幫大家搞清楚狀況
推 freeclouds: 不管啦 只要能抗中保台 其他都不重要
→ doig: 網路爬蟲也是用Google、Bing搜尋的成果
※ 編輯: SkyIsMyLimit (223.137.46.76 臺灣), 01/29/2025 23:54:09
推 Warheart: 就雙標啊笑死 當初訓練時用爬蟲爬人類
→ Warheart: 智慧財產就喊新技術發展不應被版權限制
→ boboking2: 去跟OpenAI 講 跟八卦講也聽不懂 嘻嘻
→ doig: OpenApi這就嘴炮一下而已,應該不了了之
推 ggbi4zzz: 來不及了，三民自和笨鳥已經定調抄襲！
→ Warheart:  資料練完你們沒用了馬上翻臉
→ whyyeswhynot: 105度
→ newforte: 山寨垃圾一直吹
→ ggbi4zzz: 照這個邏輯，AI也是偷網路上的知識
→ ggbi4zzz: OpenAI也是抄襲
推 Norme: 青鳥：不管啦！美國說抄襲就是抄襲，藍白
→ Norme: 崩潰。川普：加台灣晶片關稅。青鳥：窩不
→ Norme: 知道
推 zelkova: 塔綠班說抄襲就抄襲 你懂什ㄇ？
推 doig: Unsupervised learning非監督式學習
→ doig: 本來就是塞一大堆資料來訓練:網路爬蟲
→ doig: ChatGPT之前也爬了一堆紐約時報文章被告
→ doig: 網路爬蟲(web crawler/web spider)
現在Open AI也可以   但先要有證據
不過某群組那些垃圾不會懂的
牠們認為應該是被  要自己澄清自己沒犯罪
※ 編輯: SkyIsMyLimit (223.137.46.76 臺灣), 01/29/2025 23:59:53
→ doig: 可以一次撈幾千篇文章,不可能慢慢取得授權
→ WowProctor: 都開源了 不放消息股票要賣給誰
→ doig: 舊的方式是Supervised learing監督式學習
→ doig: 就是訓練資料要有固定格式，訓練效果不好
推 fpso: 小草在土城看守所門口蒸餾新台幣會讓貪哲興
推 Warheart: 現狀是這些大企業已經把人類過去的重要
→ Warheart: 資料都練完了 你如果過去是反AI抄襲的陣
→ Warheart: 營 現在能做的也只剩加入DS這種跳出來砸
→ Warheart: 盤的勢力 先把這些偷你們資料的企業打出
→ Warheart: 屎來再說 賽博共產總好過賽博龐克
→ doig: 新式的非監督式就是資料越亂越好,訓練效果好
→ doig: 要最多資料，就是直接去網路上撈
→ doig: 這樣就抄襲，那大家Ai Chatbot都可以關門了
推 selfhu: 高溫茶有它的優點誰反對
推 tdlions: 和青鳥一樣隨便亂抹造謠就得了
→ gk1329: 其實人類睡眠就是一種蒸餾過程
→ gk1329: 把學到的知識濃縮
推 moerstw: 如果是全開源應該可以複製測試吧 到時要
→ moerstw: 靠gpt才能產生一樣模型就鬧笑話了
噓 ppdogininder: 沒經過chatgpt同意就拿去訓練 這就
→ ppdogininder: 不能吹成本了
嗯嗯 不過Open AI要先有證據證明DS真的拿ChatGpt去訓練
推 gueswmi: 1. 關注結果：老師模型的輸出
→ gueswmi: 2. 忽略解答過程
→ gueswmi: 1+1=2? 老師模型會給證明: 學生模型1+1=2
→ gueswmi: 多問?考北喔 問這麼多幹嘛?
推 hsu0612: 沒關係啦 就讓傻子繼續洗 反正就騙騙外
→ hsu0612: 行的 他們爽就好了 不過釣出一大堆小丑
→ hsu0612: 好幾年前就在吵資料的問題了 這些人當時
→ hsu0612: 怎不幫那些被盜資料的講一下話 可撥
不能這樣放任 之前就是因為台灣人都不懂才會有垃圾畜牲拿中國的模型騙你我的稅金
→ gueswmi: 1+1=2 還要問?
→ wike: 有這個味道喔--填鴨式教學+狂寫考古題
推 doig: https://i.imgur.com/VCuiyUX.jpeg
→ ipipi304: 我只知道105c的蒸餾水
→ doig: https://i.imgur.com/Sq5bfly.jpeg
推 nakayamayyt: openai有賣蒸餾服務啊 大概是用了沒
→ doig: OpenApi自己就亂盜用別人資料被提告
→ nakayamayyt: 付錢 沒付錢就用
→ wike: 聰明的學生會發現 原來答案就在題目裡
→ wike: 從題目與題目間找到矛盾處 確認某題目出錯了
→ xylinum: 可以講白話文嗎？
總結以下的文字就是白話文惹
※ 編輯: SkyIsMyLimit (223.137.46.76 臺灣), 01/30/2025 00:31:48
→ wike: 聰明學生在寫過各類型題目後 也會出題目了
→ wike: 甚至還能創出新的題型
推 selfhu: 57樓，這不就是國高中時常遇到的
推 JackTheRippe: 大小綠：不管啦，說你抄襲就抄襲，
→ JackTheRippe: 趁機操作仇中情緒就對了
推 justiceyes: 之後變法律戰會很有趣
噓 c24253994: 侵權不侵權先告再說不是嗎？哪有時間跟
→ c24253994: 你先搞定義？
  要有證據啊
你以為跟台灣一樣是被  要自證清白喔？
※ 編輯: SkyIsMyLimit (223.137.46.76 臺灣), 01/30/2025 02:00:03
推 Iperfection: 班上資優生說你抄了 不管你有沒有抄
→ Iperfection:  你就是抄了
推 VSshow: 弄到法律戰才好笑！被那群食古不化無知的
→ VSshow: 法官判誰對誰錯？
→ VSshow: 然後也不懂其中內涵，只懂皮毛就可以判定
→ VSshow: 誰是有道理的，最終還不是政治判決，然後
→ VSshow: 搭配媒體狂嘴，畢竟多數人只會盲從不願意
→ VSshow: 深層思考