看板 DummyHistory 關於我們 聯絡資訊
※ 引述《innominate (innominate)》之銘言: : 香農信息熵的概念是這樣 : 1. Plamc是人 : 2. Plamc是男人 : 3. Plamc是PTT前版主以及作家 : 當你把plamc當作一個黑盒子 : 去告訴一個不知道底細的路人 : 1成立的機率最高 : 2其次,3最低 : 所以機率越低的信息量越大,所以叫信息熵 : 因為如果信息為真 : 代表你排除了更多的不確定性 : H = -k log P : H是信息量 P是成立的機率 首先第一個問題, 熵跟訊息量是高度相關但不同的概念。 你給的公式算的是熵, 他要做為訊息量成立的前提是, 系統必須是確定性的。 然後你對這個熵值的系統,給出一個確定唯一的答案, 這時計算出來的信息量就等於熵值。 講人話就是, 我有一組密碼,然後你直接就猜到。 所以你輸入的數字(訊息量)等於我密碼(熵)的複雜度。 選項越多,機率越低,導致熵越大, 進而導致需要完整解答的訊息量也更大。 兩者是在一個特殊情況下一致,成立數學概念, 而非是可直接互換的概念。 : 推 fw190a: 熵是表達混亂/複雜度的,機率低導致訊息量高是從中推導出 09/24 20: 30 : → fw190a: 的概念,這要說也是訊息量的特性,而不是熵的。我知道這 09/24 20: 30 : → fw190a: 很繞,但我認為我的表達是有涵蓋這些概念的 09/24 20: 31 : → innominate: 香農引進熵的概念就是要表達越混亂,機率越低,信息量 09/24 20: 40 : → innominate: 越大。就像「plamc是一個人」,這個機率很大,也不混 09/24 20: 40 : → innominate: 亂,信息量就很低。 09/24 20: 41 : → innominate: 所以信息量天然就跟不確定(機率)掛鉤 09/24 20: 43 : → innominate: 你的文章說信息量首先跟信息的多少有關,這件事理解就 09/24 20: 44 : → innominate: 是錯的 09/24 20: 45 首先單就訊息量的概念先後順序, "1928年,R.V.L.哈特萊提出了信息定量化的初步設想, 他將符號取值數m的對數定義為信息量,即I=log2m" 再來比起熵,這個單位才是用來衡量訊息量的。 https://en.wikipedia.org/wiki/Shannon_(unit) 注意到這邊的機率設定就是簡單的用50%來衡量。 然後我前文之所以強調先有多少訊息, 是因為要構成系統本身,也是需要訊息的, 他的熵概念建立在,透過機率評斷一個系統內給定信號的訊息量, 但首先要有那個系統,而不只是一個假設為真而已。 : → innominate: 我可以說一大串包括明天太陽會從東方升起,你跟我都是 09/24 20: 46 : → innominate: 人,我們都要呼吸等等,這些東西堆再多信息量也是低的 09/24 20: 46 : → innominate: 如果我說「明天台股會跌」,如果我說的為真,這短短的 09/24 20: 48 : → innominate: 幾個字帶來的信息量就大了 09/24 20: 48 : → innominate: 或者說「明天台股會跌105點」,那這個信息量更大 09/24 20: 49 其實我主要是想回這邊,分享一些想法, 沒有針對你,你也可以說你是通俗的舉例說明。 只是藉由這個例子思想實驗, 順便給大家娛樂一下。 ,,, 首先你說確定是真的,堆再多訊息量也低, 但照理說,給出已知的事物,訊息量應該是0才對, 再來弔詭的會是,預測明天台股跌,在明天以前,始終就是一句空話, 但一旦到了明天,台股真的跌了,就變成事實,這句話也只是說明已知事物, 訊息量為0。所以自始自終,你擁有的訊息量就只有話語本身。 然後你靠一句如果為真,來假設性獲取訊息量。 那個虛擬的訊息量來自於,對一個想像的有限系統進行操作。 你的訊息量就只是,透過講得多荒謬,然後加上一個假設性的保證為真來獲取。 這是印度神童power嗎XD ,,, 現實世界的一個問題是,他並沒有那個已知的機率讓你去評斷誰機率大小, 明天會不會下雨,到了明天,只會有一個結果,而不是用機率來呈現。 如果看天氣預報,得到機率,那是透過科學算出來的, 科學算出一個10%的降雨機率,那並不是要告訴你訊息量多大, 或者降雨量機率越小訊息量如何越大,因為反過來說出太陽,也成立, 科學告訴你的機率就只是預測,而不是那個我們能確知的機率。 如果你相信科學的世界觀,那胡亂套用那個訊息量概念, 結果就只是,越不科學,越脫離常識的預測,蘊含訊息量就越大。 因為當預測成真了,就否定了現有科學,那訊息量自然大。 ,,, 從正面意義來說,訊息量大代表的是, 一個不符合預期的例子,如何推翻或要求理論的修正, 所以當科學遇到新的無法解釋的情況時, 會促使產生修正與新理論, 但新理論的形成,需要的是更多訊息的投入與整合, 跟否定既有的成分的訊息,只能說是有因果關係。 極端來說,我只要說這個世界是假的, 如果此言為真,那訊息量極致大, 因為我一句話推翻了一整個世界觀的複雜度, 但這種訊息量沒啥好追求的, 而且之所以有東西能推翻, 是因為這個世界的相關脈絡先存在於各人認知之中。 ,,, 最後回到一開始的舉例上, 堆疊是人,是男人,是男作家,這三個例子, 其實是在透過這三個敘述,文字上傳遞越來越多資訊, 只是他們排序上套在一起,所以在類別的脈絡上構成了機率的規則, 如果我提出Plamc是人,或是恐龍,或是霸王龍。 這時不套用預先的認知,是要怎麼判定恐龍機率高還是人類機率高? 黑盒子在哪? 所以把那套基於已知機率的訊息量想像, 套入現實的預測,卻沒有適當修正,就是偽科學。 因為我們在現實世界,用的是加法邏輯, 去找那個堆疊起來訊息量最大而不矛盾的系統, 也就是科學以及常識來作為行動依據, 而不是靠什麼機率小的瞎猜獲得訊息量。 ,,, 排除不確定性,是一個語言工具性的功能, 建立具有複雜度的理論,才是思想的建構方式。 以日常生活的語言思想活動中, 我打一堆字闡述一堆概念,並且能跟邏輯常識接合起來, 這才是訊息量大。 而不是丟一個概率小的預測,即使成真了, 但缺乏相關的理論與邏輯支撐, 那樣的訊息量會是什麼東西? 這篇試圖說明了。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.159.155.9 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DummyHistory/M.1695631630.A.28D.html ※ 編輯: fw190a (49.159.155.9 臺灣), 09/25/2023 16:50:05
innominate: 我其實看不懂你要表達什麼,我只是在簡單科普香農的理 09/25 19:21
innominate: 論而已 09/25 19:22
innominate: 信息量跟信息是否正確說兩碼子事 09/25 19:22
innominate: 好比你舉的例子,plamc是恐龍,這個信息量很大,但未 09/25 19:25
innominate: 必為真。我再簡單舉個比較容易懂的例子,好比我現在要 09/25 19:26
innominate: 存心騙一個人,我產生一個謊言,這個謊言一樣帶有信息 09/25 19:26
innominate: 量,我的目的是要把這個信息量傳遞給接收者 09/25 19:26
innominate: 所以香農公式裡面前面帶有一個負號以保證信息量永遠為 09/25 19:28
innominate: 正。其實你跟我扯這個真沒意思,要不你去推翻香農熵的 09/25 19:28
innominate: 概念,我幫你讚聲 09/25 19:28
innominate: on_theory) 09/25 19:43
innominate: For instance, the knowledge that some particular n 09/25 19:53
innominate: umber will not be the winning number of a lottery 09/25 19:53
innominate: provides very little information, because any part 09/25 19:53
innominate: icular chosen number will almost certainly not win 09/25 19:53
innominate: . However, knowledge that a particular number will 09/25 19:54
innominate: win a lottery has high informational value becaus 09/25 19:54
innominate: e it communicates the outcome of a very low probab 09/25 19:54
innominate: ility event. 09/25 19:54
joh: 說得沒錯,也說到重點了,樓上你仔細看看 09/25 21:38
innominate: 我不知道我要仔細看什麼?科普個香農的信息熵罷了 09/25 23:49
innominate: 你們要取推翻信息論是你們家的事 09/25 23:49
innominate: 我上面引的維基百科的英文不知道樓上看了沒 09/25 23:50
tomer: 他在教你信息量和熵是怎麼來的。 09/26 00:30
tomer: 其實從這邊就能看出誰受過正規的數學訓練、誰只是看圖說故 09/26 00:32
tomer: 事w 09/26 00:32
innominate: 連信息熵定義都沒搞懂的能教我什麼?我上面引的英文看 09/26 03:38
innominate: 了沒?連英文都要我幫你們翻譯嗎? 09/26 03:38
innominate: ers/shannon/entropy/entropy.pdf 09/26 04:05
innominate: 香農的原文自己去看 09/26 04:05
innominate: 我大概理解ZM為何有的時候根本不想解釋了,馬的給你們 09/26 04:09
innominate: 科普還要被槓 09/26 04:09
innominate: 講的信息論好像我發明的一樣,你們要槓去槓香農啦 09/26 04:10
innominate: 我的記憶都回來了,當年在歷史版也科普過惡性通膨的經 09/26 04:12
innominate: 濟理論,也一堆槓精來槓 09/26 04:12
innominate: 我再引維基百科的英文描述如下:The core idea of inf 09/26 04:22
innominate: ormation theory is that the "informational value" 09/26 04:23
innominate: of a communicated message depends on the degree to 09/26 04:23
innominate: which the content of the message is surprising. I 09/26 04:23
innominate: f a highly likely event occurs, the message carrie 09/26 04:23
innominate: s very little information. On the other hand, if a 09/26 04:23
innominate: highly unlikely event occurs, the message is much 09/26 04:24
innominate: more informative. 09/26 04:24
innominate: 維基也不看,論文也不看,書也不看,就只會槓 09/26 04:25
innominate: 然後本篇錯誤的把「單位量」跟「熵」切開,不是這樣好 09/26 04:42
innominate: 嗎?依照他自己引用的維基原文:The 「shannon」also 09/26 04:43
innominate: serves as a unit of the information entropy of an 09/26 04:43
innominate: event, which is defined as the expected value of t 09/26 04:43
innominate: he information content of the event 。是熵的單位可 09/26 04:43
innominate: 以為SH 09/26 04:43
tomer: 就,維基不是聖經啊XD然後你和 Z麥一樣毛病、一直認定只有 09/26 07:16
tomer: 你倆看得懂英文、維基上幾句英文就當作是真理目空一切到處 09/26 07:17
tomer: 亂套。注意我不是說維基講錯喔,是你受的數學訓練不夠導致 09/26 07:17
tomer: 理解出現盲區。 f 在這邊講的需要的是機率論中隨機事件的基 09/26 07:17
tomer: 本概念,大概是大二修機率論時教授一開始會給的,也算是ABC 09/26 07:17
tomer: 等級的東西吧。他稍微帶了下從機率論的視角怎麼理解夏農熵 09/26 07:17
tomer: 和資訊量、畢竟整個理論是從機率論推導出來的。但很明顯你 09/26 07:18
tomer: 沒受過相關的訓練又想要反駁,就只能一直跳針叫人去看英文 09/26 07:18
tomer: 維基的幾句話。說實在只能微笑呀。 09/26 07:18
joh: 把wiki當神....都不知道地雷都在細節中 09/26 09:53
moslaa: https://imgur.com/Lv2WAoL.jpg 09/26 10:00
innominate: 所以槓精只能跳針大二機率論,你們連信息學都看不懂, 09/26 11:56
innominate: 自己引的維基都不看,要說先引維基的不是我,你們立場 09/26 11:56
innominate: 對了就不質疑他,歷史版槓精就是拿大學基礎課程來嗆別 09/26 11:56
innominate: 人 09/26 11:56
innominate: 哪怕我引用的維基內容有誤吧,你們好歹也要說明是哪句 09/26 11:59
innominate: 話有誤,論文我也放了,你們不針對內文討論,在那邊跳 09/26 11:59
innominate: 針大二機率,我通訊/計算機研究所畢業的還要你們教我 09/26 11:59
innominate: 機率? 09/26 12:00
joh: 也沒人針對機率論,針對的事情不只有這些 09/26 14:13
ZMittermeyer: 他們兩個不是槓精是看不懂 和幾個基本定義搞反 09/26 22:27
ZMittermeyer: 中文腦會天生搞反一些基本定義 09/26 22:27
ZMittermeyer: 我發現動態腦數學腦 和靜態腦文字腦 是兩種系統 09/27 00:08
ZMittermeyer: 你把基礎搞反之後 演繹推理會蓋出相反大廈 09/27 00:08