噓 losfer:Shannon information is not about "資訊是什麼" 05/13 06:21
→ jeunder:資訊的"量化"與本身其所代表的"意義"是兩件不同的事... 05/13 15:41
→ b6s:如果 Shannon 偉大到這個程度，那恐怕 R. A. Fisher 更偉大。 05/14 15:10
→ mao:之前看到覺得蠻有趣的 大概可以用資訊的角度觀看物理界 03/24 05:10
※ 引述《Syncanph (go lifer)》之銘言：
: 推 jmren:感謝回應^^"，請問entropy的公式是根據哪個理論得來的...^^ 05/11 18:53
: → reader:資訊理論 這公式在電腦科學的地位約等於物理學的E=MC^2呢 05/11 23:23
: → reader:是連結資訊與自然世界之間的核心樞紐之一 意義相當重大 05/11 23:31
: → reader:不過現在還真難得在科學史之外 看到有人用上那麼一回 05/11 23:32
: 推 slzhao:不會很難得看到吧,Pattern Recognition相關的研究常用到. 05/12 02:08
: → slzhao:是很重要的理論,但是有那麼誇張的地位嗎? 05/12 02:12
: → reader:主要是因為在其他學科上也有訊息傳遞的現象值得研究 05/12 02:29
: → reader:若能通過資訊理論檢驗就能整合電腦作研究 算是很關鍵一步 05/12 02:39
: → reader:所以是電腦科學中最能帶給其他學科衝擊的理論之一了 05/12 02:40
: → reader:這和拿電腦做研究工具是不一樣的事情 而是實在的理論連結 05/12 02:46
: → slzhao:但這只是關鍵一步,關鍵的步可多了. 05/12 10:49
: → slzhao:計算理論或正規語言中探討的可計算性,不也是重要的一步. 05/12 10:50
: → slzhao:這主要因素是因為計算機非傳統科學,所以待整合的東西可多了 05/12 10:50
: → slzhao:邏輯學,集合論中很多理論跟資訊科學整合也是很重要的"一步" 05/12 10:54
: → slzhao:感覺起來,NP-complete觀念的引入還比較接近E=MC^2. 05/12 10:54
: → reader:可計算性一直被認為是數學 而且跟自然科學缺乏連結 05/12 17:56
: → reader:但資訊熵的概念卻是真實世界運作的一個部分 05/12 17:57
: → reader:逐步在物理、化學、生物、生態、經濟、哲學、政治等學科 05/12 18:02
: → reader:建立起影響力 其他相關的如控制論也不被認為是電腦科學 05/12 18:05
: → reader:到混沌學則已經是太過後期的新科學發展 但資訊理論是1948年 05/12 18:06
: → reader:一般所謂戰後新科學的組成中 電腦科學就是以資訊理論而進入 05/12 18:07
: → reader:這樣的體系當中 當然這比較是偏向科學史的觀點而不是實用性 05/12 18:08
: → reader:但E=MC^2也主要是作為科學認識的拓展大於實際作用 05/12 18:10
: → reader:或者說計算理論是讓電腦科學脫離數學的關鍵 05/12 18:18
: → reader:資訊理論是讓電腦科學成為科學的關鍵 05/12 18:18
: → reader:現在習稱系統論控制論和信息論(資訊理論)為系統科學老三論 05/12 18:23
: → reader:可計算性則通常是放在數學發展史上來講的 05/12 18:26
: → slzhao:不是很能理解熵在電腦史中的重要性.因為我一直感覺是統計學 05/12 19:17
: → slzhao:跟其他自然科學結合的關鍵,而計算機科學則是引用了統計學中 05/12 19:19
: → slzhao:的這個概念. 05/12 19:19
: → slzhao:有沒有相關介紹這方面演進的文獻資料可供參考? 05/12 19:20
: → reader:統計學被引入自然科學是在熱力學時就建立起來的吧... 05/12 21:48
: → reader:透過資訊理論才建立了非能量的訊息的自然存在與傳播原理 05/12 21:51
: → reader:數學原理是一回事 概念的拓展才是重點 05/12 21:56
: → reader:就像廣義相對論和黎曼幾何不能說是同樣的東西 05/12 21:59
: → reader:概念上也是廣義相對論才具有重要的影響力 否則數學只是數學 05/12 22:00
: → reader:其實上網找「信息論」就有一堆資料了 05/12 22:03
: → reader:例如這裡 http://entropy.com.cn/ 05/12 22:09
: 推 slzhao:我不是指Information Theory的研究,相關論文我也有看過一些 05/12 22:21
: → slzhao:我是想請問關於reader大大前面所說的歷史演進,和其重要性的 05/12 22:22
: → slzhao:相關資料. 05/12 22:24
: → slzhao:剛才針對老三論查了一下,這似乎是由人文科學的觀點來看, 05/12 23:03
老三論並不是人文科學的東西，只是經常被人文科學借用。
我手上沒有一份完整的資料來講述資訊理論的重要性，因為這種東西很難有
權威性的評價。不過我還是儘量試著說說。
Shannon 經常被認為是「資訊時代之父」。很多時候 Shannon 是和愛因斯坦
相提並論的時代人物，分別代表著二十世紀前半和後半的科學文明成就，而
奠定其地位的，就是資訊理論。
我想二十世紀前半最具代表性的公式是 E=MC^2 應該沒有太大異議，而若要
找出一個公式，來代表二十世紀後半最重要的科學成就 - 電腦，那麼資訊熵
公式 H = -Σp(i)*log2(p(i)) 很可能是最有資格的。
因為透過資訊熵的公式，我們才可以衡量事物的資訊量，於是建立了資訊的
基本單位 bit. bit 就是 Shannon 經由此研究所提出來的，零與壹作為資訊
時代的象徵，應該是沒有太大問題的事，這正是因為資訊的基本單位 bit 的
兩個值，而它又來自於資訊熵的研究。
在此之前，所有關於電腦科學的研究，其實都只是應用數學，因為它並不和
自然現象有所關聯，就科學的定義來說，這樣並不是嚴格意義的科學。資訊
理論才是第一個讓電腦科學成為科學的研究。我們可以在許多的自然現象中
發現並應用資訊理論，讓自然世界的組成，從物質和能量的二元架構，加上
第三個成份：資訊。
E=MC^2 是物質和能量的轉換公式，而資訊熵公式又是自然現象和資訊之間的
轉換公式，兩者之間更有著另一層次的相似性與基礎性。
至於此一理論如何衍生擴延到其他學科，又如何發展成新科學的重要組成，
則是太複雜的事情，就不多提了。
而對於電腦科學來說，它的基本使命，大約可以歸納為三個問題：
1. 資訊是什麼
2. 資訊如何被處理
3. 資訊如何被應用
資訊理論初步地回答了第一個問題，也主導了第三個問題，無論是資訊的
輸出入、通訊或儲存，都跟資訊理論息息相關。
所以人們才可以安心研究第二個問題，成為電腦科學的主要研究焦點。由此
也可以粗糙地大概描述資訊理論的重要性吧。
以下是一個介紹 Shannon 的影集：
Claude Shannon - Father of the Information Age
http://video.google.com/videoplay?docid=-2567011062576169322&pl=true
這是一篇頗常見的一般性簡介：
香農：信息論及數字通信之父
http://processor.tfcis.org:8080/brdmore/Socrates&69
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 218.174.131.13