Re: [書訊] 創智慧

[b6s (b6s)]

※ 引述《ykjiang (Yukuan)》之銘言：
: 其實我會斷定張復誤解 Hawkins 的 model 還有一個重要的原
: 因：
: 你可以看看 page 16 最後一段，張復認為 Hawkins 主要貢獻
: 所在。
: 然後再看看 page 217 中， Hawkins 對自己 model 的論述。
: 如果你仔細比較，就可以發現，他們講的根本不是同一件事情...
: 就這方面，我是很注重細節的...
: 沒錯，大腦新皮質，大致說來，可以分成六層。這從染色的切面顯
: 微照片就可以看出來了。
: 但是 Hawkins 強調的「階層」，不是指皮質內（縱切）的這六層，
: 而是不同「皮質區」間形成的階層。
: 就這一點，以視覺為例，可以參考 page 150 圖一及相關的說明。

(事先聲明，以下純為個人臆測。)

其實，我目前看起來沒有衝突，只是張復老師沒特別提到 feedback/feedforward 特性。
一般來說，跟 markov chain 相關的 machine learning models 也有類似性質，
但不是以神經生理學作為基礎，而是以機率統計推論的。

從 Dileep George 目前已發表的論文看來，HTM 架構在軟體實作上目前採用了
Bayesian Belief Propagation (BBP) 的觀點，
並稍微提到了 Hierarchical Hidden Markov Model 與 Markov Random Field，
光是這些的話，其實跟張老師提到的相去不遠；
但，同樣地，這些現有的 machine learning models 並未特別強調 feedback，
因為在計算複雜度上成本相當高。
而 Dileep George 已實作的系統裡，實際上也省略了 feedback，
這使得該模型也可詮釋為 near-optimal BBP。

類比一下當今風行的各種 near-optimal XXX 演算法，其實多半是由自然界現象中尋找
通則並模仿之的 heuristic algorithms，例如 GA。我們可以說，GA 為了 prune 過多
的 connections，採用適者生存的方式來過濾。

問題來了，在這種詮釋底下，我們面臨的第一個麻煩是，如何將問題 model/encode
成能夠以某 model 處理的格式？

Dileep George 用了最傳統的 image classification 來模擬，於是只要拿像素的
時空關係當輸入即可；然而，以 On Intelligence 裡提到的語音辨識問題來說好了，
缺少 feedback 的 HTM 模擬系統，會變得像是用了 A* (而非 Viterbi) 的 HMM，
於是就很難評估並突顯 HTM 的價值了。事實上，Dileep George 目前的實驗規模也太小，
有某種 over-fitting 的疑慮。另一方面，他的實驗在 robustness 上看來倒是不錯，
對於雜訊甚多的輸入，可以在不用設計精巧例外規則或使用大量 features 的情況下，
自動地看出圖形裡的 invariant pattern。相對地，熱門的 machine learning models
如 SVM、Maximum Entropy、Conditional Random Field 等就相當依賴 domain knowledge
以進行 feature selection，說起來還是研究生演算法。

總之，我還在反覆地讀 http://www.stanford.edu/~dil/invariance/ 上面的東西，
試圖弄清楚 HTM 作為「記憶」而非「計算」能夠帶來的希望究竟是什麼。

--
※ 發信站: 批踢踢實業坊(ptt.cc) 
◆ From: 59.105.131.104
推 ykjiang:push on, push on :)
推 supersam623:研究生演算法，意思是還無法實際應用的演算法嗎？
推 Wolfram:哈，第一次學到這個名詞。
推 ykjiang:我倒是很能意會，應該比較像「臨時拼湊」的感覺...
推 b6s:其實是指關鍵feature由研究生人工找出來的那種演算法...
→ b6s:工人智慧是也。
→ b6s:我第一次聽到這個說法是在講用 fractal 壓縮 (png, rm) 的那個
推 ykjiang:嗯，有 "dirty hack" 的味道