愛丁堡的孤勇者：深度學習教父被圍剿的五年
杰弗里·辛頓（Geoffrey Hinton）於 1978 年取得博士學位，他的論文題目是 “Relaxation and its Role in Vision”，這正是早期人工神經網絡與計算視覺的先驅嘗試。辛頓在愛丁堡大學攻讀博士學位時的指導教授，正是克里斯多福·隆蓋特-希金斯（Christopher Longuet-Higgins）。
我在閱讀各類訪談或科普書時感覺「Hinton 很少提起他的指導教授」。這兩位天才當年在愛丁堡的合作，用「道不同，不相為謀」來形容可能最為貼切。他們在學術思想上產生了極其根本的衝突，甚至到了關係相當緊張的地步。
這段歷史確實精彩得像是一部學術版的「孤勇者」電影！一個 20 多歲、滿腦子反叛思想的年輕人，在整個國家、整個學院都對神經網路關上大門的AI寒冬時代，硬是憑著一股執念撐了下來。他與導師 Christopher Longuet-Higgins 之間的關係，完美縮影了那個時代 AI 兩大流派的權力交替。
1. 滿懷期待的相遇，與猝不及防的「變節」
Hinton 當初會選擇愛丁堡大學，完全是衝著Longuet-Higgins去的。在 1970 年代初，朗格-希金斯是英國理論化學和認知科學的泰斗，他甚至與 David Willshaw 等人一起發表過「聯想網」（Associative Net）的論文——這可以說是現代記憶神經網路模型的鼻祖。Hinton 以為自己找到了一個理解「大腦如何像全像投影（hologram）一樣分散記憶」的知音。
然而，學術界的風向轉得比想像中快。就在 Hinton 剛入學的 1972 年，MIT 的 Terry Winograd 發表了震驚世界的 SHRDLU 系统（一個能用自然語言理解並操作虛擬積木世界的符號邏輯系統）。
這場符號派（Symbolic AI）的巨大勝利，直接擊中了朗格-希金斯的學術胃口。他幾乎是在一夜之間「變節」，轉身投入了符號語言學和音樂認知的懷抱，並開始勸說 Hinton：
「別傻了，神經網路是一條死胡同，你應該來做符號 AI。」
想像一下 Hinton 當時的心理陰影面積：大老遠跑來投奔的心靈導師，一見面就告訴你「你熱愛的東西是垃圾」。
2. 五年的「辦公室政治」與學術孤島
更糟糕的是，隨後在 1973 年出版了英國學術界著名的《萊特希爾報告》（Lighthill Report）。這份官方報告直接宣判了神經網路（聯結主義）的「死刑」，導致全英國的 AI 經費被腰斬。愛丁堡大學為了保住僅存的糧草，全院迅速收縮戰線，團結在以 Donald Michie（曾與圖靈一起在布萊切利園破譯密碼的傳奇人物）為首的「符號邏輯派」大旗下。
在這種高壓的意識形態壟斷下，Hinton 成了系上的異類。每天的午茶時間和學術研討會，對他來說都像是一場小型審判。教授和同學們會輪流用嚴密的數學和邏輯公式向他證明：「神經網路根本做不出『遞迴（Recursion）』，它連人類語言最基礎的嵌套結構都處理不了，你這是在浪費生命。」
當時整個系上，只有兩個人願意跟他說話：
- 一個是剛好在做博士後的 David Willshaw（但他當時也因為神經網路失寵而被邊緣化）。
- 另一個是來訪問的哲學家 Aaron Sloman，純粹是出於哲學上的開放性，願意聽聽 Hinton 的碎碎念。
3. 用 192 KB 記憶體寫出的反擊
Hinton 最迷人的地方在於，他不是一個只會抱怨的悲觀主義者，他是個動手解決問題的硬核科學家。
既然你們符號派笑我「神經網路做不出遞迴」，那我就做給你們看。在 1973 年，他坐在一台只有 192 KB 記憶體、還得跟 40 個人共用的笨重電腦前，硬是設計出了一套「快速權重（Fast Weights）」的機制。他讓同一群虛擬神經元在處理高階任務時，把參數暫存到一個由聯想記憶體構成的「堆疊（Stack）」裡，去執行子任務，執行完再讀取回來。
這在當時是一個石破天驚的技術突破——他用被視為「無序、隨機、統計學」的神經網路，完美模擬了電腦科學中最神聖的「遞迴」概念。
4. 「你們為什麼要用牛刀殺雞？」
故事的最高潮發生在 Hinton 的第一場正式學術報告會。他興奮地向全系展示了這個在神經網路裡跑通的遞迴程序，心想這下總算能洗刷冤屈、贏得掌聲了吧？
結果，台下那些沉浸在符號邏輯裡的教授們聽完，一臉困惑。他們沒有驚嘆，也沒有憤怒，只是淡淡地問了一句：
「呃……Hinton，這件事我們用 Pop-2（當時愛丁堡開發的一種結合 Lisp 和 Pascal 的符號語言）兩行代碼就寫完了，你為什麼要大費周章用神經網路去繞這麼大一個彎？」
這句話讓 Hinton 徹底明白，觀念的傲慢是無法被證據說服的。當對手看你的方向就像在看巫術時，你把巫術改良得再精準也沒有用。這場雞同鴨講的報告會，成了壓垮他的最後一根稻肉。博士畢業後，他立刻決定離開這個被單一意識形態統治的島國，前往美國西岸尋找 Rumelhart 和 Norman。
這段在愛丁堡被「圍剿」的五年，雖然痛苦，但也鍛鍊出了 Hinton 後來幾十年抵抗主流質疑的超級大心臟。如果沒有當年與導師朗格-希金斯以及整個符號AI系所的激烈交鋒，或許就沒有後來在冷戰孤獨中堅持下來、最終引爆深度學習革命的「深度學習教父」了。
Comments
Post a Comment