從線性回歸（ linear regression） 到 線性離題 （linear digression ）
引言：在雜亂無章中尋找規律
走進物理化學的課堂，黑板上往往佈滿了複雜的偏微分方程與統計力學的符號。對學生來說，那可能是一片混亂的森林；但對我來說，那是一場「擬合」的冒險。
最近在與 AI 的一次對話中，我突然意識到，我們窮盡一生所做的學問，本質上可能只是一套極其高效的壓縮工具。我們利用線性代數這把「錘子」，將廣袤且雜亂的形式科學世界，敲打成人類大腦可以理解的形狀。這不僅是數學技巧，這就是「學習」的本質。
一、 線性代數：人類手中最可靠的「錘子」
學術界有一句名言：「如果你手裡只有一把錘子，你會看什麼都像釘子。」
在科學探索的荒野中，線性代數（Linear Algebra） 就是人類手中最沉、最鋒利的那把錘子。為什麼？因為線性系統是宇宙中極少數我們能完全掌控、擁有解析解、且具備直覺投影性質的領地。
當我們面對一個複雜的非線性動力學問題或多體量子系統時，我們的本能反應通常是：「局部線性化」。我們利用泰勒展開（Taylor Expansion），將扭曲的曲面切成無數段微小的平面。這其實是在承認：我們的大腦偏好線性。我們將雜亂的現象「投影」到線性代數的子空間裡，尋找真理在我們認知中的影子。
這種「投影」就是一種過濾。我們過濾掉了那些無法處理的噪音，只留下了符合線性疊加原理的骨架。這把錘子雖然限制了我們的視野，卻也給了我們在混沌中釘出一條路徑的勇氣。
二、 擬合：一場關於「壓縮」的智力遊戲
我曾覺得 回歸（Regression） 只是大一實驗課裡一個簡單的數學技巧。直到十年前，我看到兒子在研究機器學習（Machine Learning）時的講義，我才驚覺：原來「擬合」就是「學習」本身。
所謂的理解，其實就是「用最短的描述長度，去解釋最多的數據」。
如果你能用一個簡單的線性公式 \(y = ax + b\) 描述一萬個觀測點，你就不需要背誦那一萬個數字。你成功地實現了萬倍的壓縮。菲爾茲獎得主 Michael Freedman 曾提過「人類數學是多項式的」，這是一個極其深刻的直覺。
宇宙的形式科學世界是無窮且指數級複雜的，但人類感興趣並能理解的那一小部分（Subset），恰好是那些可以被「低階多項式」擬合的部分。我們的大腦是一個天生的壓縮機，我們尋找那些參數最少、誤差最小的模型，並稱之為「真理」。
三、 深度學習的成功：多層次濾鏡的演進
為什麼深度神經網絡（DNN）在現代會取得如此巨大的成功？
從線性代數的視角來看，DNN 就像是一個全自動化的「濾鏡工廠」。它不再只用一片濾鏡去觀察世界，而是堆疊了數百層線性代數濾鏡（矩陣運算 \(Ax + b\)）。
- 特徵提取：每一層都在進行一次線性投影，從混亂的訊號中篩選出特徵（從邊緣、形狀到抽象的概念）。
- 非線性躍遷：在每一層線性過濾後，加入一個簡單的非線性激活（如 ReLU），這就像是在擬合曲面時加入了一個「折疊」動作。
- 自動優化：透過反向傳播，AI 會自動調整每一層濾鏡的權重，直到它擬合出一套最完美的工具箱，去解釋眼前的數據。
這證明了一件事：只要線性代數的濾鏡疊加得夠深、夠巧，我們就能擬合出這個世界上任何複雜的規律。
四、 默會知識：那些無法寫進課本的「即興」
然而，真正的教學與研究，往往發生在「擬合」失敗的邊緣。這就是 Michael Polanyi 所說的 「默會知識」（Tacit Knowledge）——我們知道的，遠比我們能說出來的多。
在我的課堂上，我常會有大量的「即興推導」與「離題」（Digression）。以前我總覺得這些是「非線性」的贅肉，但現在我明白了，這些離題才是傳遞默會知識的關鍵。
課本上的公式是「顯性知識」，是已經被壓縮好的結果。但我在黑板上即興推導時展現的「直覺」、「品味」、甚至是面對推導出錯時的「轉彎」，這些都是無法被結構化的默會知識。學生在看著我如何使用工具箱裡的工具時，他們學到的不只是公式，而是那種「對物理圖像的審美感」。
五、 熱力學視角：加熱與退火的思維實驗
最後，我想用一個物理化學家最熟悉的比喻來總結：思維是一場「模擬退火」（Simulated Annealing）。
在位能面（Potential Energy Surface）上導航時，我們都在尋找那個代表真理的最低點（Global Minimum）。
- 回歸（Regression）就是「退火」與「降溫」： 我們沿著梯度的方向往下走，不斷修正誤差，希望系統穩定在那個最優解。這是嚴謹、秩序與收斂的過程。
- 離題（Digression）則是「加熱」與「熱漲落」： 如果你永遠只做回歸，你的思維很快就會掉進「局部最小值」（Local Minimum）的坑洞裡出不來。這時，你需要「加熱」。透過聊聊京都的建築、分享一個廚房裡的實驗失敗、或是探討一段科學史的軼聞，我們在給認知系統注入能量。
這股熱能讓我們能跨越位能壘（Potential Barrier），跳出固有的思維定式，去探索位能面其他遙遠的地方。只有經過充分的加熱與隨後的緩慢退火，我們才有可能發現那個全新的、更深邃的世界。
結語：打開你的工具箱
認識世界，本質上就是帶著你的「工具箱」，在雜亂無章的現象中進行一場場的多層次擬合。
線性代數是我們最可靠的依據，多項式擬合是我們高效的壓縮機，而「離題」則是我們不至於迷失在局部最優解的熱能來源。
下次當你在學習一個新公式或面對一個複雜難題時，不妨問問自己： 「我現在是在降溫求穩，還是在加熱探索？我手中的這把線性代數錘子，準備好去敲開下一個釘子了嗎？」
Comments
Post a Comment