從線性回歸( linear regression) 到 線性離題 (linear digression )
引言:在雜亂無章中尋找規律 走進物理化學的課堂,黑板上往往佈滿了複雜的偏微分方程與統計力學的符號。對學生來說,那可能是一片混亂的森林;但對我來說,那是一場「擬合」的冒險。 最近在與 AI 的一次對話中,我突然意識到,我們窮盡一生所做的學問,本質上可能只是一套極其高效的 壓縮工具 。我們利用線性代數這把「錘子」,將廣袤且雜亂的形式科學世界,敲打成人類大腦可以理解的形狀。這不僅是數學技巧,這就是「學習」的本質。 一、 線性代數:人類手中最可靠的「錘子」 學術界有一句名言:「如果你手裡只有一把錘子,你會看什麼都像釘子。」 在科學探索的荒野中, 線性代數(Linear Algebra) 就是人類手中最沉、最鋒利的那把錘子。為什麼?因為線性系統是宇宙中極少數我們能完全掌控、擁有解析解、且具備直覺投影性質的領地。 當我們面對一個複雜的非線性動力學問題或多體量子系統時,我們的本能反應通常是: 「局部線性化」 。我們利用泰勒展開(Taylor Expansion),將扭曲的曲面切成無數段微小的平面。這其實是在承認:我們的大腦偏好線性。我們將雜亂的現象「投影」到線性代數的子空間裡,尋找真理在我們認知中的影子。 這種「投影」就是一種 過濾 。我們過濾掉了那些無法處理的噪音,只留下了符合線性疊加原理的骨架。這把錘子雖然限制了我們的視野,卻也給了我們在混沌中釘出一條路徑的勇氣。 二、 擬合:一場關於「壓縮」的智力遊戲 我曾覺得 回歸(Regression) 只是大一實驗課裡一個簡單的數學技巧。直到十年前,我看到兒子在研究機器學習(Machine Learning)時的講義,我才驚覺: 原來「擬合」就是「學習」本身。 所謂的理解,其實就是 「用最短的描述長度,去解釋最多的數據」 。 如果你能用一個簡單的線性公式 \(y = ax + b\) 描述一萬個觀測點,你就不需要背誦那一萬個數字。你成功地實現了萬倍的壓縮。菲爾茲獎得主 Michael Freedman 曾提過「人類數學是多項式的」,這是一個極其深刻的直覺。 宇宙的形式科學世界是無窮且指數級複雜的,但人類感興趣並能理解的那一小部分(Subset),恰好是那些可以被「低階多項式」擬合的部分。我們的大腦是一個天生的壓縮機,我們尋找那些參數最少、誤差最小的模型,並稱之為「真理」。 三、 深度學...