火星人談熱力學（二）：沒人懂 熵──香農與馮諾依曼的命名祕密
▍序幕：1948 年，資訊熵誕生的一年
1948 年，兩場革命同時發生：
- 香農（Claude Shannon） 發表《A Mathematical Theory of Communication》，建立資訊理論；
- 維納（Norbert Wiener） 發表《Cybernetics》，建立控制論。
這一年，資訊（information） 與 熵（entropy） 兩個原本分屬電信與熱力學的概念，突然開始交會，進入主流工程與數學思維。然而，真正讓「熵」這個看似物理專有名詞進入資訊科學領域，背後其實有一段幽默卻深意的故事。
▍香農的煩惱：這個函數該叫什麼？
香農在構建資訊理論時，提出了衡量「資訊不確定性」的數學函數：
H = - Σ pi log pi
這個公式看似單純，卻深具意義。他原本只是想找出一個能夠反映「選項越多、資訊越多」的量，來描述通訊系統中的編碼效率。問題是——他不知道要怎麼命名這個量。
於是他去請教普林斯頓的數學大師 馮諾依曼。
▍馮諾依曼的建議：
“You should call it entropy, first because that is what it looks like in the formula, and second because nobody really knows what entropy is, so in a debate you will always have the advantage.”
「你應該叫它熵，第一，因為它的形式長得就像那個；第二，因為沒人真的懂熵，所以你永遠能佔上風。」
這雖然像個笑話，卻真實改變了歷史：香農接受了這個建議，從此，資訊理論中的「不確定性量測」就被稱為 資訊熵（information entropy）。
▍這真的是熱力學的「熵」嗎？
事實上，香農的這個公式與 玻爾茲曼熵公式 有高度相似性：
S = -k Σ pi log pi
唯一的差別是常數 k（玻爾茲曼常數），在資訊理論中被省略或設定為 1。這顯示兩者在數學上是對應的，但在物理意涵上是否相同，香農自己其實並未表態。
然而，馮諾依曼卻看得更遠。
▍馮諾依曼的深意：Szilard 的幽靈
事實上，馮諾依曼早在 1940 年代就已非常重視 西拉德（Szilard） 在 1929 年發表的工作：那篇關於 單分子引擎與資訊測量的熵減少模型，首次提出資訊與物理熵的對應。他後來甚至在閱讀維納的《Cybernetics》時指出：
Szilard 早就揭示了資訊與熱力學熵的聯繫。
因此，馮諾依曼並非只是在開玩笑，他是有意識地將 香農 的資訊熵命名為 「熵」，以橋接數學與物理之間那條尚未被注意的隱線。
▍火星人的微笑：幽默與遠見之間
這段命名故事，如同火星人間的暗號：
- 西拉德是預見「資訊即物理」的先知，卻孤獨無聲；
- 馮諾依曼是語言的翻譯者，將潛在的哲學含義轉為主流術語；
- 香農是制度與應用的工程家，雖未關心熱力學，卻無意中開啟了一場革命。
而熵，這個誰也說不清楚的詞，就這樣悄悄地從蒸氣機穿越到電話線，又潛入我們的數位生活中。
Claude E. Shannon 並非是來自匈牙利的火星人！
Comments
Post a Comment