為什麼 AI 也要「挨餓」才會變聰明？
昨晚看完 Max Tegmark 的演講，我在書桌前坐了很久。真正讓我停不下來的，不是他對 AI 能力的預測，而是他看問題的方式。那是一種很典型的物理學家直覺：面對一個龐大、混亂而難以理解的系統，仍然相信其中存在某種可以被辨認的結構。
這也讓我重新思考我們目前與人工智慧的關係。我們已經製造出極其強大的模型，讓它寫程式、推理、分析資料，甚至協助科學研究；可是很多時候，我們使用它的方式仍帶著某種煉金術色彩。我們調整參數、增加資料、擴大算力，然後觀察結果是否變好。它成功了，我們很高興，但它究竟為什麼成功，往往說不清楚。
Tegmark 真正在意的正是這個問題。他既不是單純鼓吹 AI 的矽谷樂觀派，也不是把所有未知都理解成危險的末日論者。他更像是在問一個基礎問題：那個被我們稱為「黑盒」的神經網路，裡面究竟有沒有結構？億萬個參數背後，到底只是統計相關性的堆積，還是已經逐漸形成某種可以被理解的表示？
而他展示的一些結果，讓我第一次很具體地感受到：神經網路裡面或許真的不只是一團難以閱讀的數字。
◆ 飢餓與理解
整場演講裡，最吸引我的概念是 Tegmark 提到的「Intelligence through Starvation」——透過某種形式的「飢餓」逼出智慧。
我們通常直覺地認為，AI 愈強，是因為它擁有愈多資料、愈大的模型與愈充足的算力。但 Tegmark 展示的方向幾乎相反：當神經網路受到資源限制時，它不能只靠記憶大量個案完成任務，而必須尋找更節省、更一般化的表示方式。當記憶變得昂貴，模型就開始被迫尋找規律。
這件事讓我想到人腦。大腦本身是一個高度耗能的器官，而人類不可能把世界的每一個細節都逐項保存，因此我們必須不斷壓縮、分類與抽象。很多時候，理解的形成正是因為我們不得不捨棄資訊。如果所有東西都能原封不動保存，我們甚至未必需要發展出概念。
神經網路似乎也會出現類似現象。Tegmark 談到模組化加法（modular addition）的例子。剛開始訓練時，模型內部只是一組難以理解的高維權重；但訓練到某個階段後，它的內部表示會浮現出近似圓形的幾何結構。這個圓不是研究者直接教給模型的，而是模型在學習週期性關係時逐漸形成的表示方式。
這個例子真正讓我在意的，不是「AI 居然畫出一個圓」，而是模型似乎從大量個別案例中找到了更簡潔的結構。它不再只是記得答案，而是找到了一種能夠一般化的表示。
我後來一直在想，資訊爆炸是否正在讓我們失去某種「被迫壓縮」的能力。今天的硬碟空間幾乎不構成限制，搜尋成本接近零，大型語言模型又能隨時替我們生成摘要、筆記與答案。我們擁有的資訊愈來愈多，卻未必因此更理解。
甚至可能相反。當所有東西都可以保存、搜尋與重新生成，我們就愈來愈少需要真正追問：哪些東西可以丟？哪些東西不能丟？哪些變化只是表面？哪些結構才是真正決定結果的部分？
也許智慧與資訊量之間，從來不是單純的正相關。有些理解，反而必須在限制中才會出現。
◆ 機器如何替世界建立座標
Tegmark 展示的另一系列研究，讓我有一種在進行「數位考古」的感覺。研究者不再只問模型答案是什麼，而是反過來挖掘：你到底怎麼把這個世界放進自己的內部表示裡？
其中一個令人印象深刻的例子，是大型語言模型內部可以找到與地理位置相關的表示。模型並不是拿著一張世界地圖學習經緯度，它讀的是文字，是城市名稱、方向關係與散落在無數語句裡的地理資訊。可是如果模型要穩定回答大量空間關係問題，它似乎有誘因在內部形成某種一致的空間表示。
類似現象不只出現在地理。模型處理數字時可能形成螺旋狀結構，處理階層或血緣關係時，也可能出現具有層級性的幾何表示。
這些結果真正吸引我的地方，是它們提出了一個更深的問題：知識本身是不是具有某種結構？
週期性自然適合以圓來表示，階層關係自然適合樹狀結構，地理關係需要某種空間座標。也許這些幾何形狀未必只是模型設計的偶然產物，而是任何試圖有效描述某些問題的智慧系統，都可能逐漸碰到的表示方式。
Tegmark 還談到，當研究者加入正則化等限制，希望讓神經網路用更節省的方式安排內部連結時，模型會逐漸出現較清楚的功能分區。這多少讓人聯想到大腦，但我覺得更重要的不是「AI 變得像人腦」，而是兩個系統可能面臨相似的工程問題：在有限資源下，如何組織資訊，才能有效完成不同類型的任務？
這也讓「大型語言模型只是文字接龍」這句話顯得不太充分。從訓練目標來看，它確實是在預測下一個 token；但要把下一個 token 預測得足夠好，它可能被迫在內部形成某些與世界結構相對應的表示。
它究竟算不算「理解」，我不覺得現在有簡單答案。但正因如此，真正值得研究的地方，也許恰好就在「純粹文字接龍」與「人類式理解」之間。
◆ 從神經網路裡蒸餾出公式
Tegmark 在演講中也提到克卜勒。克卜勒花了多年研究第谷留下來的火星觀測資料，最後才接受行星軌道並不是完美的圓，而是橢圓。
這個科學史上的故事提醒我們，大量資料本身不是知識。真正困難的，是從資料中找出一個足以解釋現象、而且比資料本身更簡潔的結構。
Tegmark 想做的事情，在某種意義上也是如此。只是現在被觀察的對象從火星變成神經網路。
其中一條路徑是符號回歸（symbolic regression）。我們未必需要逐一理解模型裡數十億個參數，而可以觀察模型在不同輸入下呈現的反應、梯度與內部結構，再嘗試找出一個更簡潔的數學公式去描述它。
這個想法對我很有啟發。我們常把「理解 AI」想像成必須徹底理解模型裡的每一個神經元，但科學其實很少要求我們掌握系統中的每一個微觀細節。我們無法追蹤氣體裡每一個分子的運動，仍然可以得到熱力學；我們無法知道市場中每一個投資人的完整心理狀態，仍然可以建立有用的價格模型。
真正重要的，是能不能找到一個更高層次、可以解釋與預測的結構。
如果 AI 在高維權重裡找到了一個人類原本不知道的規律，那麼下一步或許不是要求人類閱讀所有參數，而是想辦法把那個規律蒸餾出來。把它轉換成公式、程式碼，甚至形式化證明。
只有走到這一步，那個知識才不再只是「模型會做」，而重新變成一個人類可以檢查、討論與累積的知識。
◆ 從信任轉向驗證
演講裡另一個讓我很在意的問題，是 Tegmark 對「信任 AI」這件事的重新定義。
今天談 AI 安全，我們經常會問：怎麼確定模型不會犯錯？怎麼知道它在想什麼？怎麼讓人願意相信它？
其中一條主流路線是 interpretability，也就是盡可能理解模型內部的表示與推理過程。但 Tegmark 提出的另一條路更接近數學與形式方法的傳統：有些時候，我們未必需要信任 AI，我們真正需要的是驗證它的輸出。
假設未來一個能力極強的 AI 寫出控制關鍵系統的程式碼。問題不一定是「我是否理解它當初怎麼想到這段程式」，而可能是「我能否證明這段程式一定符合事先寫好的安全規範」。
如果 AI 可以同時產生程式碼與形式化證明，而最後的證明又能交給一個很小、透明、可由人類檢查的 proof checker 驗證，那麼信任的對象就改變了。
我們不再信任那個巨大模型本身，而是信任一條可以獨立檢查的邏輯鏈。
這和數學很像。我們不需要知道一個數學家當初怎麼想到某個定理。靈感可以非常私人，甚至有點混亂；但證明不能只靠個人權威。只要證明的每一步都成立，其他人就能獨立驗證。
如果未來的 AI 軟體開發朝這個方向發展，人與模型之間的分工可能會變得很不一樣。人類定義規範，AI 搜尋可能的程式並產生證明，最後再由一個透明的驗證系統把關。
我很喜歡這種關係。它避免把 AI 想成必須信仰的神諭，也不要求我們因為無法完全理解它，就拒絕使用它。
比較合理的想像，反而像一個能力極強、但所有交付成果都必須接受嚴格查核的承包商。
它可以比我們聰明很多，但責任邊界不能建立在「相信它應該沒問題」之上。
◆ 當答案太容易取得
看完 Tegmark 的演講後，我愈來愈覺得，我們研究 AI，某種程度上其實也是在重新研究「理解」本身。
什麼叫理解一個問題？是能給出答案嗎？是能預測嗎？是能把資訊壓縮成更簡潔的表示嗎？還是必須能把結論轉換成另一個人也可以驗證的符號系統？
神經網路裡那些圓、螺旋、地圖與分區之所以令人著迷，不只是因為它們漂亮，而是因為它們暗示了一件事：當一個系統真正掌握某些規律時，龐大的資料可能會逐漸收斂成比較簡單的結構。
如果這個方向成立，那麼未來 AI 最重要的能力，或許不只是替我們產生更多答案，而是幫助我們從龐大的資料裡找到原本看不見的結構，再把它們轉換成人類可以理解、檢驗與累積的知識。
這也改變了我看待「黑盒」的方式。不可解釋性仍然是一個真實而嚴重的問題，但黑盒不必然意味著我們只能在「完全理解」與「盲目信任」之間二選一。
還可能存在第三條路：讓強大的模型負責搜尋，讓透明的符號系統負責表達，讓形式化驗證負責把關。
最後，我反而一直想到 Tegmark 談的「飢餓」。
也許真正值得擔心的，不是我們擁有太少資訊，而是資訊多到讓我們不再需要理解。當答案變得太容易取得，真正稀缺的可能變成另一種能力：把複雜事物壓縮成少數幾個真正重要的結構。
圓、螺旋、公式、證明。
那些東西之所以吸引人，不只是因為簡潔，而是因為大量雜訊消失之後，留下來的往往才是我們真正需要理解的東西。
也許所謂智慧，從來不是知道得最多，而是在有限的資源裡，知道什麼不能被丟掉。