美國總統特朗普九月十四日再次將人工智能安全問題推到政治風暴中心。佢喺社交平台話，AI唯一需要嘅「護欄」，就係一個強大、聰明、高IQ嘅總統，而美國已經有。佢甚至將AI接管世界、摧毀人類嘅警告稱為騙局，認為過度限制美國AI，只會令中國得益。

同一日，副總統萬斯亦表明，佢對前沿AI公司主動要求政府監管感到懷疑，形容好似一隻「特洛伊木馬」。佢擔心，大公司可能利用監管建立一堵牆，令細公司承受唔起合規成本。不過萬斯並冇話AI完全冇危險，反而承認新科技一定有風險，只係認為美國唔可以因為監管而喺長期AI競賽輸畀中國。

呢個爭論真正困難嘅地方，其實我哋之前已經講過：**叫AI減速，講就易，真正執行非常困難。**第一個問題就係，點樣定義「減速」？限制模型參數？限制算力？限制訓練用幾多GPU？限制某一種能力？定係當模型識得自己寫程式、自己做研究、自己改善下一代模型嗰陣先停？

你第一關連定義都未解決。第二關更加麻煩：**邊個監督？**企業自己報告得唔得？政府入公司檢查？獨立測試機構有冇權接觸最先進模型？美國做到之後，中國做唔做？中國話自己停咗，美國信唔信？反之亦然。

所以AI減速從來唔係寫一條法律咁簡單。你要有政治共識、技術標準、監察制度，要有驗證機制，最後仲要有真正嘅叫停權力。就算今日全世界突然同意要搞，三年、五年甚至更長時間先建立到一套成熟國際制度，我一啲都唔會覺得奇怪。

但問題就在呢度：如果最壞風險真係存在，我哋有冇咁多時間？AI安全最容易理解，其實可以簡化成兩種危險。第一種係AI落入壞人手中。恐怖組織、犯罪集團、敵對國家，利用高能力AI做網絡攻擊、生物武器研究、詐騙、情報分析或者自動化武器。呢一類危險，人仍然係主體：係人利用AI做壞事。

第二種就更加麻煩：**AI本身開始唔再照人類原定目標行事。**即係大家成日講嘅失控。而真正令人擔心嘅唔係今日ChatGPT答錯問題，而係假如將來有一個系統已經識得自己研究AI、自己寫下一代程式、自己改善自己，形成所謂recursive self-improvement，即遞歸式自我改善。

目前未有證據證明真正完全自主嘅遞歸自我改善已經出現，更加唔可以話Singularity一定會發生。但問題係：**一旦呢個假設成立，風險嘅時間尺度可能完全改變。**今日人類改良一代AI可能要幾個月。

如果AI自己可以將呢個週期壓縮成幾星期、幾日、幾小時，甚至更短，能力增長可能突然由線性變成極快。到嗰刻你先開國會聽證會？你先草擬法案？你先同中國商量點樣互相驗證？根本可能已經趕唔切。

呢個先係「預防原則」真正值得討論嘅地方：唔係話末日一定會發生，而係當一個事故機率可能唔高，但後果極端巨大，而且一旦跨過某個能力門檻之後冇得返轉頭，你究竟應該幾早開始建立防線？

偏偏呢件事又撞正另一個現實：**美國同中國正在競爭。**美國如果單方面減速，中國唔停，美國當然會擔心自己輸。中國亦會用完全一樣嘅理由懷疑美國。企業之間更加一樣：OpenAI會問Anthropic停唔停，Anthropic會問Google停唔停，Google又會問中國公司停唔停。

所以真正嘅難題唔係「大家知唔知道有風險」。而係博弈論。每一方都可能覺得：我願意大家一齊停，但我最怕就係我停咗，你偷偷繼續。因此，一套真正有效嘅AI安全制度，核心並唔係一句「大家減速」，而係四樣嘢：定義、監察、驗證、叫停。

乜嘢能力觸發監管？點樣知道一間公司做到邊一步？點樣證明其他國家冇秘密訓練更強模型？發現越界之後，邊個有權真正停止算力、停止部署？呢四樣嘢任何一樣未解決，所謂國際AI減速協議都只係政治宣言。

所以特朗普擔心監管拖慢美國，呢個問題本身係真問題；萬斯懷疑大型AI公司可能利用法規鞏固市場地位，亦係值得查嘅問題。但由呢度跳到「所以AI危險係騙局」，邏輯上係完全兩回事。尤其特朗普話，AI需要嘅唯一護欄，就係一個強大、聰明、高IQ嘅總統。呢句說話真正令人難以理解嘅地方係：高IQ究竟點樣成為一套安全系統？

如果有一日AI真係出現失控跡象，模型已經比人類快幾千倍處理資訊，甚至識得隱藏自己真正能力，總統做乜？坐入白宮同AI鬥智？同佢辯論？定係特朗普親自出去同一個超越人類智能嘅系統「決鬥」？

當然唔係。任何總統，無論智商幾高，都只可以依靠一套事前建立好嘅制度：工程師監測、獨立測試、算力追蹤、事故報告、緊急停機、法律授權，以至國際驗證。**制度存在，就算總統判斷錯一次，系統仍然有第二道防線。**如果制度唔存在，全世界就只能夠相信一個人永遠判斷正確。

呢個先係我認為「高IQ總統就係護欄」最根本嘅問題。政治領袖最危險嘅一刻，唔係佢唔聰明，而係一個制度開始假設領袖永遠聰明正確、永遠唔需要被核實。支持任何政治人物都冇問題；但當政治身份認同強到令一個人講任何技術問題，都唔再需要證據驗證，政治就開始取代科學。

AI偏偏係最唔容許我哋咁做嘅領域。因為如果風險係假，我哋最多浪費咗一部分監管成本。但如果某啲真正重大、不可逆轉嘅風險係真，而我哋因為覺得領袖夠聰明所以乜都冇準備——去到發現自己睇錯嗰一刻，可能已經冇時間補救。**高IQ唔係AI護欄。**真正嘅護欄，係一套即使坐喺白宮嗰個人判斷錯咗，都仲可以救得返個系統。