結語

學者們設計了一套 open book 題庫，目的不是在難倒AI，最強模型答對率已經有七成，但重點是，這些agent到底怎麼找出答案的，我們在剖析他們的搜尋方法 (不能說解剖思考過程，那是另一回事了)。

實驗結果展示

1. 問題設定

假設你現在是老闆，要面試 個秘書，面試完必須立刻決定要不要錄取，不能吃回頭草。

• 你遇到第一個人，他是目前最好的機率是百分之百，也就是 1。
• 遇到第二個人，他比第一個好的機率是 。
• 第三個人，剛好是目前這三人裡最優秀的機率，是 。
• 以此類推，第 個人成為「目前為止最好」的機率，剛好就是 。這每一個都是獨立事件。

問題來了：你要怎麼選，才能讓自己選到那個「絕對第一名」的機率最大？

2. 逆向歸納法 (Backward Induction)

遇到這種不知從何下手的問題，最暴力的解法，就是從結果往回推。

秘書問題的本質，其實是最簡單的一種動態規劃。 如果你有學過任何 Dynamic Programming 的話，現實中的 DP 絕對比這個還要複雜非常多。 這裡 optimal stopping 是一個特別簡單的情形，數學上叫做 Backward Induction，逆向歸納法。

如果你沒學過也完全沒關係，因為我們現在馬上來看一下，它到底在幹嘛。

想像一下，你站在面試的最後一關。如果前面都沒選，最後一個就算再爛，你也只能硬著頭皮選下去。因為你已經知道最後一步的下場，所以我們可以開始「往回倒推」。

Part 2: The Meat（數學部分）

Part 3: The ending

雖然 Mercor 沒有付錢給我，但我還是很高興能把這個漂亮的數學題目分享給大家。希望你們喜歡這道題目的美麗證明，並且從中獲得啟發。

遊戲規則: [0,1] 連續版本

• 玩家：Player A 與 Player B。
• 底池 (Pot)： 元（可視為雙方起始強迫下注 ）。
• 發牌：雙方從 均勻分布抽取一個數字作為自己的牌面數字，彼此互不知情。
• 攤牌時勝負判定：
  • 數字較大者獲勝，贏走底池。
  • 若數字相同則平手，雙方拿回各自的下注。
• 下注流程：
  • 設定每次下注金額為 元。
  • Player A（先手）：可以選擇 下注 (Bet) 或 過牌 (Check)。
  • 若 Player A 選擇 過牌 (Check)，則輪到 Player B 行動，B 同樣可以選擇 下注 或 過牌。
  • 若 Player A 選擇 下注 (Bet)，則輪到 Player B 行動，B 可以選擇 跟注 (Call) 或 棄牌 (Fold)。

有了之前的經驗，我們知道 Player A 的策略會變成兩個函數 ，Player B 的策略也是兩個函數 ，

• ：Player A 在起始點的策略，決定是否下注 (Bet)。
• ：Player B 在面對 Player A 下注 (A Bet) 時的策略，決定是否跟注 (Call)。
• ：Player B 在面對 Player A 過牌 (A Check) 時的策略，決定是否偷底 (Bet)。
• ：Player A 在面對 Player B 偷底 (B Bet) 時的策略，決定是否跟注 (Call)。

根據這個設定本身，在 時， 是多少都不影響結果。所以這本來就是 coupled 的一組策略函數。

Player A 的期望值

遊戲有五種結局，我們寫個表來看看他們分別對 Player A 的 payoff 是多少：

	若	若	若
結局 1 (A bet, B call)
結局 2 (A bet, B fold)
結局 3 (A check, B bet, A call)
結局 4 (A check, B bet, A fold)
結局 5 (A check, B check)

同樣的，我們忽略相等的情況 (機率為零)，然後寫一下機率密度:

接著利用這張表，我們將各結局的「機率密度」與「損益」相乘，並對所有可能的牌型 積分，即可寫出 Player A 的期望值函數。

我將第 4 項（結局 4）省略了，因為其損益為 0，對積分沒有貢獻。

四個函數的變分

我們從最裡面解回來，也就是說，我們先假設 已經定好了，然後我們來找出最佳的 來最大化 Lagrangian。

解 :

只需要考慮包含 的項:

符合剛才的直覺，當 時， 不影響結果。

這個 的形式跟我們上一篇中的 幾乎一樣。這也很合理，因為我們從最後一步開始解，而上一次就是單純解最後一步。

來快速算一下這個 :

這個 是從負值遞增，然後過零點，最後變成正值的函數。

那麼 就是 既然其他點可以取任意值，不妨假設 其中 是使 的解。也就是

解出 後，接著解 或 都可以。因為沒有相依性。

解 :

只需要考慮包含 的項: 再來一次， 而 要最小化它，所以存在一個切分點 使得 其中 是使 的解。也就是 這邊確實就跟上一篇一模一樣了，因為上一篇也有這個分支。

解 :

考慮包含 的項，此時把剛剛解的 帶進去: 這邊稍微複雜一點，因為 其實是根據 決定的 (依照切分比例)。所以不能將 當成常數來看待。

交換一下順序，我們假設 是固定的，現在將 拆成兩個區間來做變分，但有面積的條件: 所以上面變成 如此一來又變回熟悉的形式了。 以及 因此， 這兩個函數，分別是遞增與遞減，而 要最小化整個式子，所以 是極化的策略 (不妨假設，否則的話就取 即可，我們要解的是形狀): 其中 是使得 的解。

假設確實有 ，那麼 以及 因此， 是依照 定義的。

等等，還有面積的條件需要滿足。但已經沒有自由度可以用了。也就是說最好的 並不一定滿足面積比是 這個條件。

但我們現在假設 Player A 固定，所以 是固定的。所以理解為，我們猜測 的形狀，在這樣條件下來看 可以打出的最佳進攻策略是什麼，而不需要滿足面積條件 。所以以上的推導依然成立。

解 :

這邊解 有兩種視角:

1. 最佳進攻策略: 對於任意固定函數 ，我們來看如何攻擊這組 (最大化 Lagrangian)。但上面的討論告訴我們，我們不用解最一般的情形，可以假設它的形狀是 , 。
2. 最佳防守策略: 將上面解出的 帶回 Lagrangian，然後解 來最大化 Lagrangian，也就是被 Player B 已知 的情形之下，要如何防守的概念，因為這裡 可以隨著 改變而改變。

這兩種視角都挺重要的，也都有意義。但因為 Nash Equilibrium 是在講最佳防守，所以我們先用第二種視角來看。

如果從 Player A 的防守視角來看，當固定 和 且被 Player B 已知的情形下，Player B 對於 的最佳攻擊策略是什麼? 利用 , ，我們將期約化為三個變數:

• : 把 底下的面積切成 的比例。
• : 先從 切開，然後選擇 滿足 ，接著選擇 滿足 。

這樣確實是 Player B 對 Player A 最嚴厲的攻擊。但有個風險，因為沒有滿足 ，所以如果 Player A 改變 ，就可以對 Player B 進行剝削。(至於這一來一往是正的還是負的? 感覺不好估計)

我們換個角度想，Player B 能不能選 使得就算 Player A 改變 也不會被剝削?

也就是要把 選成跟 無關的形式。回頭看看 , ，我們發現只要滿足下面的條件就可以了: 這邊很巧妙把 和 ，變成了 ，如此一來就跟 無關，而多出來的自由度可以讓 Player B 調整 來滿足面積條件 。

這邊有點一直交換 Min-Max的順序來論證，應該是對的。

現在我們得到小結論，Player B 只要知道 ，就可以選出一組 (也就是 ) 來攻擊 Player A。

所以問題已經約化到只剩最後一個函數: ，要取多少可以最大化 Lagrangian。

先來看看完整的 Lagrangian，我們先在沒有 約束下解，也就是這邊的等式對於一般的 都成立 (順便研究 Player A 的攻擊策略): 有些些混亂，我們把大於的符號一律改成小於的方向，看比較清楚。

好，雖然有點小複雜，但這都是 indicator function，積分通常可以直接算出來。

我們先假設有 ，

已經有點醜了，再來試試看 ，注意到積分後半段跟剛才的 其實一樣，然後前半段相對簡單。

其實還不算是太醜(?)，基本上是由折線線段組成的，但在第二項 有個(可能)不連續的點。而這個點若要連續，就是要滿足面積比例的條件!!

現在我們使用 的條件，所以以下結果開始基於有面積比例的條件。

積分變得好看很多，而 第二項也會連續。因為前後兩段斜率相同，所以會直接變一段。

我們把 拆分成兩個，第二個加了負號，這樣一來斜率都是正的了。還有做了一些簡單的代數代換，讀者可自行驗證。

單純看這個圖，我們就知道如果 要最大化 Lagrangian，那就是極化的，在兩端 是正的部分全 1，中間負的部分全 0。

但真的是這樣嗎?

因為 在開頭和結尾的斜率都一致，所以會不會 剛好重和。那樣一來 就是零，所以 可以是任意值。無差異! Indifference!

但也不一定要取到剛好一樣，如果可以的話，只要讓 一定小於等於 0 就行了。Player B 有辦法辦到嗎? 我們解端點 0 和 1 時的不等式(這邊的 我使用沒有帶面積條件的版本 ): 也就是 假設可以取到，那麼 對所有 都成立，這樣 Lagrangian 最大值就是 的積分值 。還是帶有 ，所以我們要把它具體解出來。

BTW, 如果 讓出一點點正的部分給 可以因此壓低的 的積分值的話，那我這樣就解錯了，但我們猜應該不會，這是這類 Indifference principle 不嚴謹的地方。而且根據該原則，其實上面兩個等號一定會成立，因為那是最讓 Player A 感受到無差異的條件: 所有 的地方 的取值都不影響結果。如果嚴格小於，那 Player A 在那裡的 一定會取 0。而直覺上 Player B 會在另個其他某個地方付出代價。這部分也不嚴謹。

還是來算算看，根據面積條件 ，假設 ，那麼 ，所以 ，而他最多是 ，所以

另一方面 是個開口向上的二次函數，因為 是 Player B 控制的，要選 讓它最小化。而其對稱軸位於 所以最佳的 果然是取到等號成立: 所以

以上推導應該還要再驗證，若不等式 不成立， 所增加的量，會比 所減少的量還多。這樣才保證 Player B 成功使 Lagrangian 最小化。但其實不太可能，因為如此一來，Player A 就不是針對 Player B 打出最佳攻擊了。但在 Nash Equilibrium 時，雙方都是最佳防守狀態，也都是彼此的最佳攻擊。所以在 Nash Equilibrium 狀態下，以上推導是成立的。

而 Player B 取這個 時，Lagrangian 是多少呢? 因為上面 的式子中， 時會是 也就是池底的一半，所以在 之間 會小於 ，超過 後就會大於 。而我們的 是小於 的! 所以 Player A 的整體期望值是小於池底一半的! 也就是先手劣勢。

如此一來 Game Value 有了，具體來說是: 總結以上的解法，Player B 打出最佳防守 時，是不需要知道 Player A 的策略的，所以這並非 Player B 的最佳攻擊策略。Player A 此時被無差異化了，所以 在 是 ，其他地方可以任意。

但若 Player B 可以根據 Player A 的策略來動態調整，那麼 Player B 的 就會依照 的面積比例去切分。此時 Player A 要如何選擇 才能最大化 Lagrangian?

如果繼續沿用剛才的邏輯，當 Nash Equilibrium 時，Player B 的最佳防守策略 會是對 Player A 的最佳攻擊，所以其實 也剛好會把 依照 的比例去切分。

所以說， 在 部分的面積，比上 部分的面積，會是 的比例。而因為 在 是 ，所以 在這區間的面積就是 。所以剩下要算的就是 在 的部分是多少。 帶 解出 而 在 的部分面積需要是 的 ， 所以

現在算出了 在兩邊的面積是多少，那形狀呢? 剛才的 Lagrangian 似乎就被面積決定了，也沒有提到形狀的問題。沒錯，Lagrangian 只跟面積有關，所以形狀可以任意。

遊戲規則

讓我們設定一個標準的賽局環境：

• 玩家：Player A 與 Player B。
• 底池 (Pot)： 元（可視為雙方起始強迫下注 ）。
• 發牌：從一副撲克牌中，雙方各發一張牌，彼此皆看不到對方的牌（資訊對稱且隱蔽）。
• 攤牌時勝負判定：
  • 數字較大者獲勝，贏走底池。
  • 若數字相同則平手，雙方拿回各自的下注。
• 下注流程：
  • 設定每次下注金額為 元。
  • Player A（先手）：可以選擇 下注 (Bet) 或 過牌 (Check)。
  • 若 Player A 選擇 過牌 (Check)，則輪到 Player B 行動，B 同樣可以選擇 下注 或 過牌。
  • 若 Player A 選擇 下注 (Bet)，則輪到 Player B 行動，B 可以選擇 跟注 (Call) 或 棄牌 (Fold)。

一般是這樣的。

不過這對現在的我們來說還是太複雜了，所以我們再做更進一步的簡化：

假設 若 Player A 選擇 過牌 (Check)，則 Player B 也必須 過牌 (Check)。

也就是說只有 Player A 可以進攻，Player B 只能被動回應。

這樣一來，遊戲流程就變成：

看起來 Player A 應該有巨大的優勢，不只是先手，而且 Player B 還不能主動進攻。

我們今天就要來算算，Player A 究竟能拿到多少優勢，以及 Player B 又該如何防守呢？

這是雙方資訊完全對稱 (全盲)，單純在討論這種 bet-call-check 的遊戲規則機制下，甚麼是最佳策略的分析。

今天用的方法不算太異想天開，稍微有一點變分法的概念即可。但是結果卻非常有趣。

連續的版本 Von Neumann Game

我們其實可以考慮一個更一般化的版本。

兩人各自從 區間內抽取一個數字作為「牌面」，數字越大代表牌越強。

抽取的機率密度是均勻分布。

其他規則與上面相同。

這個版本其實是 John von Neumann 在 1928 年發表的經典論文 “Zur Theorie der Gesellschaftsspiele” 中所提出的「連續版本」(Continuous Version) 的博弈模型。

我們今天主要分析這個版本，但大家可以隨時切換，想像若是離散的版本推導會變成怎樣。

策略表示法

什麼是一個 Player A (或 B) 的「策略」呢？

就是要完整描述，Player A (或 B) 在每一種可能的「狀況」下，會採取什麼行動 (的機率分布)。

因為這個遊戲極其簡化，Player A 和 B 都各只有一個決策點 Figure 1。

而這遊戲會面臨的狀況就是「自己拿到的牌是什麼數字」。完全看不到對手的牌。(看對手的面部表情算是 side information，不在這個模型裡面討論)

• Player A:
  • 假設拿到的牌面是 。
  • Player A 的策略可以表示為一個函數 ，代表當拿到牌面 時，Player A 選擇 下注 (Bet) 的機率。
• Player B:
  • 假設拿到的牌面是 。
  • Player B 的策略可以表示為一個函數 ，代表當拿到牌面 時，並且 Player A 已經下注 ，Player B 選擇 跟注 (Call) 的機率。
  • (注意，若 Player A 選擇過牌，則 Player B 也必須過牌，這個情況就跟 Player B 的策略無關了)

當兩個 Player 的策略給定後，就可以算這個 game 的期望值了。

因為是個零和遊戲 (zero-sum game)，或者精確來說 和是 。所以只要關注 Player A 的期望值 即可，Player B 的期望值就是 。

Player A 的期望值

如圖Figure 1 所示，遊戲有三種結局，我們寫個表來看看他們分別對 Player A 的 payoff 是多少：

	結局 1 (強制攤牌)	結局 2 (A 下注，B 跟注)	結局 3 (A 下注，B 棄牌)
若
若
若

稍微解釋一下:

• 比方說 結局2 () 的情況，Player A 最終會拿到的是 ，但其中有 是 Player A 自己下注的錢，而 此刻還沒被放進去，所以 payoff 只算 。
• 當然，池底 也有一半是 Player A 的錢。但那是已經放進去的，是 沉默成本 的概念，所以不會在 payoff 裡面扣掉。
• 若最終分析出來，Player A 的期望值小於 ，此時把放池底的 算進去，整體期望值變成負的了! 那 Player A 就 不應該參與這個遊戲。也就是退回到「玩/不玩」 這個遊戲這個決策節點來思考，不玩的期望值就是單純的 0。當然，如果不玩會被女朋友罵的話，那就另當別論了。所以這個一個 local optimum 的分析

因為是連續的均勻分布，所以 的機率為 0，我們先忽略不計。但若是離散版本，則需要把平手的情況也考慮進去，因為此時若是結局 3，Player A 仍然賺到。

積分表示法:

當給了 與 後，這個遊戲的期望值就固定下來了:

我們用了 指示函數(indicator function): 來表示「牌面大小比較」的條件。當然，也可以寫成分段的積分，但這樣寫起來，簡直像是直接從上面的表格搬下來的一樣，清楚多了。

我們再寫一次表格形式:

	結局 1 (強制攤牌)	結局 2 (A 下注，B 跟注)	結局 3 (A 下注，B 棄牌)
若
若
機率密度

好，現在 是一個 與 的泛函 (functional)。

回顧 Min-Max 原理，Player A 的任務是調整 來最大化 ，而 Player B 的任務是調整 來最小化 。

推導這個 Min-Max 解需要用到變分法的觀念，大概要花 20 分鐘的時間。

但我們先看一下這個式子。

回想上一篇中，調整 與 來最大化/最小化期望值的過程。

而現在我們要調整的，變成是無限維度的函數 與 。

若是離散版本，則可以把 與 就是定義在有限個點上的向量 (13維向量)，但記得討論相等 的情況。

而我們在 Part2 中用了 Pure Strategy 的線性組合，發現了雙曲面和翹翹板的圖像。

但若要考慮所有 Pure Strategy 的凸包頂點，則是所有取值為 0 或 1 的函數 與 ，那是 。那行不通。

所以這邊翹翹板的圖像又變了。

變分法

我們回到 Lagrangian，並嘗試用變分法來解這個 Min-Max 問題。

將 想成已知，我們要找出 Player B 的最佳策略 來最小化 。 重寫這個式子，將關於 的部分提出來:

如果 要讓 最小化，則當 乘上的那個東西是負的時候， 應該取最大值 1；反之，當那個東西是正的時候， 應該取最小值 0。

所以其實 Player B 的最佳策略 會是個 Pure Strategy。

不過稍等一下，裡面那個東西跟 有關，但 只能根據 來決定，所以上述其實是對 取平均的結果，也就是積分掉 。

我們來看看 乘上的那個東西: 也就是說將 小於 的部分乘上 後，再加上大於 的部分乘上 ，然後積分。

這個 會是個遞減函數: 而初始和末端值分別是:

如圖Figure 4 。

從 可以看出使 的點 ，會滿足面積比公式

有了 後，可以將 寫成

帶回去 Lagrangian:

這時開始使用 Min-Max 原理，來研究 Player B 的最佳進攻策略 。

假設 Player B 可以知道 Player A 的策略 ，根據上面 算出來的 ，Player B 的最佳策略就是:
也就是說在一個閾值 (threshold) 之下，Player B 全部棄牌；在閾值 之上，Player B 全部跟注。聽起來相當的合理。

而這個閾值 是由 Player A 的策略 所決定的。其中切分點在將 之面積切分為 的比例。

如果還記得前面的 lesson 4 和 5，跟當時的 bluff-to-value ratio 算出來一樣! 但我們還沒完全搞懂，暫且繼續看下去。

不論 Player A 下注機率分布 是什麼形狀，Player B 的最佳進攻策略是將其分成 的比例的兩個區域，然後大的區域跟注，小的區域棄牌。仔細想想，還真的很不直觀。

對於 另一種寫法其實是:
此時 取到的最小值就是

那我們來算算右邊是多少(只跟 有關):

帶回去 Lagrangian:

直覺地來看一下這個式子。第一項 是雙方放入的籌碼，後面兩項一正一負。注意其中的 雖然是 Player B 的策略，但是是根據 來決定的，也就是把 底下的面積切分成 的比例。假設固定這個 ，

• 第二項是正的，代表 在 面積 固定之下，我們要最大化 ，也就是把 往左邊 (小牌面) 集中。
• 第三項是負的，代表 在 面積 固定之下，我們要最小化 ，也就是把 往右邊 (大牌面) 集中。

所以結果變成

但我們目前只知道比例 ()，還有形狀 (往兩邊集中)，卻不知道具體值是多少。 所以要解 的 boundary 位置。

假設 boundary 分別在 和 ，則

這是一個 的二次函數，要最大化它，對 微分並令其為零:

這就是 Player A 的最佳策略 的具體值了:

而遊戲的 Game Value (期望值) 則是帶回去算:

這也就是一開始提到的 Player A 的超額報酬!! 等於池底的一半，加上一個正數。

小總結:

這是 Player A 的最佳防守策略。若 Player A 固定這個策略，那根據 ，Player B 的策略在 是如何都無所謂! 因為此時的 。

回想一下剪刀石頭布，當對手強力防守時，我們有較大的容錯空間，不一定要準準的玩在 GTO 上，最終期望值也一樣。但其實 Player B 若要強力防守，那麼只有剛好一個 ，否則其他的 都會露出破綻，讓 Player A 有剝削的空間。

翹翹板 Payoff

我們說要考慮 Player A 對於 Player B 的下注時的回應，要以 的機率來決定是否跟注 (call 元)。

這邊兩個機率 跟 ，若直接硬算，那就會是跟上一篇一樣。但是其實只要算 , 四種極端情況即可，因為剩下的情況會是這兩種的 mixed strategy。

• 若 Player B 拿到 Nuts，則 B 一定會 bet。在兩種極端狀況下，Player A 的期望值 payoff：

  	Player A: Always Fold ()	Player A: Always Call ()
  Player B: Always Bet

• 若 Player B 拿到 Air。在四種極端狀況下，Player A 的期望值 payoff：

  	Player A: Always Fold ()	Player A: Always Call ()
  Player B: Always Bet ()
  Player B: Always Check ()

我們將以上三種情況，分別畫下來：

• Senario 1: Player B 拿到 Nuts，則 Player B 一定下注 (value bet)
• Senario 2: Player B 拿到 Air，假設 Player B 總是下注 (bluff bet)
• Senario 3: Player B 拿到 Air，假設 Player B 總是過牌 (honest check)

那麼對 Player A 來說，這三種情況的 payoff 分別是：

因為 Player A 要最大化 payoff，所以會選數值大的 (翹翹板高處)。

先讓我們暫時把這三個翹翹板記在心中，待會再回來看。

雙曲面

假設 Player B 拿到 Nuts 的機率是 (此處 )，那麼一個 average over Player B 手牌的 Player A payoff 表格，即是兩個表的加權平均：

	Player A: Always Fold ()	Player A: Always Call ()
Player B: Always Bet ()
Player B: Always Check ()

先來簡化一下符號，將上面的 payoff 寫成矩陣 ：

在這個例子中是

既然已經知道 Pure Strategy 的 所有可能 情況，那麼 mix strategy 就是這些情況的 convex linear combination，而 就是權重。

所以在 mix strategy 時， Player A 的 payoff 期望值就是：

將 視為一個 的函數，畫在三維空間中的話，就是一個雙曲面 (hyperbolic surface)：

這是一個標準的雙曲面 (hyperbolic paraboloid)，中間有個鞍點 (saddle point)。

雖然是個二次函數，但當固定其中一個變數 (例如 )，截面其實是一條直線。可以將雙曲面想成是一條直線一邊旋轉一邊平移所掃出來的曲面。

當我們看 Side View 時 (相 這個維度投影掉)，可以明顯看出這個直線掃出的感覺，這不就是剛剛的翹翹板? 沒錯，這個雙曲面其實就是把三個翹翹板「合體」起來的結果。

讓我們 zoom in 看一下這個投影在 - 平面圖，其實也就是把 payoff 畫成 heatmap：

這張圖 Figure 3 很視覺化了驗證了之前推導的結果:

• 當 時， 不管 Player B 選擇哪個，期望值都是一樣的 (白色區域)。
• 而當 時， 不管 Player A 選擇哪個，期望值也是一樣的 (白色區域)。
• 而當其中有人偏離平衡點時，另一人可以取 0 或 1 的極端策略來懲罰對方 (payoff 變成紅色或藍色)。

一般式

現在幾何直覺已經很清楚了，讓我們回到一般式 ，來算一下公式解。

首先，這個鞍點會在 內部出現的充要條件是： 也就是在端點時，兩條斜率相乘是負的。

而在此時，鞍點的位置 是： 這可以有很多種解法，其中一種直覺 (圖解法) 是讓

而這個鞍點的 payoff ，也就是這個 game 的 value 是：

這當然也有很多種解法，例如直接把 帶回去。但另外一個有趣的算法是，若同時扣掉 將這個鞍點的高度(垂直平移到0)的話，那雙曲面函數 兩組對角線項 相乘會相等:
這樣自動就解出鞍點的高度 了。

講回翹翹板

我們再次回到翹翹板的圖像，原本翹翹板中間的桿子是沒有實質意義的，但現在剛好可以想成是線性的插值。

	Senario 1	Senario 2	Senario 3
直觀解釋	Value Bet	Bluff Bet	Honest Check
發生的機率
翹翹板

而 Player B 的最佳策略，就是使得 Player A 感受到翹翹板是平衡的 (這就是無差異原則!)，也就是用機率加權後是平衡的。

於是我們再次推導出 bluff-to-value ratio: 因為第三種狀況是 balanced，所以不用考慮。

Seven-card stud

假設 A 跟 B 玩 Seven-card stud， 元有限注，池底有 元。

現在來到最後一輪下注(已經發了最後一張牌)，前六張都是開的，最後一張只有自己知道。

• A 的手牌是: A♠ A♣ K♣ 9♦ 7♦ 6♥ [?]
• B 的手牌是: K♠ 9♠ 8♠ 7♠ 4♦ 2♦ [?]

目前 A 有一對 A，B 有高牌 K。若 B 的最後一張牌沒能組成同花 (flush)，那麼 A 就會贏。若 B 可以組成同花，那麼 A 也不可以組出更強的牌，所以 B 會贏。

也就是說，B 知道自己有沒有贏，但是 A 完全不知道。

現在這輪下注由 A 先行，他可以選擇下注 元 (Bet size) 或是蓋牌 (fold)。

從旁觀者的角度: B 拿到同花的機率是 ，因為剩下的 40 張牌中，有 8 張黑桃可以讓 B 組成同花。

A 的策略:

A 應該先過 (check)。因為 A 沒有任何 B 不知道的資訊。

這無關 A 的勝率 (B拿到同花的機率)，因為只要 B 用誠實的策略 (若贏就下注，若輸就蓋牌)，A 最多只贏 元，但下注的話多了輸 元的風險。

B 的策略:

現在輪到 B。 B 已經知道自己是否會贏。

• 如果 B 有同花(必贏)，那麼 B 當然要下注 元。
• 如果 B 沒有同花(必輸)，B 應該下注嗎? 有那麼一點可能是下注可以騙到 A 蓋牌(fold)，那麼 B 就成功騙贏 元。若欺騙失敗的話則多花 元。

B 的最佳策略是什麼呢?

柏松求和公式 - 高斯函數

柏松求和公式 (Poisson Summation Formula) 告訴我們，如果上面那個函數叫做 : 對於所有 都有定義，這裡我們稍微未卜先知，做了一個變數變換 ，不過這是等價的。

那麼我們可以把它寫成另一個無窮級數: 疑，形式還是 但是 input 變成了倒數 。前面還乘以 。

你說，這樣有了 跟 的關係，我們還是沒辦法算出來啊？對！但這個對稱性本身，暗示了一個更宏大的幾何結構。

Jacobi Theta Function 與神秘的空間 M [Optional]

當一個函數滿足一個 functional equation (函數方程式) 的時候，這時候我們就要來研究是否有唯一解? 若不唯一，那解有哪些?

我們很自然地可以將 定義到複數平面 (只要實部大於 0)。 這樣我們就可以把 視為一個所謂的 Jacobi Theta Function: 這邊 ， (上半平面，對應原本的 )。因為 跑得比 快，所以我們只需要 的虛部大於 0 就可以保證收斂性。

常見的 theta function 總共有四種，我們這邊用到的是 （當 時就是我們原本的級數）。

這時候，讓我們退一步看。剛剛那個 的性質，用複數語言寫出來，其實是在說這個函數在經過特定的「變換」（比如 ）後，會變回自己乘以一個因子。

那我們能不能用將這個等式推廣到複數函數 上呢？ 可以的! 經過一些複雜的分析技巧，我們可以得到:

這類具有高度對稱性的函數，居住在一個叫做 模形式 (Modular Forms) 的向量空間 裡。

簡單來說，如果一個函數 滿足： 我們就說它是權重為 的模形式。我們的 函數大致上就是這樣的一個東西（權重 ）。

這個空間 是有限維的！

在某些特定的限制條件下(例如 )，這個空間的維度甚至只有 1。這意味著什麼？這意味著如果我們在這個空間裡找到了兩個函數，它們極有可能是同一個東西（或是只差一個常數倍）。這也就是為什麼數論學家能用 Theta Function 解決很多整數拆分問題的原因——因為路只有一條。

這邊有點含糊了，因為當 根號複數 會有選分支的問題。所以其實權重 的模形式要退縮到一個較小的子群，通常是 Level 4 的同餘子群 。而在空間 中，其維度為 1。

這以後有機會再深入講解。

離散高斯

且讓我們看著 的定義式，是不是長得有點像特徵函數 (Characteristic Function) 呢？

讓我們回憶一下機率論。對於一個連續的高斯分佈 (Normal Distribution)，其機率密度函數 (PDF) 是 的形式，而它的特徵函數 (Characteristic Function, Fourier Transform of PDF) 算出來依然是 的形式。

那如果是離散的呢？

假設我們有一個隨機變數 ，它只能取整數值 ，而且取 的機率正比於高斯分佈: 這就是一個 Discrete Gaussian。

那麼這個離散變數的特徵函數 (Characteristic Function) 是什麼？定義是 ： 確實就是 阿! (只要令 , )

所以，我們可以這樣理解：

1. 連續世界：高斯函數的傅立葉變換是高斯函數。
2. 離散世界：Theta Function 其實就是「離散高斯分佈」的特徵函數。

不過這邊是成正比，分母還差了一個 ，這是為了讓機率加總為 1。

附錄：Poisson Summation Formula (PSF) 的證明

雖然前面講得很玄，但數學還是要回歸嚴謹。為什麼 會等於 ？這裡給出一個完整的證明。

定理敘述: 假設 是一個連續函數，且滿足足夠的衰減條件（見證明）。定義其傅立葉變換為 。則：

證明：

我們引入一個輔助函數，將 進行「週期化 (Periodization)」，假設級數收斂：

第一步：確認 的性質

顯然 是一個週期為 1 的函數。

既然是週期函數，我們就可以將其展開為 傅立葉級數 (Fourier Series)： 其中係數 的計算公式為：

第二步：連結 與 (關鍵步驟)

將 的定義代入 ：

這裡我們遇到了一個數學上的危險操作：積分與求和交換 (Interchange of Summation and Integration)。 交換的條件： 根據 Fubini 定理或控制收斂定理 (Dominated Convergence Theorem)，我們需要 衰減得夠快。一個充分條件是存在常數 與 ，使得： 這保證了 是一致收斂的，積分與求和便可交換。

交換後： 利用 的週期性， ，我們可以把積分變數變換 ： 觀察這個式子，這是把實數軸切成一段一段長度為 1 的區間，然後全部加起來。根據積分的可加性，這等於從 積到 ：

第三步：代回並取值

現在我們知道 。

令 ，我們得到： 回顧 的原始定義 ，兩式合併即得證：

Q.E.D.

常態分佈近似?

我們要用機率的觀點，計算 。也就是擲 枚公正的硬幣，有多少機率會出現 個正面朝上？

• 平均值:
• 變異數:
• 標準差:

所以有正面朝上的個數分布大約就是： 。

但因為常態分佈是描述連續的機率密度，而我們擲硬幣是離散的。

所以應該是要算：從 到 的區間下的常態分佈面積，但也可以用 那個點的機率密度來近似(想成用寬度為1的長方形近似)。

記得還要乘上 才是組合數。

這邊需要一些常用的近似值：

所以估計

實際上 ，我們的估計值大約是 倍左右! 意外地不準! 為什麼?

梯形近似

其實以心算來說已經夠了，如果再算更複雜還不如用電腦算。 但我們實在很想知道，這個不準的來源，是來自於哪裡?

1. 常態分佈 二項分佈。
2. 用長方形(寬度 1) 近似曲線底下的面積。

我們來算算看梯形面積會不會好一點? (P.S 這裡已經失去了速算的意義，單純研究誤差來源)

剛才是約 ，已經是高估三倍了，這次是 ，誤差又更大了!!

因為 convexity 的關係，在超過 後，常態分佈曲線已經是『下凸』 (Convex / Concave Up，像碗一樣向上彎)，梯形面積反而比長方形面積誤差還更大，所以誤差更大了。當然可以用切線近似之類的，但本質上最大問題，在於常態分佈本身在離 很遠的地方，已經無法很好近似二項分佈了。

(P.S. 雖然說常態分佈的尾巴比二項分布還要厚，但是已經比其他真實世界的分佈還薄很多，例如股市漲跌幅、或是Student-t分布。)

大偏差理論 Large Deviation Theory

我們花了一番力氣證明，無論是用長方形還是梯形去近似常態分佈下的面積，都無法修復 3 倍以上的誤差。這意味著：問題不在於積分技巧，而在於模型本身。

這個現象在機率論裡有一個專門的學科在研究，叫做 大偏差理論 (Large Deviation Theory, LDT)。

我們擲 52 次硬幣，平均正面次數 。但我們卻想計算 的機率。

是一個極端事件 (Extreme Event)。雖然常態分佈是根據中央極限定理（Central Limit Theorem, CLT）得出的，它保證了當 夠大時，中央區域的表現很像常態分佈。但是，CLT 並不保證尾部的行為。

LDT 研究的正是這些極端事件發生的機率是如何指數級地衰減。它告訴我們，當事件離平均值越遠，常態分佈的近似（它假設了 的衰減）就會嚴重失真。對於 這種極端偏差，我們必須使用更精確的工具。

根據 大偏差理論 (Large Deviation Theory) 中的 Cramér’s Theorem，對於樣本平均數 偏離期望值 的機率，其衰減速度並不是常態分佈描述的 ，而是由 速率函數 (Rate Function) 決定的： 對於伯努利分佈（投硬幣），這個速率函數 其實就是 相對熵 (KL Divergence)： 在我們的例子中，。如果我們計算 ，你會發現它剛好等於我們後面要用的那個「神奇修正項」： 也就是說，LDT 準確預測了常態分佈在尾部會失效，並且告訴我們失效的幅度（修正項）剛好就是相對熵的指數！為了具體計算這個值，我們可以使用 LDT 常用的技巧：指數傾斜 (Exponential Tilting)，也就是把機率測度變換到讓事件變成「中心」的地方!

既然在原本的機率分佈 () 下， 是個看不清楚的邊緣地帶，那我們不如創造一個新的平行宇宙，在這個宇宙裡， 才是最正常的事件。

我們可以定義一個新的二項分佈，讓它的參數變成 ，這樣我們就可以把 這個事件，轉換成在新分佈下的「平均事件」。

在新的分布下，

• 平均值 ，
• 變異數 ，

根據我們的常態分佈近似（因為現在 7 是平均值，也就是峰值，近似會非常準確）：

將兩式合併，我們就可以反推組合數 ：

這正是 Stirling Formula 的形式！ 我們繞了一大圈，利用機率觀點的「換底操作」，重新發現了階乘近似公式。雖然這完全失去了心算的意義，但這揭示了常態分佈、大偏差理論與組合數學之間深刻的連結。

作為收尾，我們比較一下這跟剛才 時的近似值：

假設我們不看係數的誤差，令 ，比較兩個指數部分的差異，正確的是用 ，而錯誤近似的是用 ，是一個二次函數的近似。

這樣就看得很清楚了，當 兩者相等，但當 遠離 時，二次函數的近似會越來越高估 的值，導致組合數被高估。

Texas Hold’em

但在德州撲克中，假設跟到第五張，我們是從七張牌中選五張來組成最好的手牌。所以我們可以計算從七張牌中組成各種手牌的組合數量。

首先，我們必須確立樣本空間的總數。在德州撲克中，玩家最終會有 7 張牌（2 張手牌 + 5 張公牌），我們需要從這 52 張牌中選出 7 張，總組合數為：

這個數字比 5 張牌的 260 萬大了約 50 倍，計算過程中會出現許多「重疊」的情況（例如手上有 6 張同花色的牌，或者同時擁有兩對和三條），我們必須確保只計算該手牌能組成的最佳牌型。

同花順 (Straight Flush) 的方法數: 這包含了皇家同花順。在 7 張牌中要湊出同花順，意味著這 7 張牌中至少包含了 5 張連續且同花色的牌。 這需要考慮 7 張牌剛好構成 5 張、6 張或 7 張連續同花的情況。經過排容原理計算後，共有： 機率約為 。

四條 (Four of a Kind) 的方法數: 這比較好算。我們需要從 13 個數字選 1 個做為四條（），這四張牌全拿（）。剩下的 3 張牌可以從剩餘的 48 張牌中任意選擇（）。 注意：即便剩下的 3 張牌湊成一對甚至三條，因為四條是大牌，最佳手牌依然是四條，所以不用扣除。

葫蘆 (Full House) 的方法數: 這是 7 張牌中最容易算錯的部分。因為在 7 張牌中，你可能拿到「三條+三條」（取大的三條配小的一對算葫蘆）、「三條+兩對」、「三條+一對」。 經過詳細分類計算（此處省略繁瑣的排容過程），總共有：

同花 (Flush) 的方法數: 我們需要 7 張牌中至少有 5 張同一花色，且不包含同花順。 算法是：選 1 種花色，然後從該花色 13 張選 7 張、選 6 張配 1 張雜牌、或選 5 張配 2 張雜牌。最後減去同花順的數量。 組合數為：

在德州撲克中，葫蘆機率 依然小於 同花機率，並沒有反轉!

P.S. 在短牌撲克（Short Deck Poker）中，由於去掉了 2-5，共 36 張牌，葫蘆反而變得比同花更容易出現(反轉!)，這是因為牌數減少後，同花的組合數下降幅度較大所致。所以在短牌規則中通常是「同花 > 葫蘆」。

順子 (Straight) 的方法數: 類似同花，需找出 5、6 或 7 張連續數字，扣除同花順。 總數為：

三條 (Three of a Kind) 的方法數: 指 7 張牌中包含三張同號，但剩下的 4 張牌不能形成另外的三條或一對（否則會變成葫蘆或四條），也不能形成順子或同花。 總數為：

兩對 (Two Pairs) 的方法數:

這在德州撲克中非常常見。你可以拿到 3 對（取最大的兩對），或者 2 對配 3 張散牌。 總數為：

一對 (One Pair) 的方法數: 總數為：

這意味著在 Showdown 階段，你有接近 44% 的機率至少持有一對。

散牌 (High Card) 的方法數: 什麼都沒湊成，連一對都沒有。 總數為：

有趣的是，在 7 張牌選 5 的規則下，拿散牌的機率比拿一對還要低（散牌約 17.4%，一對約 43.8%）。這解釋了為什麼在德州撲克中，光靠一張「A High」通常很難贏到底。

德州撲克手牌分佈直方圖:

我們將上述 7 選 5 的數據更新到圖表中，你會發現分佈趨勢與標準 5 張牌撲克有所不同，特別是葫蘆與同花的順序對調，以及散牌數量的驟降。

texasHandTypes = [
  // { type: "Straight Flush",  count: 41_584 },
  // { type: "Four of a Kind",  count: 224_848 },
  { type: "Full House",      count: 3_473_184 },
  { type: "Flush",           count: 4_047_644 },
  { type: "Straight",        count: 6_180_020 },
  { type: "Three of a Kind", count: 6_461_620 },
  { type: "Two Pairs",       count: 31_433_400 },
  { type: "One Pair",        count: 58_627_800 },
  { type: "High Card",       count: 23_294_460 }
];

// 繪製直方圖
{
  const div = DOM.element('div');
  const totalCombos = 133_784_560;
  Plotly.newPlot(div, [{
    type: 'bar',
    x: texasHandTypes.map(d => d.type),
    y: texasHandTypes.map(d => (d.count / totalCombos * 100)),
    marker: { color: 'steelblue' },
    text: texasHandTypes.map(d => `${(d.count / totalCombos * 100).toFixed(2)}%`),
    textposition: 'auto'
  }], {
    yaxis: {
      title: 'Probability (%)',
      type: 'log',
      gridcolor: '#e5e5e5'
    },
    xaxis: {
      title: 'Hand Type'
    },
    margin: { t: 30, b: 80, l: 80, r: 30 },
    plot_bgcolor: '#ffffff',
    paper_bgcolor: '#ffffff'
  }, {
    staticPlot: true
  });
  return div;
}

總結與洞察

對比 5 張牌與 7 張牌的機率，我們可以得到幾個對實戰有幫助的結論：

1. 散牌大幅減少：在 5 張牌中，散牌佔了 50%；但在 7 張牌中，散牌只佔 17%。這意味著在河牌圈（River），對手大概率是有牌的（至少有一對）。
   
2. 高頻手牌：一對和兩對在 7 張牌中非常常見，分別佔了約 44% 和 23.5%。這表示在實戰中，持有至少一對的機率非常高，這也影響了下注策略和讀牌判斷。
3. 葫蘆與同花機率大幅上升：從傳統撲克轉到德州撲克，最大的直覺衝擊在於牌型差距的縮小。在傳統撲克中，拿三條比拿葫蘆容易 15 倍，但在德州撲克中，這個差距縮小到了不到 2 倍。這意味著：在德州撲克中，當你拿到三條或順子時，撞上對手拿到同花或葫蘆的機率，比你想像中高得多。我們可以把大牌分成兩組來記：
   1. 常見強牌組 (約 5%)：三條 與 順子。這兩者出現頻率很高，是底池主要競爭者。
   2. 稀有魔王組 (約 3%)：同花 與 葫蘆。雖然只比上面少一點，但在機率上這意味著它們通常能贏過上面的牌。

If Player A checks on the River:

我們可以看一下如果 Player A 在第四張牌後不繼續下注，Player B 輸的話就只損失 60 元，但贏的話可以贏 150 元，這樣 Player B 的 EV 會變成正的。

graph TD
    %% 定義節點樣式
    R4((The Turn))
    Node2((The River))
    
    %% 定義結構與連接線標籤
    R4 -- "33/45" --> Node2
    R4 -- "4/45" --> A1[A win: -60]
    R4 -- "8/45" --> B1[B win: +150]

    Node2 -- "36/44" --> A2["<b>A win: <span style='color:red'>-60</span></b>"]
    Node2 -- "8/44" --> B2["<b>B win: <span style='color:green'>+150</span></b>"]
    
    %% 樣式調整
    style Node2 fill:#f9fff0, stroke:#333,stroke-width:2px
    style A1 fill:#ffcccc, stroke:#cc0000,stroke-width:2px
    style A2 fill:#ffcccc, stroke:#cc0000,stroke-width:2px
    style B1 fill:#ccffcc, stroke:#00cc00,stroke-width:2px
    style B2 fill:#ccffcc, stroke:#00cc00,stroke-width:2px

小結

回到最一開始，我們計算 Pot Odds 是 2.5:1，對應需要的勝率是 28.57%。 Player B 實際上只有大約 17.78% 的機率在第四張牌就組成 flush，並不足夠跟注。

Odds vs Probability

在撲克中，Odds 和 Probability 是兩個相關但不同的概念。 Probability 是指某事件發生的可能性，通常以百分比表示 (例如 25% 的機率)。而 Odds 則是指某事件發生與不發生的比率。

• 1:3 的 Odds 意味著該事件發生的機率是 1/ (1+3) = 25%。
• 3:1 的 Odds 意味著該事件發生的機率是 3/ (3+1) = 75%。
• 2:5 的 Odds 意味著該事件發生的機率是 2/ (2+5) ≈ 28.57%。

計算 Hermite 多項式

對 微分:

若將 兩邊對 微分，我們可以得到一個遞迴關係式： 所以我們有： 這就足以讓我們依序積分計算出 階的 Hermite 多項式，但還差常數項。 而常數項 可以直接從原本的生成函數 帶入 得到： 注意到左邊其實是偶函數，所以所有奇數階的 Hermite 多項式在 都是 0。 而偶數階的話，我們可以將指數函數展開： 所以

但從這個遞迴式實在看不出為什麼 Hermite 多項式一定是整係數。畢竟一直積分是可能會產生分母的。

對 微分:

應該來試試看對 微分會得到什麼？

所以我們有另一個遞迴關係式： 我們再用剛才的的遞迴式 把 換成微分： 疑? 原本 告訴我們要算 階 Hermite 多項式是一直積分，現在變成了一直乘以 和微分!

至少我們可以確定，Hermite 多項式的係數一定是整數，因為每一步運算都不會產生分母。

既然是整數，是否可以問他的係數的組合數學的意義? 從 出發，我們可以展開 ： 因為 當 ，所以只有 的項會留下來，這似乎跟我們之前的結論矛盾? 當然不是!! 因為乘以 和 微分作用是不能交換的，所以不能套用二項式展開式。

P.S. 組合數意義:

的係數其實對應於 完全圖 (Complete Graph) 的匹配數 (Matchings)。 具體來說： 其中 是 在 個頂點的完全圖中，選出 條不相鄰邊 (disjoint edges) 的方法數。

例子 :

• 項 (): 選 0 條邊。方法數 = 1。

• 項 (): 在 4 個點中選 1 條邊。 種。

• 常數項 (): 在 4 個點中選 2 條不相鄰的邊 (也就是完美匹配 Perfect Matching) -> 3 種。

• 係數正好是 (正負號來自公式裡的 )。這完美的解釋了為什麼係數都是整數！

解微分方程:

我們來思考一下這個微分算符，他在物理學上有重要的意義，叫做 創生-消滅算符 (creation-annihilation operator)： 但我們先不談物理意義，之後有機會再補充。如果說要解微分方程: 其中 是已知。大家以前在大學可能有學過個技巧，叫做 積分因子 (integrating factor)，我們可以試著同乘以一個函數 來讓左邊變成「一個微分」，而非現在這樣的「乘法減微分」。我這邊不寫通式(因為原理是一樣的)，直接給出結果，取 ： 因此就可以寫出通解：

所以說，從算符的角度來看，其實 因此我們寫出了第三種 Hermite 多項式的定義：
其實回到 ，這個等式是一個算符的等式，我們目前只是看到他作用在 1上的特例，而這個轉換不覺得很眼熟嗎? 感覺就像在對矩陣做對角化! 前後乘一個轉換矩陣和它的反矩陣，然後中間是簡單的對角矩陣 (這邊是微分算符)。

正交性質

在函數空間中，多項式正交就是指內積為零，而內積的定義通常是相乘後在某個權重函數下積分(也可以想成是期望值)。那這組多項式在什麼權重函數下是正交的呢？

我們想選個適當的權重函數 使得對所有 ： 利用 Hermite 多項式的定義 ，我們有： 最直覺的想法是讓 ，這樣就消掉了。然後不斷地做分部積分，直到把 次微分都移到 上面： 當 ，我們不妨假設 ，那麼因為 是 次多項式，所以經過 次微分後會變成 0，因此整個積分結果是 0。

若 ，我們可以利用 計算出 ，所以整個積分結果是 。

因此我們推導出 Hermite 多項式的正交性質： 其中 是 Kronecker delta。

小結

Hermite 多項式會出現在很多地方，他會是 Fourier Transform 的本徵函數 (eigenfunction)! 敬請期待未來的文章。

Intuition 解釋版本1

我們直觀地理解 Chi-squared test，應該這樣解讀公式 還記得如果是 binomial 分佈(或者看成 multinomial 分布的其中一項)，期望值是 ，標準差是 ，所以若 是期望值，那 大概是標準差 (忽略掉 部分)。所以我們就是在算 實際值 減去 期望值 再除以標準差 ，這就是標準化 (standardization) z-score的概念。然後我們把每個 category 的標準化結果平方後加總起來，這就是 Chi-squared 統計量。

這個解釋對於公式來說是最直觀的，但也忽略了很多細節，比方說這忽略的 感覺不會趨近於 0，而且為甚麼自由度是 ，這些不同z-score之間並沒有獨立，怎麼可以說是Chi-squared?

Intution 解釋版本2

另一個角度，我們證明這其實是個 likelihood ratio test 的近似，而 likelihood ratio test 本身就是最有效力的檢定方法 (Neyman-Pearson lemma)。

• : Contigency table 是 rank 1 矩陣 (independent)。用 個參數描述。
• : Contigency table 是 任意的矩陣。用 個參數描述。

我們可以計算在 跟 下的 likelihood ratio。

先算 :

假設我們實驗得到的表是 ，。用 rank 1 矩陣去算 likelihood 就是待定 跟 (滿足 且 )，把 當成期望值。

likelihood function 是 multinomial distribution: 這邊我們要選 使得 likelihood 最大化。不防忽略常數項，然後取 log: 因為還有約束條件 ，，我們用拉格朗日乘數法 (Lagrange multipliers)，引入 ，考慮 分別對 , 求導數並設為 0: 利用約束條件，我們可以解出 ，所以期望值 這就是我們在 Chi-squared test 裡面計算的期望值。 代回去 likelihood function:

接著來算 :

過程很類似，但現在有 個參數 ，且約束條件是 。直接算 Lagrangian: 取偏導並設為 0: 所以期望值就是觀察值本身 ，非常符合直覺。代回去 likelihood function:

最後計算 likelihood ratio:

Interactive: Finite Chi-Square CDF (Log Scale)

Adjust to see how the discrete CDF steps approximate the smooth curve.

viewof n = Inputs.range([2, 50], {value: 5, step: 1, label: "Sample Size (n)"})

probs = [0.2, 0.5, 0.3] // Change probabilities here
k = probs.length
expected = probs.map(p => p * n)

// --- 2. MATH LOGIC ---

// Recursive function to get partitions (compositions of integer n)
function getCompositions(target, bins) {
  if (bins === 1) return [[target]];
  const results = [];
  for (let i = 0; i <= target; i++) {
    const sub = getCompositions(target - i, bins - 1);
    sub.forEach(s => results.push([i, ...s]));
  }
  return results;
}

// Generate Raw Data
outcomes = getCompositions(n, k)

rawData = outcomes.map(counts => {
  // Factorial helper
  const fact = (num) => {
    if (num <= 1) return 1;
    let r = 1; 
    for(let i=2; i<=num; i++) r *= i; 
    return r;
  }
  
  // Multinomial Prob
  let denom = 1;
  let probTerm = 1;
  counts.forEach((c, i) => {
    denom *= fact(c);
    probTerm *= Math.pow(probs[i], c);
  });
  const p = (fact(n) / denom) * probTerm;
  
  // Chi Sq Statistic
  let q = 0;
  counts.forEach((c, i) => {
    q += Math.pow(c - expected[i], 2) / expected[i];
  });
  
  return {q: q, p: p};
})

// --- 3. AGGREGATE & CALCULATE CDF ---

groupedCDF = {
  // A. Group by Q (sum probabilities for identical Q statistics)
  const map = new Map();
  rawData.forEach(d => {
    const key = d.q.toFixed(6); 
    const existing = map.get(key) || 0;
    map.set(key, existing + d.p);
  });
  
  // B. Sort by Q
  let sorted = Array.from(map, ([q, p]) => ({q: +q, p: p})).sort((a,b) => a.q - b.q);
  
  // C. Calculate Cumulative Sum
  let cumSum = 0;
  return sorted.map(d => {
    cumSum += d.p;
    // Log scale fix: If Q is exactly 0, bump it to 0.01 so it shows up on log axis
    const plotQ = d.q === 0 ? 0.01 : d.q;
    return {
      realQ: d.q,
      plotQ: plotQ, 
      cdf: cumSum
    };
  });
}

// --- 4. PLOTTING ---

Plot.plot({
  title: `CDF for n=${n} (Log Scale)`,
  grid: true,
  x: {
    type: "log", 
    label: "Chi-Square Statistic (Q)",
    domain: [0.01, d3.max(groupedCDF, d => d.realQ) * 1.2] // Ensure plot fits
  },
  y: {
    label: "Cumulative Probability", 
    domain: [0, 1.05]
  },
  marks: [
    // The "Sticks" (Discrete CDF)
    Plot.ruleY(groupedCDF, {x: "plotQ", y: "cdf", stroke: "#2563eb", strokeWidth: 2}),
    Plot.dot(groupedCDF, {x: "plotQ", y: "cdf", fill: "#2563eb", r: 3, title: d => `Q: ${d.realQ.toFixed(2)}\nCDF: ${d.cdf.toFixed(4)}`}),
    
    // The Continuous Chi-Square CDF Curve (df = 2)
    // Formula: 1 - exp(-x/2)
    Plot.line(
       d3.range(0.01, d3.max(groupedCDF, d => d.realQ) + 5, 0.1).map(x => ({x: x, y: 1 - Math.exp(-x/2)})),
      {x: "x", y: "y", stroke: "#dc2626", strokeWidth: 2}
    ),
    
    // Add a text annotation explaining the log clamp if needed
    Plot.text([{x: 0.01, y: 0.1, text: "← Q=0 (Clamped)"}], {x: "x", y: "y", textAnchor: "start", fontSize: 10, fill: "gray"})
  ]
})

Why this works:

1. viewof n = Inputs.range(...): Creates the HTML slider.
2. {ojs} block: This JavaScript code runs in the user’s browser, not on your server.
3. Reactivity: When the user drags the slider, n updates, the data array recalculates, and Plot.plot re-renders automatically.

Note: I hardcoded the Chi-Square PDF for (df=2) as to avoid needing a complex Gamma function library in JavaScript. If you change the number of probabilities (), you will need to update that formula.

Cumulant Generating Function

還記得動差生成函數 (Moment Generating Function, MGF) 定義為： 名符其實，他就是「動差」的生成函數，因為對 做泰勒展開 (Taylor Expansion) 後，係數正好是各階 動差 (moment)： 另外一種比較常用的是減掉常數項的中心動差 (central moment)：

不過呢，有時候因為動差函數不存在 (例如 Cauchy 分佈)，我們會改用一定會存在的特徵函數 (Characteristic Function, CF)： 所以也可以用 來計算動差： 至於 central moment， 這邊要稍微注意一下，CF 是個複數值函數，所以其實是個複變函數的微分!

舉例說明：

Distribution
Bernoulli()
Poisson()
Normal()
Gamma()

而如果只是想算 moment 的話 CF 就很夠用，但他對於捕捉獨立性 (independence) 的效果並不理想。這時候我們就需要用到 Cumulant Generating Function (CGF)：
因此我們定義 Cumulant 為：

當然，也有複數版本，通常會叫 Second Characteristic Function： 但這有個問題，就是 可能會是負數或複數，導致 會有多重值 (multi-valued) 的問題，所以我們通常還是用實數版本的 CGF。

取了 的好處就是：如果 跟 獨立，那麼 。這點跟 MGF 不同，因為 MGF 是乘法關係 ()。

所以對於 moment 來說，兩個獨立隨機變數相加的第 階動差，會是兩個變數各自前 階動差的 convolution (加上一些組合係數)。 但對於 cumulant 來說，兩個獨立隨機變數相加的第 階 cumulant，會是兩個變數各自第 階 cumulant 的直接相加：

舉例說明：

Distribution
Bernoulli()
Poisson()
Normal()
Gamma()

註: 直覺上因為 distribution 完全被 CF 決定，所以知道了所有 moment (或 cumulant) 似乎也就等於知道了 distribution 本身。但是，其實有可能 CF 在 0 點附近並不解析 (analytic)，常見例子請參考 Log-Normal distribution。所以說，知道所有 moment 只是知道在 0 點的微分，並不保證能還原整個 CF。

看著這個表，我們會想，是不是任意給 ，就能找到一個對應的分佈？答案是否定的。比方說，若要使 cumulant 只有有限項非零，那麼這個分佈只能是 Normal 分佈，這是個非常有名的結果：

大定理(Marcinkiewicz Theorem): 如果一個隨機變數的 cumulant generating function 是個(有限階)多項式，那麼這個多項式的階數最多是 2。

為了保證 CGF 的存在性，該定理本來的敘述是說，若 CF 可以寫成 ，其中 是個(複係數)多項式，那麼 的階數最多是 2。

我們先跳過證明，提供一些直覺上的理解：主要是因為 CF 是 PDF 的傅立葉變換，而 PDF 必須非負 (non-negative)，這使得 CF 的形式受到很大限制。Lukacs (1970, Theorem 7.3.3) 有詳細的證明。

Cumulant vs Moment

在一階、二階和三階，cumulant 跟 central moment 是一樣的: 三階 cumulant 是： 但是從四階開始，cumulant 跟 central moment 就不一樣了： 所以我們有：

由 cumulant 對於獨立變數相加的可加性質，我們可以由此看出，兩個獨立的隨機變數相加，平均值、變異數、偏度 都會相加，但峰度卻不會相加，因為峰度差了 。而一般峰度的定義是 ，所以峰度減去 3 (稱之為 excess kurtosis)，再搭配上適當的 variance scaling 就會有可加性。

一般式的推導

徒手算到這邊也差不多了。對於更高階的 cumulant，我們應該系統化地研究他們的係數。 因為 ，所以 。

乘法的微分 階就會跟 二項式係數 有關:

所以， 將 代入，因為 ，而 的 階導數在 就是動差 ，我們得到： 寫成矩陣形式會比較清楚： 還是把 全部寫在一起好了： 所以說要算任意的 ，我們就看這個矩陣的前 子矩陣，然後套克拉瑪公式 (Cramer’s Rule)。 而且因為左邊矩陣行列式為 1，所以分母總是1。比方說來算 ，(最後一列是代右邊)：

從丟硬幣開始：直觀的推導

以最簡單的丟硬幣為例。假設硬幣正面朝上的機率是未知的 ，。我們丟了 次，得到結果 ，其中 。

這 個數據點的聯合機率分佈 (Joint Distribution) 為： 觀察這個式子，你會發現它只依賴於 （也就是正面朝上的總次數），而不在乎 和 出現的具體順序。

令 為統計量。若我們固定 ，也就是已知正面出現了 次，那麼原本實驗結果 的條件機率分佈為何？

注意到最後的結果完全不包含 ！

這意味著：一旦我們知道正面出現了幾次（），具體是「正反正」還是「反正正」出現的機率都是 ，這純粹是排列組合問題，與硬幣本身的性質 無關。

因此，我們定義：如果滿足下式，則 是 的 Sufficient Statistic： 換句話說，給定 後，原始數據 分佈不再依賴於參數 。

引進 Information Theory 的語言

消息理論完全是基於機率論的東西，但他所定義的各種概念，似乎捕捉到了甚麼「資訊」的本質。可以從今天這個角度來欣賞一下。

先定義一個隨機變數的資訊熵(Shannon Entropy)，若是離散: 若是連續函數，則改成積分(稱之為 differential entropy，可能取值為負): 還記得在 前面文章，已經證明過常態分佈會最大化熵(給定平均值和變異數的限制下)。

接著，mutual information 定義為: 以上這些定義都是等價的。

如果 和 是獨立的，那麼 ，所以 。反過來說，如果 ，那麼 和 必須是獨立的。所以 mutual information 衡量了兩個隨機變數與獨立性的差距。

Sufficient Statistic 的各種等價定義

還記得我們只關心 likelihood function，就是 。

如果說 也是隨機變數，那我們就可以開始討論 的分布、資訊熵、mutual information 之類的。但這邊的設定 只是一個待定的參數，若要討論 的分布，那就是開始對 prior distribution 做假設了。而這邊很巧妙的是，我們可以推導出一些性質，是不論 的prior是怎樣，都會成立的性質! 所以說

消息理論假設「有prior」，但不在乎prior是什麼。

以下假設 有個 prior 分布，並假設 是個 Sufficient Statistic 滿足 ，那麼我們有: 同乘以 ，

這個式子的解讀就是: 給定 後， 和 是條件獨立的 (conditionally independent)。 一般的推導很可能會直接跳結論:

Conditioning on , and have mutual information equals 。

但我想帶大家走一下這段推導。

同時取 : 將上式對 取條件期望值(限制在 ): 所以同乘以 ，我們有:

這個式子的解讀就是: 給定 後， 和 的條件熵是可加的 (additive)。

再進一步，這也是 conditional mutual information 的定義:

因為這個結構的特殊性 ( 是個馬可夫鏈)，我們本來就會有: 根據

Mutual information 的 chain rule:

因為是 ，所以左邊第一項是 ，因此我們有: 而等號成立當且僅當 和 在給定 後是條件獨立的，也就是說 是個 Sufficient Statistic。

所以如果 是個 Sufficient Statistic，那麼

綜合以上: 、、、、，都是等價的定義。

Normal Distribution 的 Sufficient Statistic 很簡單，就是樣本均值和樣本變異數:

假設我們有 是來自常態分佈 的 i.i.d. 樣本，則 的 Sufficient Statistic 就是樣本均值和樣本變異數: 也就是說，給定樣本均值和樣本變異數後，原本的樣本數據對於 不再提供任何額外資訊。

為什麼哩? 因為常態分佈的 likelihood function 只依賴於樣本均值和樣本變異數:

直觀上來說，這個 likelihood function 跟 有關的部分只剩下 和 ，所以這兩個統計量已經「充分」地捕捉了關於 和 的所有資訊。

但根據定義 ，我們需要計算 ，並驗證它不依賴於 和 。

嘿! 但這裡出現了小麻煩，因為是連續的機率密函數，所以不知道怎麼處理 OAO (請參見: 硬核系列-測度論)。

直覺是對的: Fisher-Neyman Factorization Theorem

我們直觀上覺得應該可以從 likelihood function 看出來 是 Sufficient Statistic。這也就是以下定理:

(Fisher-Neyman Factorization Theorem) 若 的聯合機率密度函數 (joint pdf/pmf) 為 。則 是 的 Sufficient Statistic 若且唯若 存在兩個非負函數 和 ，使得：

• ：這部分包含了 ，但它只透過 來依賴數據 。

• ：這部分可以依賴所有的數據 ，但絕對不能包含 。

Continuous Probability Distributions Table

CF	Name, Notation	Parameters	PDF	Range	Mean	Variance
	Normal	mean: variance:
	Chi-Squared	degree of freedom (d.o.f):
ugly	Chi [Optional]	degree of freedom (d.o.f):
	Exponential	rate:
	Gamma	shape: scale:
	Beta	shape1: shape2:
	Uniform	NA
	Cauchy	NA			undefined	undefined
	Student’s t	dof:			for	, for
ugly	F-distribution	dof 1: dof 2:			, for >2	, for >4

• is the modified Bessel function of the second kind.
• is the confluent hypergeometric function.

Discrete Distributions

Here are lists for common discrete probability distributions:

CF	Name, Notation	Parameters	PMF	Range	Mean	Variance
	Bernoulli	success prob.:
	Binomial	trials: success prob.:
	Poisson	rate:
	Geometric	success prob.:
	Negative Binomial	successes: success prob.:

Relationships

Obvious:

• Exponential is a special case of Gamma: .
• Chi-squared is a special case of Gamma: .
• A special case of Chi-squared is Exponential: . This is called the Rayleigh distribution.
• Chi is the square root of Chi-squared: .
• Normal is a special case of Chi: .
• Cauchy is a special case of Student’s t: .
• The chi-squared, Student’s t, and F distributions are all naturally come from the Normal distribution in the following senses:
  • , where are i.i.d. standard normal variables.
  • , where is a standard normal variable independent of the Chi-squared variable.
  • , which is the ratio of two scaled Chi-squared distributions.
• Bernoulli is a special case of Binomial: .

Stability:

• .
• .
• .
• .
• .

Less Obvious:

• Beta is related to Gamma in the following way:
  • A special case of the above is that taking independent standard normal variables, then for any : Notice that comparing to the F-distribution, the numerator is using Chi-squared variable from the denominator.
• Sample independent variables. The -th order statistic follows a Beta distribution: .

(To be added)

• Exponential is related to Poisson process:
  • If events occur according to a Poisson process with rate , then the waiting time until the -th event follows a Gamma distribution: .
  • The Exponential and Gamma distributions are related to the Poisson process, which models the occurrence of random events over time.

The Beta distribution is often used in Bayesian statistics as a prior distribution for probabilities.

旋轉不變性 (Rotational Invariance)

如果我們取標準的多變量常態分佈 ，其中 是 維單位矩陣 (identity matrix)。那對於任意的正交矩陣 (orthogonal matrix) （即 ），我們有: 這是因為 ，而 在正交變換下是不變的。

而對於一般的多變量常態分佈 ，我們需要做個平移:

這其實是個非常奇妙的性質，以至於只有常態分佈才有這個特性。

從最直覺的觀點: PDF 函數

假設一個在 維空間中的PDF函數 具有旋轉不變性，同時又是 個一維獨立變數的乘積。那首先，這些一維的變數必須都相同分佈 (identically distributed) 而且對原點對稱，否則旋轉後會改變分佈。那不妨假設一維的 PDF 是 ，那旋轉不變性要求對於所有的 維向量 ，我們有： 令 ，我們有： 這是柯西函數方程，因為 是連續的，所以我們有 ，因此 。為了讓 成為一個合法的 PDF，我們需要 ，這正是常態分佈的形式！

應用: 樣本均值(Sample Mean) 和 樣本變異數(Sample Variance) 是獨立的

這算是一個神奇的應用場景吧! 假設有 是來自(一維)常態分佈 的獨立同分佈樣本 (i.i.d. samples)。我們定義樣本均值和樣本變異數如下： 那麼 和 是獨立的隨機變數！

我們將 個sample視為是 維空間的隨機向量，。 因為i.i.d. 所以是multivariate normal，。

要減去常數向量 後， 才有旋轉不變性 。(隨然實驗學家不知道真的 是多少，但還是可以進行這樣的推導)。

令 ，這是一個單位向量 (unit vector)，代表均值的方向。然後選擇 個正交於 的單位向量 ，所以 形成一個正交矩陣 。令 ，其實也就是 根據旋轉不變性 ，我們有 是獨立的隨機變數，並且 上面的等號就是個恆等式，僅代表作標轉換，並非取期望值什麼的。

這時看出來了嗎?

• 是 的函數。因為 。
• 是 的函數。因為 所以 。

若隨機變數 是獨立的，則對於任意(可測)函數 。必定有 和 也是獨立的。

如此一來就證明了 和 是獨立的隨機變數！ Q.E.D.

這裡也順便證明了一個經典結果：對於 ，我們有 這裡把高中時期統計學講的 「剩下個自由度」給講得清清楚楚了。

Characteristic 的唯一性

CF 有一個重要的性質：它總是存在，因為 。 此外，CF 可以用來證明隨機變數的分佈唯一性：如果兩個隨機變數的 CF 相同，則它們的分佈也相同。這也將是我們今天的重點。讓我們來細細品味這個結果背後的意義與應用。

我們來看一個隨機變數 的 CF： 其中 是 的機率密度函數 (PDF)。

我們來看看能不能從 CF 回推 PDF。我們可以把上式看成是一個傅立葉變換 (Fourier Transform)。 這邊的正負號和係數跟一般傅立葉變換的定義可能不太一樣，但本質上是一樣的。

我們想做個傅立葉「反」變換，大致上是：

大致上的感覺是這樣，但中間的步驟有些含糊，特別是涉及到狄拉克 delta 函數的部分。我們需要一些條件來保證這些積分的交換是合法的。確切來說 使用的積分順序的調換，是Fubini 定理的應用，而 則是利用了狄拉克 delta 函數的定義。

而Fubini定理要求的條件是被積分函數必須是絕對可積的 (absolutely integrable)，來檢查一下 ，所以

Boom! 這個條件不成立。

但這不代表結論是錯的，只是這個證明是錯的!直接調換順序是行不通的。

我們來欣賞一下大數學家是怎麼解決這個問題的。如果在積分內有個函數 ，使得 是絕對可積的 (absolutely integrable)，那麼我們就可以使用Fubini定理來調換積分順序。

讓我們退回到第一條式子，假設有某個 ，也就是說 ，那麼我們有：

積分順序可以交換是因為 。這時候分析的大絕招來了，取極限!我們讓 慢慢逼近常數函數 ，然後看看右邊會變成什麼。

但我們要取個已知傅立葉反變換的 ，例如我們剛剛算的高斯分布PDF: ，其傅立葉反變換也是高斯函數：
但這個 隨著 ，會趨近於常數函數 。我們要把常數乘回去(傅立葉變換是線性的)，所以我們其實是要定義 根據，其傅立葉反變換為 我們代回和，得到 我們 趨近於無窮大後等式就成立了，這需要兩個極限的等式： 而是對的因為可以用 dominated convergence theorem。

而仔細一看，他就是 跟一個高斯核函數 (Gaussian Kernel) 的捲積 (convolution)。而這個高斯核函數的變異數趨近於 。

這可以用非常基礎的古典論證，我就簡單寫寫: 我們將這個積分切分成兩個區間，一個是 ，另一個是 。那個 的部分核函數總面積會趨近於1，而另一個部分因為核函數在 的地方會趨近於0，所以整個積分就會趨近於 在 附近的平均值。若 在 點連續，那麼這個平均值就會趨近於 。若 在 點不連續，那麼這個極限會趨近於 在 點的連續化 (continuous version)。

至於 Levy’s Continuity Theorem

上面的證明解釋了一個分布的 characteristic function 唯一決定了該分布的概率密度函數 (PDF)，這是Levy’s Continuity Theorem 的一個重要部分。更完整的Levy’s Continuity Theorem 除了說明 CF 唯一決定分布外，還說明了如果一列隨機變數的 CF 收斂到某個函數，且該函數是某個分布的 CF，那麼這列隨機變數的分布也會收斂到該分布。

定理 1.1 (Lévy 連續性定理) 設 是定義在 上的概率測度，其對應的特徵函數分別為 和 。則以下條件是等價的：

1. 序列 弱收斂於 。
2. 對於所有 成立。

Interactive 常態分佈與其傅立葉變換

這是一個互動式視覺化，展示 Normal Distribution 及其 Fourier Transform。 特別注意 3D 圖中的螺旋結構：當 時，頻域會產生旋轉（Phase Shift）。