AI Planning 學習筆記（4）：當 AI 面對不確定性，該如何做決策？從 Decision Theory 到 Expected Utility

在前面的系列文章中，我們介紹了 Classical AI Planning，以及如何利用 Heuristic Planning 提高搜尋效率。

然而，這些方法都有一個共同的假設：世界是確定（deterministic）的。

也就是說，只要目前狀態相同，執行同一個 Action，就一定會得到相同的結果。

例如，在 Air Cargo 問題中，當飛機執行 Fly(SIN, NRT)，它一定會抵達東京；執行 Load(Cargo, Plane)，貨物也一定會成功裝上飛機。

但真實世界並不是如此。

想像一台送餐機器人，它選擇穿越走廊前往目的地，卻可能因為有人經過而必須停下；又或者自駕車決定右轉，但因為前方突然出現行人，不得不重新規劃路徑。

同樣的 Action，在不同情況下可能產生不同的結果。

因此，AI 已經不能只回答：「我要怎麼完成任務？」

而必須回答另一個更重要的問題：「面對多種可能的結果，我應該選擇哪一個 Action？」

這就是 Decision Theory（決策理論） 所要研究的問題。

從 Planning 到 Decision Making

Planning 與 Decision Making 看起來很相似，都是讓 Agent 選擇 Action，但兩者的目標其實不同。

在 Planning 中，我們假設世界是可預測的，因此重點在於找到一條從 Initial State 到 Goal 的可行路徑。

Decision Making 則假設世界具有不確定性（uncertainty），Agent 必須考慮每個 Action 可能帶來的不同結果，以及它們發生的機率。

因此，一個 Decision Making 問題通常會包含四個重要元素：

元件	符號	說明
State	$s \in S$	世界可能處於的狀態
Action	$a \in A$	Agent 可以採取的行動
Transition Model	$P(s’ \mid s,a)$	在 State $s$ 執行 Action $a$ 後，到達 State $s’$ 的機率
Utility	$U(s)$	Agent 對每個 State 的偏好程度

其中最大的不同，就是 Transition Model。

在 Classical Planning 中，一個 Action 只有一個結果。

而在 Decision Theory 中，同一個 Action 可能產生許多不同的 Outcome，每個 Outcome 都有各自的發生機率。

因此，Decision Algorithm 的輸出不再是一條固定的 Plan，而是一套完整的 Policy。

Policy：Decision Making 的最終目標

Policy 可以理解成：

Agent 在每一個 State 應該採取什麼 Action 的完整策略。

例如，一台掃地機器人的 Policy 可能是：

電量高於 30%：繼續清掃。
電量低於 30%：返回充電座。
偵測到障礙物：重新規劃路徑。

可以發現，Policy 並不是單一決策，而是一套針對不同狀態所制定的行為規則。

未來介紹 Markov Decision Process（MDP） 時，我們真正想求解的，就是這樣的一個最佳 Policy。

Decision Theory 在研究什麼？

Decision Theory 並不只是設計 AI 演算法，它是一門研究「如何做決策」的理論，大致可以分成三種類型。

類型	問題
Normative	理性的 Agent 應該如何做決策？
Descriptive	人類實際上如何做決策？
Prescriptive	如何提供方法，使 Agent 更接近理性的決策？

在人工智慧中，我們主要採用 Normative Decision Theory。

原因很簡單，AI 的目標並不是模仿人類。

事實上，人類經常受到情緒、直覺或認知偏誤的影響，而做出並非最佳的決策。

因此，在 AI 中，我們更關心的是：

如果 Agent 是完全理性的，它應該如何做出最佳決策？

畢竟，應該沒有人希望訓練出一個會因為情緒而做出不同抉擇的Agent…

Utility：AI 如何判斷哪個結果比較「好」？

假設現在有兩個選項。

方案 A

一定得到 100 萬元。

方案 B

50% 機率得到 250 萬元
50% 機率一無所有

如果只看金額，方案 B 的平均收益較高。

但是，許多人仍然會選擇方案 A。

原因在於：

人們真正追求的，並不一定是最大的金額，而是自己認為最有價值的結果。

Decision Theory 利用 Utility（效用） 來描述這種偏好。

Utility 並不是金錢，也不是分數，而是一個反映 Agent 偏好的數值。

例如：

狀態	Utility
成功完成任務	100
晚到五分鐘	70
電量耗盡	20
發生碰撞	-100

Utility 越高，代表 Agent 越偏好這個結果。

因此，Decision Making 的目標，不是單純追求 Reward，而是最大化 Utility。

Expected Utility

既然一個 Action 可能產生許多不同的 Outcome，我們就不能只看其中一個結果，而必須同時考慮：

每個 Outcome 發生的機率
每個 Outcome 的 Utility

這就是 Expected Utility（期望效用）。

若目前 State 已知，則 Action 的 Expected Utility 可以表示為：

EU(a)=\sum_{s’}P(s’|s,a)U(s’)

如果目前 State 本身也具有不確定性，則完整公式可以寫成：

EU(a)= \sum_s P(s) \sum_{s’} P(s’|s,a) U(s’)

第一層加總代表：Agent 目前可能位於這個 State 的機率。

第二層則表示：在該 State 執行某個 Action 後，各種可能 Outcome 所帶來的 Utility。

Decision Theory 中最重要的原則，就是 Maximum Expected Utility（MEU）：

一個理性的 Agent，應該選擇 Expected Utility 最大的 Action。

可以注意到，MEU 並不保證每一次都能成功。

它追求的是長期而言，平均 Utility 最大的決策。

這也是後續 MDP 與 Reinforcement Learning 所共同遵循的核心思想。

為什麼 Utility 可以用數字表示？

看到這裡，也許會有一個疑問：人的偏好真的可以用一個數字表示嗎？

Decision Theory 並不是直接假設 Utility 存在。

相反地，它先假設 Agent 的偏好滿足一些合理的性質（Axioms）。

例如：

Orderability：任何兩個結果都可以比較，Agent 一定能表示偏好、無差異或較不偏好。
Transitivity：如果偏好 A 勝過 B，偏好 B 勝過 C，那麼一定偏好 A 勝過 C。
Continuity：若 $A \succ B \succ C$ ，則一定存在某個機率，使 Agent 對「確定得到 B」與「參與一個以 A、C 為結果的 Lottery」沒有偏好差異。

除此之外，Decision Theory 還包含另外三個重要公理：

Substitutability
Monotonicity
Decomposability

這些公理共同保證：

存在一個 Utility Function，可以完整描述 Agent 的偏好。

也因此，我們才能利用 Utility 將原本抽象的偏好轉換成可以計算與推理的數值。

另外值得一提的是，Utility 的絕對大小並沒有意義。

如果我們對 Utility 做以下轉換：

U'(s)=aU(s)+b,\qquad a>0

Agent 的決策結果完全不會改變。

原因在於，Decision Theory 真正在乎的是 偏好的相對順序，而不是 Utility 本身的數值。

Utility 是如何取決的？

前面提到，Utility 可以描述 Agent 對不同結果的偏好。

但這裡又會產生另一個問題：Utility 並不像金錢或距離，可以直接量化。

那麼，我們要如何決定一個 State 的 Utility 呢？

Decision Theory 提供了一種方法，稱為 Probability Equivalent。

假設我們先定義：

最好的結果（Best Outcome）的 Utility 為 1
最差的結果（Worst Outcome）的 Utility 為 0

接著，考慮某一個狀態 (s)。

如果 Agent 認為：

有 80% 的機率得到最好結果、
20% 的機率得到最差結果，

所帶來的吸引力，與直接得到狀態 (s) 完全相同。

那麼，我們就可以定義：

U(s)=0.8

換句話說，Utility 可以透過 Agent 對不同 Lottery（機率組合）的偏好反推出來。

這也是 Utility Theory 與單純使用分數最大的不同，它試圖將 Agent 的偏好建立在一套一致且可推理的理論基礎之上。

Certainty Equivalent

Probability Equivalent 是利用 Lottery 推估 Utility。

另一個常見的概念則是 Certainty Equivalent（CE）。

CE 可以理解為：Agent 心中，與某個 Lottery 等價的確定結果。

例如，有一個 Lottery：

50% 機率得到 200 萬元
50% 機率一無所有

理論上，它的 Expected Monetary Value（EMV） 為：

0.5\times200+0.5\times0=100\text{ 萬元}

但是，如果有人現在直接給你 90 萬元，你可能會選擇接受，而不是冒險參加 Lottery。

對你而言：90 萬元，就是這個 Lottery 的 Certainty Equivalent。

換句話說，CE 代表的是：Agent 心中，一個不確定結果所對應的確定價值。

在 Utility Theory 中，可以表示為：

U(CE)=EU(Lottery)

也就是說，確定得到 CE 所帶來的 Utility，與參加該 Lottery 的 Expected Utility 相同。

Expected Monetary Value 與 Expected Utility 的差異

很多人容易會把 Expected Utility 和 Expected Monetary Value 混為一談。

兩者最大的差別在於：

Expected Monetary Value（EMV） 只考慮金錢。
Expected Utility（EU） 考慮的是 Agent 的偏好。

例如，你已經擁有 100 萬元。

現在有人給你兩個選擇：

A：直接保留目前的 100 萬元。

B：

50% 機率失去所有錢
50% 機率總資產變成 250 萬元

如果只看 EMV：

0.5\times0+0.5\times250=125\text{ 萬元}

因此，EMV 會建議你選擇 B。

然而，許多人仍然會選擇保留原本的 100 萬元。

原因就在於：Utility 並不是金錢本身。

當財富逐漸增加時，多得到一萬元所帶來的滿足感，通常不像從零增加到一萬元那麼大。

因此，人們真正追求的是 Utility，而不是 Monetary Value。

這也是 Decision Theory 使用 Expected Utility，而非 Expected Monetary Value 的原因。

Risk Attitude

不同 Agent 對風險的接受程度不同，因此，即使面對完全相同的 Lottery，也可能做出不同的選擇。

通常可以分成三種類型。

Risk-Averse

Risk-Averse（風險趨避）代表：偏好較小但確定的收益。

例如：很多人寧願現在拿到 100 萬元，

也不願意參加：

50% 得到 200 萬
50% 一無所有

這類 Agent 通常具有凹函數（Concave）的 Utility Function。

Risk-Neutral

Risk-Neutral（風險中立）只關心期望值。

如果兩個選項的 Expected Monetary Value 相同，

它就沒有偏好。

這也是許多 Decision Theory 推導時最常見的假設。

Risk-Seeking

Risk-Seeking（風險偏好）則剛好相反。

即使 Expected Monetary Value 沒有增加，

它仍然願意承擔更大的風險，以追求更高的潛在回報。

例如：有些人偏好購買樂透、投機性投資，

都是 Risk-Seeking 的典型例子。

Risk Premium

既然每個人的風險偏好不同，

我們可以利用 Risk Premium 來描述這種差異。

定義為：

Risk\ Premium = EMV – CE

其中：

EMV：Expected Monetary Value
CE：Certainty Equivalent

依照兩者的關係，可以判斷 Agent 的風險態度。

類型	關係	特徵
Risk-Averse	EMV > CE	願意放棄部分收益，以換取確定結果。
Risk-Neutral	EMV = CE	只考慮期望值。
Risk-Seeking	EMV < CE	願意承擔額外風險，追求更高回報。

Risk Premium 越大，通常代表 Agent 越不喜歡承擔風險。

小結

在 Classical Planning 中，我們假設世界是可預測的，因此只需要思考如何找到一條從 Initial State 到 Goal 的路徑。

然而，當環境開始具有不確定性時，AI 面臨的問題不再只是「如何完成任務」，而是：

在各種可能結果之間，應該如何做出最好的決策？

本文介紹了 Decision Theory 中幾個重要概念：

Policy：Agent 在每個 State 應採取的策略。
Utility：描述 Agent 對不同結果的偏好，而不是單純的金錢或 Reward。
Expected Utility（EU）：同時考慮 Outcome 的 Utility 與發生機率。
Maximum Expected Utility（MEU）：理性 Agent 的決策準則。
Probability Equivalent 與 Certainty Equivalent（CE）：說明如何量化偏好與風險。
Risk Premium：用來分析不同 Agent 的風險態度。

這些概念看似抽象，但它們共同建立了序列決策（Sequential Decision Making）的理論基礎。

下一篇文章，我們將介紹 Markov Decision Process（MDP），看看如何利用 State、Action、Transition Probability 與 Reward，建立一個能夠描述長期決策問題的數學模型。

AI Planning 學習筆記（4）：當 AI 面對不確定性，該如何做決策？從 Decision Theory 到 Expected Utility