用强化学习破解7½纸牌游戏的最优决策逻辑

1. 项目概述：用强化学习破解意大利经典纸牌游戏7½的制胜逻辑

“Winner, Winner, Chicken Dinner！”——这句台词在电影《决胜21点》里点燃了无数人对数学战胜赌场的幻想。但现实中的牌桌，远比银幕上更讲逻辑、更重细节。我从2021年开始系统性地研究一类被主流AI教程忽略的“小众但极富教学价值”的博弈场景：非标准卡牌游戏。7½（Sette e Mezzo）就是其中最典型的一个——它不像围棋那样维度爆炸，也不像国际象棋那样规则繁复，但它恰好卡在一个黄金平衡点上：规则足够简洁，能让人三分钟看懂；状态空间又足够丰富，足以让强化学习（RL）真正施展拳脚；最关键的是，它的胜负判定机制天然适配马尔可夫决策过程（MDP）建模——没有隐藏信息干扰（所有牌面公开），没有多人混战的策略耦合（两人轮流行动），也没有外部随机事件（如骰子）打乱节奏。它就是一个干净、透明、可推演的决策实验室。

我花了一整年时间，在真实纸牌局、Python模拟器和动态规划算法之间反复横跳，最终把这套方法论打磨成一个可复现、可验证、可教学的完整闭环。这不是一篇“调通了某个开源RL库就发博客”的速成型文章，而是记录了我如何从一张空白草稿纸开始，亲手定义状态、设计奖励、推导贝尔曼方程、手写策略迭代循环、并最终让AI在7½牌桌上稳定赢过人类固定策略对手的全过程。核心关键词是 人工智能 ，但这里的AI不是黑箱大模型，而是可解释、可追溯、每一步决策都有数学依据的确定性智能体。它不靠运气，不靠玄学，靠的是对40张牌组合空间的穷举式理解，对0.5分精度的毫秒级计算，以及对“最优”二字最朴素的定义：在给定对手行为模式的前提下，最大化长期获胜概率。如果你正想入门强化学习的真实应用，或者你是个喜欢琢磨纸牌策略的玩家，又或者你只是好奇“数学到底能不能真的帮我在朋友聚会时多赢几局”，那这篇内容就是为你写的——它不教你如何作弊，但会告诉你，为什么“见好就收”有时候是错的，“再抽一张”反而才是数学上的正确选择。

2. 游戏规则与状态空间解构：为什么7½是RL的理想沙盒

2.1 规则精要：一张40张牌的精密仪器

7½用的是意大利传统40张牌组（意大利塔罗克牌的简化版），直接剔除了8、9、10三类数字牌。剩下的牌值分配非常有特点：

• 数字牌（A, 2–7） ：按面值计分，A=1分，2=2分……7=7分；
• 人头牌（J, Q, K） ：统一计为 0.5分 ，这是整个游戏策略张力的核心来源；
• 特殊牌——7 of Diamonds（红桃7） ：被称为“疯牌”（La Matta），它不是固定值，而是 动态占位符 ：其数值 = 7.5 - 当前手牌总分（向下取整到0.5的倍数）。例如，你手上有[1, 2]，总分3，那么疯牌就自动变成4.5分（7.5-3=4.5）；如果你手上有[J, Q]，总分1.0，疯牌就变成6.5分（7.5-1.0=6.5）。这个设计彻底消除了“爆牌”的偶然性——只要疯牌还在，你永远有“救场”的机会，但代价是，你必须精确预判它能补多少分，而这又取决于你当前手牌的总和。

提示：很多人第一次玩会误以为疯牌可以“自由指定”数值，这是致命误区。它的值是 严格由当前手牌总分决定的数学函数 ，不是主观选择。这个细节直接决定了状态空间的建模方式——你不能把疯牌当作一个独立变量，而必须把它视为手牌总分的镜像反射。

标准双人对战流程如下：

1. 发牌 ：庄家（Player 0）和闲家（Player 1）各得一张明牌；
2. 庄家回合 ：庄家可选择“要牌”（Hit）或“停牌”（Stick）。若要牌，从剩余牌堆中抽一张暗牌加入手牌；若停牌，则本回合结束，轮到闲家；
3. 爆牌判定 ：任何时候，若手牌总分 > 7.5，立即判负（Bust），游戏终止；
4. 闲家回合 ：闲家执行与庄家完全相同的流程（要牌/停牌），同样受爆牌规则约束；
5. 终局结算 ：若双方均未爆牌，则比较各自最终手牌总分，高者胜；若相等，则为平局。

这个流程看似简单，但隐藏着一个关键约束： 对手策略是固定的、已知的、且非自适应的 。在我们的实验设定中，闲家（Player 1）采用一个极其朴素但极具代表性的策略：“一旦手牌总分 ≥ 4.0，立刻停牌；否则继续要牌”。这个策略模拟了现实中绝大多数非专业玩家的行为模式——他们缺乏精细计算能力，只设一个粗略的安全阈值。而正是这个“已知且固定”的对手，让整个问题从“多智能体博弈”降维成了“单智能体在确定性环境中的最优控制问题”，为RL的应用扫清了最大障碍。

2.2 状态空间建模：从40张牌到13,824个有效状态

状态（State）是RL的基石。在7½中，一个状态必须包含所有影响后续决策的必要信息。直观来看，它应该包括：

• 当前手牌的具体组成（哪些牌、几张）；
• 剩余牌堆中还剩哪些牌（因为抽牌是无放回的，历史会影响未来概率）；
• 对手当前明牌是什么（因为对手策略依赖于其初始牌）。

但如果我们真把“剩余牌堆的全部组合”都纳入状态，状态数量会爆炸到天文数字（C(40, n)级别）。我们必须做 领域知识驱动的降维 。我的实操经验是： 对手的明牌和剩余牌堆的精确构成，对庄家的即时决策影响微乎其微，可以安全忽略 。原因有二：

1. 闲家策略是“阈值型”的（≥4.0就停），其最终手牌组合分布主要由其初始明牌决定，而非剩余牌堆的细微差别；
2. 庄家的目标不是预测闲家抽到哪张具体牌，而是评估“在闲家固定策略下，自己停牌后获胜的总体概率”。

因此，我将状态S定义为一个 二元组 ： S = (hand_sum, has_matta) ，其中：

• hand_sum ：当前手牌总分，精度为0.5，取值范围为{0.5, 1.0, 1.5, ..., 7.5}，共15个可能值；
• has_matta ：布尔值，表示疯牌是否仍在手中（True/False）。

这个定义看似激进，但它抓住了决策的本质矛盾： 你要不要冒险再抽一张，唯一需要权衡的就是“当前分数离7.5还有多远”以及“你手里有没有那个最后的保险绳（疯牌）” 。一个总分6.0且持有疯牌的玩家，和一个总分6.0但疯牌已出的玩家，其风险偏好天差地别——前者可以大胆搏一把，后者必须如履薄冰。

那么，这个简化状态空间究竟覆盖了多少真实局面？我们来算一笔账：

• 手牌总分15种可能 × 疯牌状态2种 = 30个基础状态；
• 但每个总分值，又对应多种不同的手牌组合（例如总分4.0可以是[4]、[1,3]、[J,J,J,J]、[1,1,2]等等）；
• 关键在于， 不同组合在相同总分下，其“剩余可抽牌的集合”是不同的 。比如[7]和[1,1,1,1]都是总分7，但前者抽到任何牌都必爆（因为最小的牌J也是0.5分，7+0.5=7.5，但规则是“超过7.5才爆”，所以7+0.5=7.5是安全的；而[1,1,1,1]总分4，还能抽很多牌）。

所以，最终的状态空间是： 所有可能的手牌组合（不考虑顺序），其总分 ≤ 7.5，且疯牌状态明确 。我通过Python脚本穷举了所有合法手牌组合，结果是： 13,824个唯一状态 。这个数字听起来很大，但对于现代计算机来说，它小到可以被动态规划（DP）完美消化——我们不需要近似，就能得到理论上的绝对最优策略。这正是7½作为教学案例的魔力：它小到能让你亲手触摸到“最优解”的温度，又大到足以展现RL的核心思想。

2.3 动作与奖励：0分、-1分与概率加权的1分

动作（Action）非常清晰：在任何一个非终止状态，庄家只有两个选择：

• Hit ：从剩余牌堆中随机抽取一张牌（无放回）；
• Stick ：结束自己的回合，将决策权交给闲家。

终止状态（Terminal State）有两个： Bust （总分 > 7.5）和 Stuck （主动停牌）。一旦进入终止状态，本轮游戏结束。

奖励（Reward）的设计是整个项目中最烧脑、也最具启发性的部分。它直接决定了AI会学成什么样子。我的原则是： 奖励函数必须忠实反映终极目标——赢钱，而不是“凑近7.5”或“多拿牌”这类中间指标 。常见的错误设计是：

• 给每次 Hit 一个微小正奖励（鼓励探索）→ AI会疯狂要牌，直到爆；
• 给 Stick 时总分越高奖励越大 → AI会盲目追求7.5，忽略对手可能更低的分数。

正确的做法是： 将奖励与“该动作带来的长期获胜期望值”严格绑定 。具体实现分两步：

第一步： Hit 动作的即时奖励

• 如果抽牌后 Bust ，奖励 = -1 （明确惩罚失败）；
• 如果抽牌后未爆，奖励 = 0 （中性，不鼓励也不惩罚探索本身）。

第二步： Stick 动作的延迟奖励（核心创新点） 当庄家选择 Stick 时，游戏并未结束，而是进入一个“概率评估阶段”。我们需要计算：在闲家固定策略（≥4.0就停）下，庄家当前手牌 最终获胜的概率 。这个概率就是 Stick 动作的奖励值，范围被归一化到[-1, 1]。

计算过程如下（以庄家手牌总分=5.0，且疯牌已出为例）：

1. 枚举闲家所有可能的初始明牌（1-7, J/Q/K，共10种）；
2. 对每种明牌，模拟闲家在其策略下的所有可能抽牌路径（例如明牌是2，则可能路径有[2]、[2,1]、[2,1,J]、[2,2]等，但排除[2,1,2,3]因为2+1+2+3=8>7.5会爆，也排除[2,1,1,1]因为2+1+1+1=5≥4，闲家会在第三张后就停）；
3. 对每条有效路径，计算其发生的概率（例如路径[2,1]的概率 = P(抽到2) × P(在剩余牌中抽到1)）；
4. 将所有导致“闲家最终总分 < 5.0”的路径概率相加，得到庄家获胜概率P_win；
5. 将所有导致“闲家最终总分 = 5.0”的路径概率相加，得到平局概率P_tie；
6. 最终奖励 R = (P_win + 0.5 × P_tie) × 2 - 1 （归一化到[-1,1]，平局算0.5个胜利）。

这个计算量巨大，但它是 一次性离线完成的 。我预先用Python跑了一个小时，生成了一个13,824×2的奖励查找表（Reward Lookup Table），其中每一行对应一个状态，每一列对应 Hit 或 Stick 的奖励值。这张表就是整个RL系统的“上帝视角”，它不教AI怎么思考，但它告诉AI：“在这个局面下，选择停牌，你平均能拿到0.63分的回报”。

实操心得：第一次写这个概率计算器时，我漏掉了“疯牌在闲家手中”的情况，导致所有涉及闲家疯牌的路径概率全错。调试了三天，最后发现错误根源是一行注释：“Assume matta is always with player 0”（假设疯牌总在庄家手里）。现实是，疯牌在谁手里是随机的。这个教训让我明白： 在构建任何概率模型前，必须先画一张完整的、包含所有角色和所有道具流向的状态转移图，哪怕它看起来很傻 。

3. 强化学习算法实现：手写策略迭代与动态规划的硬核实践

3.1 为什么选策略迭代（Policy Iteration）而非Q-learning？

面对13,824个状态，摆在面前的RL算法选择很多：Q-learning、SARSA、Deep Q-Network（DQN）……但我毫不犹豫地选择了最古老、最“笨拙”、也最可靠的 策略迭代（Policy Iteration） 。原因非常实际：

• 确定性环境 ：7½的规则是100%确定的，没有环境噪声，DP的收敛性有严格数学保证；
• 状态可枚举 ：13,824个状态，内存占用不到10MB，完全可以存入RAM进行全量计算；
• 无需神经网络 ：没有高维图像输入，没有复杂特征提取，用一个数组就能存下所有状态值；
• 可解释性至上 ：我要的不是一个“黑箱胜率99%”的结果，而是一张能打印出来贴在墙上的“决策地图”，上面清楚地标着“在总分4.5且持有疯牌时，你应该要牌”。

Q-learning这类在线学习算法，在这个场景下反而是杀鸡用牛刀。它需要大量试错（百万次模拟），会产生大量无意义的探索（比如反复尝试在总分7.0时要牌然后爆掉），而且最终学到的策略是近似的、带噪声的。而策略迭代，只要迭代10轮，就能得到理论最优解。这就像造一座桥，Q-learning是不断用不同材料去试，看哪次没塌；而策略迭代是先用纸笔算出所有受力，再一锤定音地浇筑混凝土。

策略迭代由两个交替进行的步骤组成： 策略评估（Policy Evaluation） 和 策略提升（Policy Improvement） 。它们像一对齿轮，咬合转动，直至整个系统静止——那个静止点，就是最优策略。

3.2 策略评估：用贝尔曼方程“点亮”每一个状态

策略评估的目标是：对于一个给定的策略π（例如，初始策略是“所有状态都选择Stick”），计算出该策略下，每个状态s的价值V^π(s)。这个价值的定义是： 从状态s出发，遵循策略π，未来所能获得的累积折扣奖励的期望值 。

在7½中，由于游戏必然在有限步内结束（最多抽7张牌），我们可以设折扣因子γ=1，即不打折。此时，贝尔曼方程退化为：

V^π(s) = Σ_a π(a|s) * Σ_s' P(s'|s,a) * [R(s,a,s') + V^π(s')]

其中：

• π(a|s) 是在状态s下执行动作a的概率（在确定性策略中，它要么是0，要么是1）；
• P(s'|s,a) 是执行动作a后，从s转移到s'的概率；
• R(s,a,s') 是执行动作a后，从s转移到s'所获得的即时奖励。

我的实现是一个纯粹的、基于数组的迭代算法：

# 初始化：所有状态价值为0
V = np.zeros(num_states)

# 迭代直到收敛（delta < 1e-6）
for iteration in range(100):
    delta = 0
    # 对每个状态s进行一次全量扫描
    for s in range(num_states):
        v_old = V[s]
        # 根据当前策略π，获取该状态下要执行的动作a
        a = policy[s]  # policy[s] 是0(Hit)或1(Stick)
        
        # 计算执行动作a后的期望价值
        expected_value = 0
        # 获取该动作下所有可能的下一个状态s'及其概率和奖励
        for s_prime, prob, reward in transitions[s][a]:
            expected_value += prob * (reward + V[s_prime])
            
        V[s] = expected_value
        delta = max(delta, abs(v_old - V[s]))
    
    if delta < 1e-6:
        break

这里的 transitions[s][a] 是一个预计算好的列表，存储了从状态s执行动作a后，所有可能到达的 s_prime 、对应的转移概率 prob 、以及即时奖励 reward 。例如，状态s是“手牌总分3.0，疯牌在手”，执行 Hit 动作：

• 可能抽到A（1分）→ 新状态s'：“总分4.0，疯牌在手”，概率=剩余A的数量/剩余总牌数，奖励=0；
• 可能抽到J（0.5分）→ 新状态s'：“总分3.5，疯牌在手”，概率=剩余J的数量/剩余总牌数，奖励=0；
• 可能抽到7（7分）→ 新状态s'：“Bust”，概率=剩余7的数量/剩余总牌数，奖励=-1。

这个过程的关键洞察是： 价值的更新是“由果及因”的 。终止状态（Bust或Stuck）的价值是已知的（Bust=-1，Stuck=R_stick，即我们之前计算好的概率奖励），它们是价值网络的“光源”。每一次迭代，这个光都会沿着状态转移的边，向更早的状态“渗透”一层。第一轮迭代后，只有那些能一步到达终止状态的状态V值会改变；第二轮，能两步到达的状态V值开始变化；以此类推。10轮迭代后，光已经照遍了整个13,824个状态，每个V[s]都收敛到了其在当前策略下的真实价值。

注意：这个算法的计算量是O(迭代次数 × 状态数 × 平均分支因子)。在我的实现中，平均每个状态有约8个可能的转移（因为有10种牌，但有些会爆），10轮迭代 × 13,824 × 8 ≈ 110万次计算，普通笔记本CPU在1秒内即可完成。这再次印证了7½作为教学案例的精妙——它小到能让你在咖啡凉掉前看到结果。

3.3 策略提升：贪婪选择与“最优性定理”的威力

策略提升（Policy Improvement）是策略迭代的另一半。它的任务是： 利用刚刚计算出的、更精确的状态价值V^π(s)，来生成一个比原策略π更好的新策略π' 。

方法极其简单粗暴，却蕴含着深刻的数学保证——这就是 策略提升定理（Policy Improvement Theorem） ：如果对某个状态s，我们能找到一个动作a，使得其动作价值Q^π(s,a) > V^π(s)，那么将策略π在s处改为选择a，得到的新策略π'，一定满足V^π'(s) ≥ V^π(s)，且至少在一个状态上是严格大于。

动作价值Q^π(s,a)的定义是：在状态s执行动作a，然后遵循策略π，未来所能获得的累积奖励期望值。它可以直接用贝尔曼方程计算： Q^π(s,a) = Σ_s' P(s'|s,a) * [R(s,a,s') + V^π(s')]

因此，策略提升的算法就是：

1. 对每个状态s，计算 Q^π(s, Hit) 和 Q^π(s, Stick) ；
2. 比较二者，选择Q值更大的那个动作，作为新策略π'在s处的动作；
3. 如果两者相等，保持原动作不变。

# 基于刚计算出的V数组，更新策略
for s in range(num_states):
    q_hit = 0
    q_stick = 0
    
    # 计算Q(s, Hit)
    for s_prime, prob, reward in transitions[s][0]: # 0 means Hit
        q_hit += prob * (reward + V[s_prime])
    
    # Q(s, Stick) 就是预计算好的R_stick[s]
    q_stick = reward_table[s][1] # 1 means Stick
    
    # 贪婪选择
    if q_hit > q_stick:
        new_policy[s] = 0  # Hit
    else:
        new_policy[s] = 1  # Stick

这个“贪婪”选择，就是整个算法的智慧所在。它不考虑长远，只看眼前哪个动作能带来更高的即时+未来价值期望。而策略提升定理保证了，这种短视的贪婪，恰恰是通往全局最优的最快路径。每一次策略提升，都像在迷宫中移除一堵错误的墙，让通往出口的路变得更直。

3.4 收敛与最优策略：一张13,824格的决策地图

策略迭代的循环就是：评估 → 提升 → 评估 → 提升 → …… 直到某一次提升后，策略不再发生任何改变。那一刻，我们就抵达了 最优策略π *。

在我的实验中，这个过程只用了 5轮迭代 就完全收敛。最终的策略π*，被我导出为一个CSV文件，每一行是： state_id, hand_sum, has_matta, optimal_action, value_of_state

其中 optimal_action 是0（Hit）或1（Stick）， value_of_state 是该状态在最优策略下的真实价值（即长期获胜期望值，范围[-1, 1]）。

这张表就是终极答案。例如，我截取了其中几行关键数据：

这个表格揭示了一个反直觉的真相： 疯牌的存在，不仅提高了你的安全边际，更从根本上改变了你的风险偏好 。当疯牌在手时，即使总分高达6.0，最优策略依然是“要牌”，因为你知道，哪怕抽到一张1分的牌（6+1=7），你还有疯牌这个“7.5-7=0.5”的保底；而如果疯牌已出，6.0分就已是悬崖边缘，再抽任何≥1.5分的牌（即2分及以上）就会直接爆掉，所以必须停牌。

实操心得：我把这张CSV表导入Excel，用条件格式做了个热力图，横轴是hand_sum（0.5到7.5），纵轴是has_matta（True/False），单元格颜色深浅代表value_of_state。一眼望去，整个图呈现出一种优美的“S形”分界线——在疯牌在手时，分界线（从Hit切换到Stick的临界点）被显著右移。这张图后来成了我给学生讲课时最常用的教具，它比任何公式都更能说明“状态如何影响决策”。

4. 实验验证与结果分析：4.9%的稳定收益率从何而来？

4.1 仿真框架：10万局游戏的硬核压力测试

理论最优策略再漂亮，不经过实战检验就是空中楼阁。我构建了一个高度保真的仿真环境，它严格遵循7½的所有物理规则：

• 使用真实的40张牌组，洗牌采用Fisher-Yates算法；
• 庄家（AI）完全按照我们计算出的最优策略π*行动；
• 闲家（对手）严格遵循“≥4.0就停”的固定策略；
• 每一局游戏都完整模拟发牌、回合、爆牌判定、终局结算的全过程；
• 所有随机事件（抽牌）都使用系统级随机数生成器，确保可复现。

我运行了 100,000局 独立游戏。这个数字不是拍脑袋定的，而是基于统计学的置信区间计算：要将胜率估计值的标准误差控制在±0.1%以内，所需样本量约为1/(4×0.001²) = 250,000。10万局虽然略少，但已足够让我们看清趋势，且计算耗时在可接受范围内（约12分钟）。

仿真结果如下：

净收益+4,879单位，对应 4.879%的收益率 ，与文章摘要中提到的4.9%完美吻合。这个数字意味着：如果你带着1000元本金去玩，每局下注10元，玩100局后，你平均能带走1049元。这不是一夜暴富，但这是一个 稳定、可预期、由数学保证的正期望值 。

4.2 深度归因：胜率优势来自哪里？

仅仅知道“赢了4.9%”是不够的。作为一名严谨的实践者，我必须拆解这个优势的来源。我编写了一个分析脚本，对10万局数据进行了深度挖掘，重点关注三个维度：

维度一：关键决策点的胜率对比 我统计了在几个最具争议的分数点上，AI的决策如何影响最终结果：

可以看到，AI在“高风险高回报”的决策点上，胜率优势最为明显。尤其是在5.5分且疯牌在手时，选择要牌的胜率比停牌高出4.4个百分点，而这一决策在10万局中出现了4000多次，直接贡献了超过700局的净胜。这证明了最优策略的价值不是均匀分布的，而是集中在几个“杠杆点”上。

维度二：对手策略的脆弱性分析 我很好奇，如果对手换一个策略，比如“≥5.0才停”，AI的胜率会如何变化？于是我修改了仿真参数，又跑了10万局：

结果非常有趣：AI的胜率与对手的保守程度呈 倒U型关系 。对手太激进（≥3.0就停），容易早早放弃，让AI轻松获胜；对手太保守（≥6.0才停），则爆牌率飙升，AI坐收渔利；而对手在≥4.0这个“人类直觉阈值”上，恰恰给了AI最大的发挥空间——既不会轻易投降，又不会盲目硬拼。这解释了为什么4.9%这个数字如此“恰到好处”：它是AI智能与人类行为弱点之间最精妙的共振频率。

维度三：疯牌的“期权价值”量化 疯牌被称作“期权”，因为它赋予了持有者在未来某个时刻“选择最佳价值”的权利。我专门统计了疯牌在不同阶段被使用的概率：

这张表揭示了疯牌的“价值衰减曲线”：它越早被用上（即庄家总分越低），其提供的“保险”价值就越高，胜率也越接近100%。而当它被拖到总分6.0才启用时，只能补1.5分，胜率已跌至15.3%，几乎和随机抽牌无异。这印证了最优策略中“在低分时积极要牌以激活疯牌”的深层逻辑——疯牌不是救命稻草，而是战略储备，要用在刀刃上。

4.3 常见问题与排查技巧实录

在长达一年的开发、调试、优化过程中，我遇到了大量“只可意会不可言传”的坑。这里分享几个最具代表性的，它们往往在官方文档和教程里找不到答案：

问题1：胜率波动巨大，1000局测试结果在35%-45%之间乱跳

• 现象 ：初期我只用1000局做快速验证，结果每次运行结果差异极大，无法判断策略好坏。
• 根因 ：7½的胜负具有强随机性，小样本下中心极限定理不生效。1000局的胜率标准差高达±1.5%，远超我们关心的±0.5%精度。
• 解决 ： 必须使用大样本（≥10,000局） 。我建立了一个自动化脚本，每次运行10万局，并输出95%置信区间。只有当置信区间宽度<±0.2%时，才认为结果可靠。

问题2：策略迭代不收敛，V值在最后几轮剧烈震荡

• 现象 ：迭代到第8轮，V值开始上下跳动，delta始终无法低于1e-6。
• 根因 ：浮点数精度误差在迭代中被不断放大。特别是在计算小概率事件（如抽到特定组合）时， 1e-15 级别的误差会被累加数千次。
• 解决 ： 在每次迭代后，对V数组进行手动截断 ： V = np.round(V, decimals=8) 。这个看似“不严谨”的操作，反而保证了数值稳定性，且对最终策略毫无影响（因为决策只依赖于Q值的相对大小，而非绝对精度）。

问题3：仿真结果与理论价值V(s)严重不符

• 现象 ：某个状态s的理论V(s)=0.65，但10万局仿真中，从该状态开局的胜率只有0.58。
• 根因 ： 忽略了“状态访问频率”的权重 。理论V(s)是“从s出发的期望收益”，但仿真中，我们统计的是“所有经过s的局数的平均收益”。这两者不同，因为从s出发的路径，其后续状态的分布，与全局路径中访问s的分布，是