ZED相机标定实战：手把手教你用Python搞定张氏标定法（附完整代码）

ZED相机标定实战：从棋盘格到精准三维重建的完整Python指南

如果你刚拿到一台ZED立体相机，迫不及待地想用它来构建自己的三维感知系统，那么你很快就会遇到一个绕不开的环节：相机标定。这听起来可能有点学术，甚至让人望而生畏，但我想告诉你的是，它远没有想象中那么复杂。标定，本质上就是给你的相机做一次“体检”，精确测量它的“视力”参数——比如焦距、主点位置，以及镜头天生的“近视”或“散光”（畸变）。没有准确的标定参数，你的相机就像戴了一副度数不准的眼镜，看到的世界是扭曲的，测量出的距离也是失真的。无论是做SLAM、三维重建还是物体测量，结果都会大打折扣。

我最初接触ZED相机时，也曾在标定这一步卡了很久。网上资料零散，官方SDK的标定工具虽然能用，但总感觉像个黑盒，出了问题不知从何调试。后来我决定抛开现成工具，用Python从头实现一遍经典的张氏标定法。这个过程虽然折腾，但让我彻底理解了每个参数的意义，也掌握了自主解决标定问题的能力。今天，我就把这份实战经验整理出来，手把手带你走通从打印棋盘格、采集图像，到计算参数、评估精度的全流程。我们会用清晰的代码和大量的实操细节，让你不仅“会做”，更“懂得为什么这么做”。

1. 标定前的核心准备：理解原理与搭建环境

在开始写代码之前，我们必须先打好地基。很多人标定效果不佳，问题往往出在准备工作上。这一节，我们来厘清几个关键概念，并准备好编程环境。

1.1 张氏标定法：化繁为简的艺术

张正友教授在1998年提出的标定法，之所以成为业界经典，在于它巧妙地将一个复杂的非线性优化问题，分解为几个可以线性求解的步骤。它不需要你知道棋盘格在空间中的精确三维位置（只需要知道方格尺寸），利用平面棋盘格的多张不同位姿图像，就能高精度地解算出相机内参和畸变系数。

其核心思想可以概括为三步：

1. 求解单应性矩阵：对于每一张棋盘格图片，计算从棋盘格平面（世界坐标系）到图像像素平面的投影变换矩阵H。
2. 约束求解内参：利用不同图片对应的多个单应性矩阵H，构建关于相机内参矩阵K的约束方程，通过线性方法初步求解K。
3. 非线性优化：将上一步得到的内参、畸变系数以及每张图的外参（旋转和平移）作为初始值，建立一个重投影误差最小化的非线性优化问题（通常使用Levenberg-Marquardt算法），对所有参数进行联合精炼，得到最优解。

这个过程听起来抽象，但我们可以用一个比喻来理解：单应性矩阵就像是从不同角度给同一个平面物体拍照时，每一张照片的“透视规则”。通过分析多张照片的“透视规则”之间的共性，我们就能反推出相机本身的成像特性（内参和畸变）。

1.2 环境与工具链配置

工欲善其事，必先利其器。我们需要一个稳定、兼容的环境。以下是经过验证的配置方案：

操作系统与Python环境

• 操作系统：Ubuntu 20.04/22.04 LTS 或 Windows 10/11。本文示例代码在两者上均测试通过，但Linux环境在依赖管理和编译上通常更顺畅。
• Python版本：Python 3.8 或 3.9。这是与ZED SDK及主要计算机视觉库兼容性最好的版本。不建议使用3.10及以上版本，可能遇到某些库的预编译包不兼容问题。
• 包管理：强烈推荐使用 conda 或 venv 创建独立的虚拟环境，避免包冲突。

核心库安装 打开终端或命令提示符，在你的虚拟环境中执行以下命令：

# 安装科学计算和数据处理核心库
pip install numpy scipy

# 安装OpenCV，这是标定算法的基石
# 使用清华镜像源加速，安装包含contrib模块的版本（非必须，但功能更全）
pip install opencv-contrib-python -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装ZED Python API
# 请根据你的操作系统和CUDA版本，从StereoLabs官网下载对应的.whl文件进行安装
# 例如，对于CUDA 11.8的Windows系统：
# pip install pyzed-3.8-cp38-cp38-win_amd64.whl

注意：ZED Python API的安装包需要从StereoLabs官网下载，因为它依赖于特定版本的ZED SDK。请确保下载的whl文件与你的Python版本、操作系统和CUDA版本完全匹配。

棋盘格：你的标定“尺子” 棋盘格是标定的物理参照物。你需要打印一张。

• 规格：我们使用内角点（Internal Corners）为 6x8 的棋盘格。这意味着棋盘内部有6行、8列黑白方格相交的点。打印时，务必确保方格是标准的正方形。
• 打印建议：
  • 使用质地较硬、表面平整的纸张或亚克力板。
  • 打印后，可以用胶水将其粘贴在平整的硬纸板或平板上，防止弯曲。
  • 方格尺寸建议在 20-40毫米 之间。尺寸太小，角点检测在远距离时可能失败；尺寸太大，则需要相机离得很近才能拍全。
• 一个关键技巧：用尺子实际测量一下打印出来的棋盘格一个方格的物理尺寸（单位：毫米），并记录下来。这个值将在后续代码中作为 square_size 使用。假设你测量的是25.0毫米。

2. 图像采集：高质量数据是成功的一半

标定结果的精度极大程度上依赖于输入图像的质量。草率采集的图像会导致角点检测不稳定，最终标定参数不可靠。

2.1 设计一个稳健的图像采集脚本

我们不能简单地打开相机连续拍照。一个好的采集脚本应该提供实时预览、手动触发保存、自动组织文件等功能。下面是我常用的一个增强版 CameraZed2 类，它封装了这些逻辑。

import pyzed.sl as sl
import cv2
import numpy as np
import os
from datetime import datetime

class ZedCalibrationCapture:
    """
    一个专为标定设计的ZED相机图像采集类。
    提供双目图像同步捕获、手动保存、图像序列管理等功能。
    """
    def __init__(self, resolution='HD720', fps=30, save_dir='./calib_imgs'):
        """
        初始化ZED相机。
        :param resolution: 采集分辨率，可选 'HD2K', 'HD1080', 'HD720', 'VGA'
        :param fps: 帧率
        :param save_dir: 图像保存根目录
        """
        self.zed = sl.Camera()
        self.init_params = sl.InitParameters()
        self.init_params.camera_resolution = getattr(sl.RESOLUTION, resolution)
        self.init_params.camera_fps = fps
        self.init_params.depth_mode = sl.DEPTH_MODE.NONE  # 标定不需要深度模式，可关闭以提升性能
        self.init_params.coordinate_units = sl.UNIT.MILLIMETER

        # 打开相机
        err = self.zed.open(self.init_params)
        if err != sl.ERROR_CODE.SUCCESS:
            print(f"相机打开失败: {err}")
            exit(1)

        self.runtime = sl.RuntimeParameters()
        self.save_base_dir = save_dir
        self.session_path = None
        self._create_session_folder()

        # 图像存储容器
        self.left_images = []
        self.right_images = []
        self.image_count = 0

    def _create_session_folder(self):
        """根据当前时间创建唯一的会话文件夹"""
        timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
        self.session_path = os.path.join(self.save_base_dir, f"session_{timestamp}")
        os.makedirs(self.session_path, exist_ok=True)
        os.makedirs(os.path.join(self.session_path, "left"), exist_ok=True)
        os.makedirs(os.path.join(self.session_path, "right"), exist_ok=True)
        print(f"图像将保存至: {self.session_path}")

    def capture_session(self, target_count=20):
        """
        运行交互式采集会话。
        :param target_count: 目标采集的图像数量
        """
        left_mat = sl.Mat()
        right_mat = sl.Mat()
        print("\n=== 标定图像采集开始 ===")
        print("操作指南:")
        print("  Press 's' - 保存当前帧的左右图像")
        print("  Press 'c' - 显示已检测到的角点（预览）")
        print("  Press 'ESC' - 结束采集")
        print(f"目标采集 {target_count} 组图像。\n")

        while self.image_count < target_count:
            if self.zed.grab(self.runtime) == sl.ERROR_CODE.SUCCESS:
                self.z