opencv双目（opencv双目摄像头标定）

## OpenCV 双目视觉

简介

OpenCV (Open Source Computer Vision Library) 提供了强大的工具集，用于实现双目视觉（Stereo Vision）算法。双目视觉通过分析来自两个摄像机的图像来重建三维场景，模拟人类双眼的深度感知能力。这篇文章将详细介绍OpenCV中双目视觉相关的核心概念、算法以及使用方法。### 1. 双目视觉基础双目视觉的核心在于

视差（Disparity）

的概念。视差指的是同一场景点在左右两个相机图像中出现的像素位置差异。通过计算视差图，我们可以推断出场景点的深度信息。深度信息越小，表示该点距离相机越远；反之，深度信息越大，表示该点距离相机越近。

1.1 相机标定

在进行双目视觉之前，必须先进行相机标定。相机标定指的是确定相机内参数（焦距、主点坐标、畸变系数等）和外参数（旋转矩阵、平移向量）。OpenCV提供了`cv2.calibrateCamera()`函数用于进行相机标定。 需要准备一个棋盘格标定板，拍摄多张不同角度的棋盘格图像。

1.2 立体校正

为了简化视差计算，我们需要对左右相机图像进行立体校正。立体校正将左右图像投影到同一平面，使得对应像素点位于同一水平线上，从而减少计算复杂度，提高精度。OpenCV 提供了`cv2.stereoRectify()`函数，该函数根据相机标定结果计算校正变换矩阵。 `cv2.initUndistortRectifyMap()`和`cv2.remap()`函数则用于实际的图像校正。### 2. 视差计算算法OpenCV 支持多种视差计算算法，主要包括：

2.1 块匹配算法 (Block Matching)

这是最经典的立体匹配算法之一。该算法通过在左右图像中搜索具有最小差异的图像块来计算视差。 OpenCV 提供了`cv2.StereoBM_create()`函数来创建块匹配算法对象。 该算法计算速度快，但精度相对较低，容易受到噪声的影响。 参数调整（如块大小、搜索范围）会影响算法的性能。

2.2 半全局块匹配算法 (Semi-Global Block Matching, SGBM)

SGBM 算法是对块匹配算法的改进，它考虑了图像块的全局信息，提高了匹配精度和鲁棒性。OpenCV 提供了`cv2.StereoSGBM_create()`函数来创建 SGBM 算法对象。 SGBM 算法比 BM 算法精度更高，但计算速度较慢。

2.3 WTA (Weighted Transform Aggregated) 算法

WTA 是一种基于像素的立体匹配算法，其计算速度快且精度相对较高，但抗噪能力可能不如 SGBM。

2.4 其他算法

OpenCV 也支持其他一些先进的立体匹配算法，例如基于图割 (Graph Cut) 的算法等，但这些算法通常计算复杂度较高。### 3. 深度图计算视差图计算完成后，我们可以根据相机参数和视差值计算场景点的深度信息。 公式如下：`depth = (baseline

focal_length) / disparity`其中：

`baseline`: 左右相机之间的基线距离 (单位：米)

`focal_length`: 相机的焦距 (单位：像素)

`disparity`: 视差值 (单位：像素)需要注意的是，视差值为0或负值通常表示无效匹配，需要进行滤波处理。### 4. 代码示例 (SGBM算法)```python import cv2 import numpy as np# ... (相机标定和立体校正步骤，假设已获得校正映射矩阵map1, map2, Q矩阵) ...left_img = cv2.imread("left.png", cv2.IMREAD_GRAYSCALE) right_img = cv2.imread("right.png", cv2.IMREAD_GRAYSCALE)# 校正图像 left_rectified = cv2.remap(left_img, map1, map2, cv2.INTER_LINEAR) right_rectified = cv2.remap(right_img, map1, map2, cv2.INTER_LINEAR)# 创建SGBM对象 stereo = cv2.StereoSGBM_create(minDisparity=0, numDisparities=16, blockSize=15)# 计算视差图 disparity = stereo.compute(left_rectified, right_rectified)# 视差图可视化 (归一化到0-255) disparity_visual = cv2.normalize(disparity, None, 255,0, cv2.NORM_MINMAX, cv2.CV_8U) cv2.imshow("Disparity Map", disparity_visual) cv2.waitKey(0) cv2.destroyAllWindows()# 深度图计算 (需要Q矩阵) points_3d = cv2.reprojectImageTo3D(disparity, Q) ```### 5. 总结OpenCV 提供了丰富的功能用于实现双目视觉系统。 选择合适的算法、进行精确的相机标定和立体校正，并对结果进行合理的处理是构建高效可靠双目视觉系统的关键。 需要注意的是，实际应用中还需要考虑光照变化、纹理缺失等因素对算法的影响。

注意:

上述代码示例中省略了相机标定和立体校正的步骤，需要根据实际情况进行补充。 `map1`, `map2` 和 `Q` 矩阵需要通过相机标定和立体校正步骤获得。 `left.png` 和 `right.png` 需要替换成你的左右相机图像文件名。 参数需要根据实际情况调整。

OpenCV 双目视觉**简介**OpenCV (Open Source Computer Vision Library) 提供了强大的工具集，用于实现双目视觉（Stereo Vision）算法。双目视觉通过分析来自两个摄像机的图像来重建三维场景，模拟人类双眼的深度感知能力。这篇文章将详细介绍OpenCV中双目视觉相关的核心概念、算法以及使用方法。

1. 双目视觉基础双目视觉的核心在于**视差（Disparity）**的概念。视差指的是同一场景点在左右两个相机图像中出现的像素位置差异。通过计算视差图，我们可以推断出场景点的深度信息。深度信息越小，表示该点距离相机越远；反之，深度信息越大，表示该点距离相机越近。**1.1 相机标定**在进行双目视觉之前，必须先进行相机标定。相机标定指的是确定相机内参数（焦距、主点坐标、畸变系数等）和外参数（旋转矩阵、平移向量）。OpenCV提供了`cv2.calibrateCamera()`函数用于进行相机标定。 需要准备一个棋盘格标定板，拍摄多张不同角度的棋盘格图像。**1.2 立体校正**为了简化视差计算，我们需要对左右相机图像进行立体校正。立体校正将左右图像投影到同一平面，使得对应像素点位于同一水平线上，从而减少计算复杂度，提高精度。OpenCV 提供了`cv2.stereoRectify()`函数，该函数根据相机标定结果计算校正变换矩阵。 `cv2.initUndistortRectifyMap()`和`cv2.remap()`函数则用于实际的图像校正。

2. 视差计算算法OpenCV 支持多种视差计算算法，主要包括：**2.1 块匹配算法 (Block Matching)**这是最经典的立体匹配算法之一。该算法通过在左右图像中搜索具有最小差异的图像块来计算视差。 OpenCV 提供了`cv2.StereoBM_create()`函数来创建块匹配算法对象。 该算法计算速度快，但精度相对较低，容易受到噪声的影响。 参数调整（如块大小、搜索范围）会影响算法的性能。**2.2 半全局块匹配算法 (Semi-Global Block Matching, SGBM)**SGBM 算法是对块匹配算法的改进，它考虑了图像块的全局信息，提高了匹配精度和鲁棒性。OpenCV 提供了`cv2.StereoSGBM_create()`函数来创建 SGBM 算法对象。 SGBM 算法比 BM 算法精度更高，但计算速度较慢。**2.3 WTA (Weighted Transform Aggregated) 算法**WTA 是一种基于像素的立体匹配算法，其计算速度快且精度相对较高，但抗噪能力可能不如 SGBM。**2.4 其他算法**OpenCV 也支持其他一些先进的立体匹配算法，例如基于图割 (Graph Cut) 的算法等，但这些算法通常计算复杂度较高。

3. 深度图计算视差图计算完成后，我们可以根据相机参数和视差值计算场景点的深度信息。 公式如下：`depth = (baseline * focal_length) / disparity`其中：* `baseline`: 左右相机之间的基线距离 (单位：米) * `focal_length`: 相机的焦距 (单位：像素) * `disparity`: 视差值 (单位：像素)需要注意的是，视差值为0或负值通常表示无效匹配，需要进行滤波处理。

4. 代码示例 (SGBM算法)```python import cv2 import numpy as np

... (相机标定和立体校正步骤，假设已获得校正映射矩阵map1, map2, Q矩阵) ...left_img = cv2.imread("left.png", cv2.IMREAD_GRAYSCALE) right_img = cv2.imread("right.png", cv2.IMREAD_GRAYSCALE)

校正图像 left_rectified = cv2.remap(left_img, map1, map2, cv2.INTER_LINEAR) right_rectified = cv2.remap(right_img, map1, map2, cv2.INTER_LINEAR)

创建SGBM对象 stereo = cv2.StereoSGBM_create(minDisparity=0, numDisparities=16, blockSize=15)

计算视差图 disparity = stereo.compute(left_rectified, right_rectified)

视差图可视化 (归一化到0-255) disparity_visual = cv2.normalize(disparity, None, 255,0, cv2.NORM_MINMAX, cv2.CV_8U) cv2.imshow("Disparity Map", disparity_visual) cv2.waitKey(0) cv2.destroyAllWindows()

深度图计算 (需要Q矩阵) points_3d = cv2.reprojectImageTo3D(disparity, Q) ```

5. 总结OpenCV 提供了丰富的功能用于实现双目视觉系统。 选择合适的算法、进行精确的相机标定和立体校正，并对结果进行合理的处理是构建高效可靠双目视觉系统的关键。 需要注意的是，实际应用中还需要考虑光照变化、纹理缺失等因素对算法的影响。**注意:** 上述代码示例中省略了相机标定和立体校正的步骤，需要根据实际情况进行补充。 `map1`, `map2` 和 `Q` 矩阵需要通过相机标定和立体校正步骤获得。 `left.png` 和 `right.png` 需要替换成你的左右相机图像文件名。 参数需要根据实际情况调整。