機器人視覺測量與控制涉及光學、電子學、控制科學、計算機科學等眾多學科，是一門重要的綜合性前沿學科。在工業機器人、移動機器人領域。軍事領域、航天與空間探索領域等具有廣闊的應用前景。研究實時視覺測量與控制，對于提高機器人的自主作業能力、拓展機器人的應用范圍具有十分重要的意義。

本書從控制的角度出發，以工程實現為目標，以機器人的視覺控制為背景，系統全面地介紹了視覺系統的構成和標定、視覺測量的原理與方法、視覺控制的原理與實現，并給出了機器人視覺測量與控制的應用示例。全書以串聯關節機器人為主，同時兼顧了移動機器人的控制問題。

全書由5章構成，分別為緒論、攝像機與視覺系統標定、視覺測量、視覺控制、視覺控制的應用。本書從控制角度，以能夠進行工程實現為目標，以機器人的視覺控制為背景，系統全面地介紹了視覺系統的構成和標定、視覺測量的原理與方法、視覺控制的原理與實現，并給出了機器人視覺測量與控制的應用示例。

本書面向從事機器人研究和應用的科技人員，注重反映本領域的研究前沿和可實現性。可作為機器人、計算機視覺等領域科研工作者和工程技術人員的參考書，也可作為控制科學與工程、計算機等學科的研究生和高年級本科生的教材。

第1章 緒論

1.1 機器人視覺控制

1.1.1 機器人視覺的基本概念

1.1.2 機器人視覺控制的作用

1.2 機器人視覺控制的研究內容

1.2.1 攝像機標定

1.2.2 視覺測量

1.2.3 視覺控制的結構與算法

1.3 機器人視覺系統的分類

1.3.1 根據攝像機與機器人的相互位置分類

1.3.2 根據攝像機數目分類

1.3.3 根據測量方式進行分類

1.3.4 根據控制模型進行分類

1.4 視覺控制的發展現狀與趨勢

1.4.1 視覺系統標定研究進展

1.4.2 機器人的視覺測量研究進展

1.4.3 機器人的視覺控制研究進展

1.4.4 機器人視覺控制的應用現狀

1.4.5 機器人視覺測量與控制的發展趨勢

參考文獻

第2章 攝像機與視覺系統標定

2.1 攝像機模型

2.1.1 小孔模型

2.1.2 攝像機內參數模型

2.1.3 攝像機外參數模型

2.2 單目二維視覺測量的攝像機標定

2.3 Faugems的攝像機標定方法

2.3.1 Faugems攝像機標定的基本方法

2.3.2 Faugeras攝像機標定的改進方法

2.4 Tsai的攝像機標定方法

2.4.1 位姿與焦距求取

2.4.2 畸變矯正系數與焦距的精確求取

2.5 手眼標定

2.6 基于消失點的攝像機內參數自標定

2.6.1 幾何法

2.6.2 解析法

2.7基于運動的攝像機自標定

2.7.1 基于正交平移運動和旋轉運動的攝像機自標定

2.7.2 基于單參考點的攝像機自標定

2.8 畸變校正與非線性模型攝像機的標定

2.8.1 基于平面靶標的非線性模型攝像機標定

2.8.2 基于平面靶標的大畸變非線性模型攝像機的標定

2.9 結構光視覺的參數標定

2.9.1 基于立體靶標的激光平面標定

2.9.2 主動視覺法激光平面標定

2.9.3 斜平面法結構光視覺傳感器標定

參考文獻

第3章 視覺測量

3.1 視覺測量中的約束條件

3.1.1 特征匹配約束

3.1.2 不變性約束

3.1.3 直線約束

3.2 單目視覺位置測量

3.3 立體視覺位置測量

3.3.1 雙目視覺

3.3.2 結構光視覺

3.4 基于目標約束的位姿測量

3.4.1 基于立體視覺的位姿測量

3.4.2 基于矩形的位姿測量

3.5 基于PnP問題的位姿測量

3.5.1 P3P的常用求解方法

3.5.2 PnP問題的通用線性求解

3.6 基于消失點的位姿測量

3.6.1 基于消失點的單視點三維測量

3.6.2 基于消失點的單視點仿射測量

3.7 移動機器人的視覺定位

3.7.1 基于單應性矩陣的視覺定位

3.7.2 基于非特定參照物的視覺定位

3.8 移動機器人的視覺全局定位

3.8.1 基于非特定參照物的視覺全局定位

3.8.2 視覺定位與里程計推算定位的信息融合

3.9 MEMS裝配中的顯微視覺測量

3.9.1 顯微視覺系統的構成

3.9.2 顯微視覺系統的自動調焦與視覺測量

3.9.3 實驗與結果

參考文獻

第4章 視覺控制

4.1 基于位置的視覺控制

4.1.1 位置給定型機器人視覺控制

4.1.2 機器人的位置視覺伺服控制

4.1.3 基于位置的視覺控制的穩定性

4.1.4 基于位置視覺控制的特點

4.2 基于圖像的視覺控制

4.2.1 基于圖像特征的視覺控制

4.2.2 基于圖像的視覺伺服控制

4.2.3 基于圖像的視覺控制的穩定性

4.2.4 基于圖像的視覺控制的特點

4.3 混合視覺伺服控制

4.3.1 2.5D視覺伺服的結構

4.3.2 2.5D視覺伺服的原理

4.4 基于結構光的機器人弧焊混合視覺控制

4.4.1 圖像空間到機器人末端笛卡兒空間的雅可比矩陣

4.4.2 混合視覺控制

4.4.3 實驗與結果

4.5 直接視覺控制

4.5.1 直接視覺控制的結構

4.5.2 visual.motor函數的實現

4.6 基于姿態的視覺控制

4.6.1 姿態測量

4.6.2 基于姿態估計的視覺控制系統的結構與基本原理

4.6.3 實驗與結果

4.7 基于圖像雅可比矩陣的無標定視覺伺服控制

4.7.1 動態牛頓法

4.7.2 圖像雅可比矩陣的估計

4.8 自標定視覺控制

4.8.1 攝像機的自標定

4.8.2 目標跟蹤視覺控制

4.9 基于極線約束的無標定攝像機的視覺控制

4.9.1 基本原理

4.9.2 視覺伺服控制

4.9.3 實驗與結果

參考文獻

第5章 視覺控制的應用

5.1 開放式機器人控制平臺

5.1.1 多層次結構的開放式機器人控制平臺

5.1.2 本地機器人的實時控制

5.1.3 圖形示教實驗與結果

5.2 具有焊縫識別與跟蹤功能的自動埋弧焊機器人系統

5.2.1 焊接小車與視覺系統

5.2.2 結構光焊縫條紋圖像的處理

5.3 曲線焊縫跟蹤的視覺伺服協調控制

5.3.1 機器人運動與特征點坐標變化的數學分析

5.3.2 模糊視覺伺服控制器的設計

5.3.3 實驗與結果

5.4 仿人形機器人的火炬傳遞

5.4.1 系統構成與目標特征

5.4.2 目標分割與邊緣提取

5.4.3 特征提取

5.4.4 火炬傳遞任務中的視覺引導

5.4.5 趨近與對準

5.4.6 實驗與結果

參考文獻

徐德，1965年12月生，山東五蓮人，博士，中國科學院自動化研究所研究員，博士生導師。中國人工智能學會智能機器人專業委員會委員，中國機械工程學會焊接學會機器人與自動化專業委員會委員，IEEE會員，中國電子學會高級會員。長期從事機器人視覺測量與控制、智能控制、計算機控制技術等方面的科研工作。主持與參加科研項目20余項，獲省部級科技進步獎3項，發明專利3項，出版教材和著作3部。在國內外重要學術刊物上發表論文70余篇。

目錄

前言

第1章 緒論

1.1 先進制造與視覺測量

1.2 視覺測量的發展

1.3 視覺測量的主要研究內容

1.3.1　視覺攝像機

1.3.2 成像模型及其參數確定

1.3.3 結構標定與系統標定

1.3.4 高精度亞像素圖像處理

1.3.5 光學編碼與輔助光學靶標

1.3.6 大范圍視覺測量系統

1.3.7 移動視覺測量

1.3.8　視覺測量自動化

參考文獻

第2章 視覺測量的數學基礎

第1章 緒論

1.1 機器人控制方法簡介

1.1.1 機器人常用的控制方法

1.1.2 不確定機器人系統的控制

1.2 機器人動力學模型及其結構特性

1.3 基于S函數的SIMULINK仿真

1.3.1 S函數簡介

1.3.2 S函數使用步驟

1.3.3 S函數的基本功能及重要參數設定

第2章 機器人獨立PD控制

2.1 機器人獨立PD控制

2.1.1 控制律設計

2.1.2 收斂性分析

2.1.3 仿真實例

2.2 基于重力補償的機器人PD控制

2.2.1 控制律設計

2.2.2 控制律分析

2.3 機器人魯棒自適應PD控制

2.3.1 問題的提出

2.3.2 機器人動力學模型及其結構特性

2.3.3 控制器的設計

2.3.4 機器人動態方程的線性推導

2.3.5 仿真實例

第3章 機器人神經網絡自適應控制

3.1 定理與引理

3.1.1 全局不變集定理

3.1.2 用Barbalat引理作類Lyapunov分析

3.1.3 一種微分方程不等式的收斂性分析

3.2 RBF網絡的逼近

3.2.1 RBF神經網絡

3.2.2 網絡結構

3.2.3 逼近算法

3.2.4 參數對逼近效果的影響

3.2.5 仿真實例

3.3 基于模型不確定補償的RBF網絡機器人自適應控制

3.3.1 問題的提出

3.3.2 模型不確定部分的RBF網絡逼近

3.3.3 控制器的設計

3.3.4 仿真實例

3.4 基于模型分塊逼近的機器人RBF網絡自適應控制

3.4.1 問題的提出

3.4.2 控制律的設計

3.4.3 穩定性分析

3.4.4 仿真實例

3.5 工作空間中機械手的神經網絡自適應控制

3.5.1 工作究竟直角坐標與關節角位置的轉換

3.5.2 機械手的神經網絡建模

3.5.3 控制器的設計

3.5.4 仿真實例

3.6 基于模型整體逼近的機器人RBF網絡自適應控制

3.6.1 問題的提出

3.6.2 基于RBF神經網絡逼近的控制器

3.6.3 針對f(x)中各項分別進行神經網絡逼近

3.6.4 仿真實例

3.7 基于死區補償的神經網絡自適應魯棒控制

3.7.1 死區非線性特性

3.7.2 系統描述

3.7.3 GL矩陣和GL乘法算子

3.7.4 RBF神經網絡死區補償器的設計

3.7.5 系統的穩定性分析

3.7.6 仿真實例

3.8 機器人神經網絡數字控制

……

第4章 機器人模糊自適應控制

第5章 機器人迭代學習控制及重復控制

第6章 機器人反演控制

第7章 機器人滑模控制

第8章 機器人自適應魯棒控制

第9章 機器人參數觀測、辨識及控制

第10章 機器人路徑規劃2100433B

自主移動機器人尤其是無人機的興起推動了相關學科的蓬勃發展。自動化的目的是設計能夠操縱現有動態系統（汽車、飛機、經濟系統等）的控制系統。因此受控系統應按如下方式構建：使物理系統形成回路，并配備使用智能電子器件的傳感器。雖然最初的系統僅服從物理定律，但是閉環系統的演化遵循電子元器件中內嵌的IT程序。

本書主要闡述機器人的建模、仿真和控制方法，并通過大量習題來對基本概念和基本方法進行演繹和驗證，所涉及的理論分析采用狀態空間方法，從而可以用簡單的方式來處理普通和復雜的系統，包括不同類型的開關和傳感器。本書是一本講述機器人自動化的基本原理和方法的書籍，可作為高等院校機器人專業的教材，也可供從事機器人研究和產業化的工程技術人員閱讀。