《增强现实》是2019年12月机械工业出版社出版的图书,作者[奥]迪特尔·施马尔斯蒂格,[美]托比亚。本书将计算机视觉、计算机图形学、人机交互等知识有机融合,形成了一套适合初学者掌握的知识体系,从技术、方法、应用的角度全面了解增强现实这一激动人心的领域。

书名

《增强现实》

作者

[奥]迪特尔·施马尔斯蒂格、[美]托比亚

出版社

机械工业出版社

isbn

9787111643036

随着真是世界中计算机生成的信息越来越多,增强现实可以更加方便、高效地增强人类的感知能力。这个快速发展的领域要求学习者掌握多学科知识,包括计算机视觉、计算机图形学、人机交互等。本书将这些知识有机融合,形成了一套适合初学者掌握的知识体系,从技术、方法、应用的角度全面了解增强现实这一激动人心的领域。

出版者的话

前言

致谢

第1章 增强现实介绍 1

1.1 定义和范围 1

1.2 增强现实简史 2

1.3 示例 8

1.3.1 工业和建筑业 8

1.3.2 维修和培训 10

1.3.3 医疗 11

1.3.4 个人信息显示 12

1.3.5 导航 13

1.3.6 电视 14

1.3.7 广告和商务 15

1.3.8 游戏 17

1.4 相关领域 17

1.4.1 混合现实连续体 18

1.4.2 虚拟现实 18

1.4.3 普适计算 18

1.5 小结 20

第2章 显示 21

2.1 多模态呈现 21

2.1.1 听觉呈现 21

2.1.2 触力觉呈现 22

2.1.3 嗅觉和味觉呈现 23

2.2 视觉感知 24

2.3 需求与特点 25

2.3.1 增强方法 25

2.3.2 单视和体视 27

2.3.3 调焦 28

2.3.4 遮挡 30

2.3.5 分辨率和刷新率 31

2.3.6 视场 32

2.3.7 视点偏移 33

2.3.8 亮度和对比度 35

2.3.9 扭曲和畸变 36

2.3.10 延迟 36

2.3.11 人因工程学 36

2.3.12 社会接受度 36

2.4 空间显示模型 37

2.5 视觉显示 38

2.5.1 近眼显示器 39

2.5.2 手持式显示器 46

2.5.3 固定式显示器 47

2.5.4 投影式显示器 52

2.6 小结 56

第3章 跟踪 57

3.1 跟踪、标定和注册 57

3.2 坐标系 58

3.2.1 模型变换 59

3.2.2 视图变换 59

3.2.3 投影变换 59

3.2.4 参考帧 59

3.3 跟踪技术的特点 60

3.3.1 物理现象 60

3.3.2 测量原理 60

3.3.3 测量的几何属性 61

3.3.4 传感器布置 61

3.3.5 信号源 61

3.3.6 自由度 62

3.3.7 测量坐标 62

3.3.8 空间传感器布置 62

3.3.9 工作区范围 63

3.3.10 测量误差 63

3.3.11 时间特性 64

3.4 固定跟踪系统 64

3.4.1 机械跟踪 64

3.4.2 电磁跟踪 65

3.4.3 超声波跟踪 66

3.5 移动传感器 66

3.5.1 全球定位系统 67

3.5.2 无线网络 68

3.5.3 磁力仪 68

3.5.4 陀螺仪 69

3.5.5 线性加速度计 69

3.5.6 里程表 70

3.6 光学跟踪 70

3.6.1 基于模型跟踪与无模型跟踪 71

3.6.2 照明 71

3.6.3 标志点与自然特征 73

3.6.4 目标识别 77

3.7 传感器融合 79

3.7.1 互补传感器融合 79

3.7.2 竞争传感器融合 79

3.7.3 协作传感器融合 80

3.8 小结 81

第4章 增强现实中的计算机视觉 82

4.1 标志点跟踪 83

4.1.1 摄像机表示 84

4.1.2 标志点检测 85

4.1.3 单应位姿估计 87

4.1.4 位姿优化 90

4.2 多摄像机红外跟踪 90

4.2.1 斑块检测 91

4.2.2 建立点对应关系 91

4.2.3 双摄像机的三角测量 92

4.2.4 两台以上摄像机的三角测量 93

4.2.5 包含球体标志物的目标匹配 93

4.2.6 朝向 94

4.3 自然特征检测跟踪 94

4.3.1 兴趣点检测 95

4.3.2 创建描述符 98

4.3.3 匹配描述符 99

4.3.4 n点透视位姿 99

4.3.5 鲁棒的位姿估计 100

4.4 增量跟踪 101

4.4.1 主动搜索 102

4.4.2 kanade-lucas-tomasi跟踪 102

4.4.3 零归一化交叉相关 103

4.4.4 分层搜索 104

4.4.5 联合检测与跟踪 105

4.5 同时定位与地图构建 106

4.5.1 本质矩阵的五点算法 107

4.5.2 集束调整 108

4.5.3 并行跟踪与地图构建 108

4.5.4 重定位与闭环 109

4.5.5 稠密地图构建 110

4.6 户外跟踪 112

4.6.1 可扩展的视觉匹配 113

4.6.2 传感器先验信息 114

4.6.3 几何先验信息 115

4.6.4 同时跟踪、地图构建及定位 116

4.7 小结 120

第5章 标定与注册 121

5.1 摄像机标定 121

5.1.1 摄像机内参 121

5.1.2 校正镜头畸变 122

5.2 显示器标定 123

5.2.1 单点主动对准法 125

5.2.2 使用指向装置的头戴式显示器标定 126

5.2.3 手–眼标定 127

5.3 注册 129

5.3.1 几何测量失真 129

5.3.2 误差传播 129

5.3.3 延迟 130

5.3.4 滤波和预测 130

5.4 小结 131

第6章 视觉一致性 132

6.1 注册 132

6.2 遮挡 134

6.2.1 遮挡细化 135

6.2.2 概率遮挡 136

6.2.3 无模型遮挡 136

6.3 光度注册 138

6.3.1 基于图像的光照 139

6.3.2 光探针 140

6.3.3 离线光照采集 142

6.3.4 基于静止图像的光度注册 142

6.3.5 基于镜面反射的光度注册 142

6.3.6 基于漫反射的光度注册 143

6.3.7 基于阴影的光度注册 144

6.3.8 室外光度注册 145

6.3.9 重建精确光源 145

6.4 通用光照 145

6.4.1 差分渲染 146

6.4.2 实时全局光照 147

6.4.3 阴影 148

6.4.4 漫射全局光照 150

6.4.5 镜面全局光照 152

6.5 消隐现实 153

6.5.1 感兴趣区域的确定 153

6.5.2 隐藏区域的观察与建模 154

6.5.3 感兴趣区域的移除 154

6.5.4 基于投影的消隐现实 155

6.6 摄像机仿真 155

6.6.1 镜头畸变 156

6.6.2 模糊 157

6.6.3 噪声 157

6.6.4 渐晕 158

6.6.5 色差 158

6.6.6 拜耳模式伪影 158

6.6.7 色调映射伪影 158

6.7 风格化增强现实 159

6.8 小结 159

第7章 情境可视化 161

7.1 挑战 162

7.1.1 数据过载 162

7.1.2 用户交互 163

7.1.3 注册误差 163

7.1.4 视觉干扰 163

7.1.5 时间一致性 164

7.2 可视化注册 165

7.2.1 本地注册情境可视化 165

7.2.2 全局注册情境可视化 165

7.2.3 注册不确定性 166

7.3 注释和标记 166

7.3.1 标记基础 166

7.3.2 优化技术 167

7.3.3 时间一致性 168

7.3.4 图像导引放置 170

7.3.5 易读性 170

7.4 x射线可视化 171

7.4.1 物体空间幻影 171

7.4.2 图像空间幻影 172

7.4.3 g缓冲器实现 173

7.5 空间操作 174

7.5.1 爆炸图 174

7.5.2 空间扭曲 176

7.6 信息过滤 177

7.6.1 基于知识的过滤 177

7.6.2 空间过滤 177

7.6.3 基于知识的过滤与空间过滤的结合 179

7.7 小结 180

第8章 交互 181

8.1 输出模态 181

8.1.1 增强放置 181

8.1.2 灵巧显示 182

8.1.3 魔镜 184

8.2 输入模态 186

8.2.1 刚体的跟踪和操控 186

8.2.2 人体跟踪 187

8.2.3 手势 188

8.2.4 触控 189

8.2.5 基于物理的界面 190

8.3 有形界面 191

8.3.1 有形表面 191

8.3.2 通用有形物体 191

8.3.3 特定有形物体 192

8.3.4 透明有形物体 194

8.4 真实表面上的虚拟用户界面 195

8.5 增强纸 196

8.6 多视界面 197

8.6.1 多显示焦点 上下文 197

8.6.2 共享空间 197

8.6.3 多位置 198

8.6.4 跨视图交互 200

8.7 触力觉交互 201

8.8 多模态交互 202

8.9 会话代理 203

8.10 小结 205

第9章 建模与注释 206

9.1 指定几何 206

9.1.1 点 206

9.1.2 平面 208

9.1.3 体 208

9.2 指定外观 209

9.3 半自动重建 210

9.4 自由曲面建模 213

9.5 注释 214

9.6 小结 216

第10章 开发 217

10.1 增强现实开发的需求 218

10.1.1 真实世界界面 218

10.1.2 硬件抽象 218

10.1.3 开发流程 219

10.2 开发要素 219

10.2.1 角色 220

10.2.2 故事 220

10.2.3 舞台 220

10.2.4 交互 220

10.2.5 设置 220

10.3 独立开发方法 221

10.3.1 桌面开发 221

10.3.2 表演开发 223

10.4 插件方法 223

10.5 网络技术 224

10.6 小结 225

第11章 漫游 227

11.1 人类漫游基础 227

11.2 探索与发现 228

11.3 路线可视化 228

11.4 视点导航 230

11.4.1 目标对象导引 230

11.4.2 目标视点导引 232

11.5 多视角 233

11.5.1 同步多视角 233

11.5.2 过渡接口 235

11.6 小结 236

第12章 协作 237

12.1 协作系统特性 237

12.2 同地协作 238

12.2.1 个人显示器与视图 240

12.2.2 目光感知 241

12.2.3 共享空间内的敏捷协作 242

12.3 远程协作 243

12.3.1 视频共享 244

12.3.2 包含虚拟物体的视频共享 244

12.3.3 包含几何重建的视频共享 246

12.3.4 指向和手势 247

12.3.5 包含敏捷用户的远程协作 247

12.4 小结 248

第13章 软件架构 250

13.1 增强现实应用程序的要求 250

13.1.1 环境控制和场景动态 250

13.1.2 显示空间 251

13.1.3 虚实一致 251

13.1.4 语义知识 251

13.1.5 物理空间 251

13.2 软件工程要求 252

13.2.1 平台抽象 252

13.2.2 用户界面抽象 252

13.2.3 重用性和扩展性 253

13.2.4 分布式计算 253

13.2.5 解耦仿真 253

13.3 分布式对象系统 253

13.3.1 对象管理 254

13.3.2 案例学习:“绵羊” 255

13.4 数据流 256

13.4.1 数据流图 257

13.4.2 多模态交互 257

13.4.3 线程和调度 258

13.4.4 案例学习:可穿戴的增强现实装置 259

13.5 场景图 261

13.5.1 场景图的基本原理 261

13.5.2 依赖图 262

13.5.3 场景图集成 262

13.5.4 分布式共享场景图 264

13.6 开发者支持 265

13.6.1 参数配置 265

13.6.2 脚本声明 265

13.6.3 案例学习:增强现实导游 267

13.6.4 程序脚本 267

13.6.5 混合语言编程 268

13.6.6 运行时重配置 268

13.6.7 选择一种增强现实平台 269

13.7 小结 269

第14章 未来 271

14.1 商业案例驱动力 271

14.1.1 专业用户 271

14.1.2 普通消费者 272

14.2 增强现实开发者的愿望清单 272

14.2.1 摄像机底层api 273

14.2.2 多摄像机 273

14.2.3 大视场摄像机 273

14.2.4 传感器 273

14.2.5 统一内存 274

14.2.6 移动gpu上的并行编程 274

14.2.7 更好的显示设备 274

14.3 户外增强现实 275

14.3.1 非合作用户 275

14.3.2 有限的设备能力 275

14.3.3 定位成功率 276

14.4 与智能对象交互 276

14.5 虚拟现实与增强现实的融合 277

14.6 增强人 277

14.7 作为戏剧媒介的增强现实 278

14.8 作为社交计算平台的增强现实 279

14.9 小结 280

参考文献 281

迪特尔·施马尔斯蒂格(dieter schmalstieg) 奥地利格拉茨理工大学教授,计算机图形学和视觉中心主任。他是ieee高级会员、奥地利科学院会员以及欧洲科学院会员,目前已发表论文300余篇,并担任《ieee可视化和计算机图形学会刊》等核心期刊或论文集的编辑。2002年获得奥地利科学基金会start career奖,2012年获得ieee虚拟现实技术成就奖。

托比亚斯·霍勒尔(tobias höllerer) 加州大学圣芭芭拉分校计算机科学系教授,four eyes实验室主任。曾获得美国nsf授予的career奖,并于2013年获得acm杰出科学家称号。他曾担任ieee vr 2015、icat 2013等重要国际会议的程序委员会主席,并多次荣获最佳论文奖。[1]