虚拟现实 | Zhaoxin Fan

虚拟现实技术概述
1. 虚拟现实的概念
  1. 特性
    1. 沉浸
    2. 交互
    3. 构想
2. 虚拟现实的发展
3. 虚拟现实系统的构成
4. 虚拟现实技术的应用
观察方法与观察设备
1. 虚拟现实系统的硬件组成
  1. VR系统的功能
    1. 沉浸式实现
    2. 非沉浸式实现
    3. 基于自然方式的人机交互
    4. 基于常规交互设备的人机交互
    5. 两种实现
    6. 两种实现交互方式
  2. VR系统组成
    1. 虚拟系统生成设备
      1. 高性能个人计算机
      2. 高性能图形工作站
      3. 分布式异构计算机的VR系统
      4. 听觉通道信号的生成与显示
      5. 视觉通道信号的生成与显示
      6. 触觉与力觉通道信号的生成与显示
      7. 支持实时人机交互的功能
      8. 沉浸式
    2. 感知设备
      1. 视觉感知设备
      2. 其他通道
    3. 跟踪设备
    4. 基于自然方式的人机交互设备
      1. 数据手套
      2. 数据衣
      3. 眼球跟踪器
      4. 语音综合识别装置
  3. 分类
    1. 单用户虚拟现实系统-VR
    2. 分布式虚拟现实系统-DVR
    3. 计算资源、负载和用户是分布的
2. 立体显示原理
  1. 计算机立体图的产生
    1. 四个方面获得深度线索
      1. 静态图像中的深度线索
      2. 运动造成的深度线索
      3. 生理上的深度线索
      4. 立体线索
    2. 原理：通过深度信息的恢复来实现
    3. 产生方法：对同一场景分别绘制出对应于左右双眼的不同图像
    4. 屏幕上立体感觉：计算机上景物空间的深度信息通过左右视线的空间交点感觉到
    5. 计算机中的深度：观察面与空间交点的距离
  2. 立体显示方法
    1. 同时显示技术
    2. 分时显示技术
  3. 虚拟系统的观察方法
    1. 视域：两眼看到的范围
    2. 视角：视觉感知中关于可视目标大小的测量
    3. 视差：显示屏幕上两幅图像，图像中任意两点的水平距离投射到视网膜上
    4. 亮度：对物体表面反射光的度量
    5. 明度：人对光强的主观度量
3. 立体显示器
  1. 台式立体监视器与立体眼镜系统
  2. 头盔式立体显示器
  3. 洞穴式立体显示装置
  4. 墙式立体显示装置
4. 位置跟踪器
  1. 用户的跟踪
  2. 手及手势、人体姿势的跟踪
  3. 立体声
5. 交互设备
  1. 数据手套
6. 触觉与力反馈装置
  1. 机械感受提供线索
    1. 物体形状
    2. 物体表面纹理或粗糙程度
    3. 物体温度
7. 3-D声音生成器
真实感图形的实时绘制
1. 三维造型技术
  1. 多面体造型技术
    1. 优点：表面线性方程描述，便于简化和加速绘制
  2. 参数曲面造型技术
    1. 优点：精确，功能和性能上较大优势
  3. 隐式曲面造型技术
  4. 过程造型技术
  5. 造型方法：将连续曲面离散为一系列的多面体，由近似逼近方法表示
    1. 优点：形状简单，便于计算和处理，描述方式统一，可借助硬件
    2. 缺点：损失了精度，通过表面明暗处理消除边界
  6. 多面体的表示
  7. 多面体存储结构
    1. 多边形数据表
      1. 顶点坐标及方向
      2. 边数据
      3. 面数据及方向
      4. 透明度、反射度、参数
      5. 纹理特征
      6. 几何表
      7. 属性表
  8. 矛盾-逼真度与实时性
  9. 曲面造型技术
    1. 数学函数
    2. 一系列用户指定的数据点
    3. 参数曲面
  10. 造型工具
    1. VRML语言
    2. OpenGL
    3. Multigen
2. 三维观察
  1. 场景坐标系
    1. 局部坐标系-对象坐标系
    2. 世界坐标系-固定坐标系
  2. 观察坐标系
    1. 目的：指定观察平面
    2. 将景物从世界坐标系中变换到观察坐标系，把观察坐标投影到观察平面上
  3. 屏幕坐标系
    1. 物体由世界坐标系描述为观察坐标后，可将三维物体投影到二维屏幕上
    2. 方法：平移和透视
  4. 从世界坐标系到观察坐标系的变换
  5. 三维取景变换过程
  6. 视域四棱锥裁剪
    1. 物体位于视域四棱锥外，无须转换为屏幕坐标
    2. 物体完全位于之内，转换为屏幕坐标进行绘制
    3. 与四棱锥相交，先裁剪，只对椎内部分进行转换和绘制
  7. 光栅化
    1. 方法：扫描线算法
3. 光照明模型与虚拟光照
  1. 三种光
    1. 反射光
    2. 透射光
    3. 热辐射
    4. 产生视觉效果
      1. 光谱分布决定了景物表面呈现的颜色
      2. 强弱决定了景物表面的明暗程度
      3. 取决于入射光的强弱、光谱组成、不同波长光的吸收程度
  2. 光强和颜色的计算方法
    1. 给出入射光的光谱分布和物体表面的反射率和投射率的光谱分布
    2. 根据环境的光源布置和景物表面的材料属性进行计算
  3. 光照模型
    1. 局部光照模型
      1. 假定入射光仅由红绿蓝组成
      2. 仅考虑白光源、不透明物体
      3. 物体表面颜色仅由反射光决定
      4. 反射光：漫反射和镜面反射光
      5. 反射模型：漫反射模型和镜面反射模型
    2. 全局光照模型
    3. 光源分类
      1. 点光源
      2. 线光源
      3. 面光源
      4. 体光源
  4. Lambert漫反射模型
  5. Phong光照模型(镜面反射模型)
    1. 在镜面反射主方向最强，四周逐渐减弱
    2. 只有在一定方向上才能看到最强光
    3. 能表现物体遮挡形成的阴影
4. 纹理影射技术
  1. 分类
    1. 定义域
      1. 二维纹理
      2. 三维纹理
    2. 表现形式
      1. 颜色纹理
      2. 几何纹理
      3. 过程纹理
  2. 二维纹理映射的基本原理
    1. 数学函数解析式表达
    2. 用各种数字化图像离散生成
    3. 过程
      1. 景物空间-》纹理空间
      2. 屏幕空间-》景物空间
    4. 常用算法
      1. catmull算法
      2. blinn算法
      3. 两步法
      4. 环境映射技术
5. 图形的实时绘制技术
  1. 实时消隐技术
    1. 确定当前画面中的可见面，用尽可能少的计算量识别和拒绝不可见面
    2. 层次Z缓存器算法
      1. 实用消隐算法
      2. 物体空间消隐算法
      3. 图像空间消隐算法
    3. 可见性预计算技术
    4. 景物空间消隐算法
      1. 表优先级算法
      2. BSP/八叉树/四叉树算法
      3. weiler-atherton算法
    5. 扫描线算法
    6. warnock算法
  2. 场景简化技术
    1. 为每一原始多面体模型建立几个不同精度的几何模型
    2. 根据视点的远近选择不同精度的模型
    3. 相邻层次的模型间形成光滑的视觉过度-geomorphs
  3. 基于图像的绘制技术
6. 自然景观模拟
  1. 过程模型
    1. 基于分形迭代的算法模型
      1. 分形
      2. 具有自相似特性的现象、图像或物理过程
      3. 局部可以看成是整体的副本
    2. 基于三维噪声和湍流函数的算法模型
    3. 基于Fourier合成原理的算法模型
    4. 基于语法规则的算法模型
    5. 基于动态随机生长原理的算法模型
  2. 粒子系统
    1. 定义粒子数据结构，单个粒子的属性
      1. 初始位置
      2. 大小
      3. 初始运动速度和方向
      4. 初始颜色
      5. 初始透明度
      6. 初始形状
      7. 生命周期
    2. 粒子动态，与粒子有关的每一参数均受到一个随机过程的控制
    3. 生成粒子系统的步骤
      1. 产生新的粒子加入系统中
      2. 赋予每一新粒子一定的属性
      3. 删除已超过生命周期的粒子
      4. 根据粒子的动态属性对其移动和变换
      5. 绘制并显示由有生命的粒子组成的图形
7. 大规模复杂场景的实时漫游系统
  1. 有效的场景数据管理和实时调度
  2. 高效的场景简化技术及简化模型间的光滑自然高度
  3. 高效的纹理映射机制和反走样技术
  4. 高效的可见性计算技术
虚拟环境建模技术
虚拟现实系统开发工具
1. 虚拟现实引擎的概念
  1. 用来开发虚拟现实的专用工具软件
  2. 架构
基于图像的渲染
1. 三维重建
  1. 由阴影到形状：物体表面阴影可以提供局部表面方向甚至整体表面形状的信息
  2. 由纹理到形状：规则纹理的透视收缩变化对局部表面方向提供有用信息
  3. 由聚焦到形状：根据散焦程度估计表面深度
  4. 主动测距
    1. 光带
    2. 飞行时间测距仪
  5. 获得部分表面模型，需要经过合并形成一致的模型
  6. 3D模型的不同表达方法
    1. 表面表达：三角网格、样条
      1. 表面插值：从一系列稀疏数据约束中重建表面
      2. 表面简化
    2. 基于点的表达：使用有向点或者表面元代替三角形顶点
    3. 体积表达：连续隐式函数
  7. 基于模型的重建
    1. 建筑
    2. 头部和人脸
    3. 完整人体建模与跟踪
  8. 恢复纹理映射与反照率
    1. 方法
      1. 使用视角相关的纹理映射：根据视角，每个多边形面使用不同的源图像
      2. 为每个表面点估计完整的表面光场
2. GPU的工作原理
  1. 设计原则
    1. 简化CPU风格的处理器，复杂的逻辑原件，使用多个核，提高并行运算的效率
    2. 需要进行单指令多数据的处理方式
    3. 时间分片，对指令进行交替处理
3. 基于图像的渲染
  1. 视点插值
    1. 每个参考图像都有自己的深度图，没有一个全局统一的三维模型
    2. 视点相关的纹理图
    3. 视点插值缺点
  2. 层次深度图像
    1. 分层深度图像
      1. 精灵：是一个带有透明度可以在屏幕上任意移动的图像
      2. imposter：将一个复杂的物体绘制到一张图像上，作为纹理贴到一个多边形上
      3. 将场景组织为多个图层，每个图层有相同深度
    2. 根据场景中物体与镜头的距离采用不同的建模方法
      1. 最近处采用多边形建模，以描述更多的细节
      2. 中等距离处用分层深度图
      3. 更远点用带有相对深度的精灵或者平面精灵
      4. 背景直接采用环境映射
  3. 光场与发光图
    1. 光场
      1. 将场景内的所有光线表示为一个四维向量(s,t,u,v)
    2. 光场获取和保存
      1. 复眼式相机
      2. 光场显微镜
      3. 使用校准过的普通相机以及可精确控制运动的基座
    3. 表面光场
      1. 如果物体表面是漫反射，不考虑遮挡，光场坍缩成为三维模型的表面贴图
      2. 如果物体表面都是镜面，则表面上每个点都反射出该店周围的环境
      3. 将表面光场分为漫反射成分和镜面反射成分
      4. 漫反射成分可以通过对光线球上所有方向的光线进行中值滤波估计出
      5. 减去漫反射成分后余下的主要是镜面反射成分，主要由局部环境决定，可以对其进行压缩
      6. 将表面光场分为漫反射成分和镜面反射成分后，可以对其进行编辑和处理
    4. 环境遮罩
      1. 将一个透明的有一定折射的物体放置到任意背景前面，渲染出背景由于折射引起的变形
      2. 需要建模这个物体上的每个像素如何折射环境光线
      3. 相机拍摄到的图像上(x,y)出发的一条光线经由物体折射到环境图中的方向(m,n)
  4. 基于视频的绘制
    1. 基于视频的动画
    2. 视频纹理
      1. 从静态图片生成视频纹理
      2. 将图片分割成静态和动态区域
      3. 对动态区域加以随机的运动
    3. 3D视频
分布式虚拟现实系统
1. HLA简介
  1. 高层体系结构HLA
  2. 任务空间概念模型CMMS
  3. 数据标准DS