来源：期刊VIP网 时间：
作者：牛锐;房丰洲;任仲贺;侯高峰;李子豪;
单位：天津大学精密测试技术及仪器全国重点实验室微纳制造实验室;
摘要：在虚拟现实（VR）的沉浸式场景中，基于先进的注视估计技术实现精确的注视点渲染，能够优化计算资源分配效率、缓解用户体验过程中可能产生的眩晕感。目前，可用的VR环境下的注视估计数据集只有单观测角度眼睛图像，缺乏不同观测角度的眼部图像数据集。文中构建了一个包含23 040张多观测角度眼睛图像的注视估计数据集与一个包含15 824张带有瞳孔标注的多观测角度眼睛图像的瞳孔检测数据集，并提出了一种结合多观测角度眼睛图像特征以相互补偿的多分支网络模型。将注视估计数据集样本用于模型的训练过程，预测欧氏距离损失可以达到7.68像素。进一步，将包含瞳孔位置信息的权重地图与图像融合，瞳孔位置信息的融合输入增强了模型的性能，欧氏距离损失降低到7.45像素。这项研究表明，所开发的模型能够提升VR环境下的注视估计精度，从而推动注视估计技术在VR产品中的广泛应用。
关键词：注视估计;;虚拟现实;;卷积神经网络;;多分支网络;;特征融合;;瞳孔检测
基金资助：国家自然科学基金项目（52035009）
