导语：
2018年7月16日，人工智能与机械学习领域顶级期刊《模式剖析与机械智能汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI))》（影响因子：9.455）吸收了我校电子信息工程学院王祖林教授、徐迈副教授的最新研究效果“强化学习在展望视觉注重力规模中的模子构建”。学生作者为2014级本科生宋宇航、王建伊、樵清朗，西席作者为徐迈和王祖林，尊龙凯时为论文唯一单位。
制订标准时的头脑火花
徐迈副教授的团队一直在加入VR(虚拟现实手艺)标准的制订，到现在已经加入了四次VR标准制订的聚会，多项提案被国际标准接纳。VR中最主要的一环就是全景视频的处置惩罚与传输。由多个差别角度的镜头来录制全景信息，并对画面举行拼接，形成能显示空间所有方位的视觉图像，这样的视频就是全景视频。全景视频需要很是高的区分率支持（如8K甚至16K），才华实现用户身临其境的陶醉式体验。
图1.全景视频
在加入VR相关标准制订的历程中，徐迈副教授以为，目今的标准主要分为两个偏向---球面映射和用户体验，因此，一直向导团队致力于提升用户体验息争决相关现实问题。高区分率视频的处置惩罚需要消耗大宗的盘算资源和通讯带宽，而由于VR头盔自身盘算能力和无线传输带宽的限制。怎样在坚持视频质量稳固的条件下，镌汰处置惩罚和传输的数据规模，提升用户体验，就成为了目今全景视频及VR研究的重点问题。针对这一问题，徐迈副教授向导他的团队睁开了探索。
实验室强项与问题连系
人眼有数十亿的视锥视杆细胞，相当于十多亿像素高清相机，而眼部与大脑之间的神经节细胞仅为数万个，相当于数据传输速率只有8Mbps，这说明说大脑并没有所有处置惩罚所有图像数据，而是选择性地处置惩罚了一些区域，而这些区域就被称为感知区域。凭证人眼事情机理，建设全景视频注重力模子就成为了团队的主要研究事情。
在寓目全景视频的时间, 人类通过控制头部运动从而来控制视野规模，进而爆发身临其境的交互式陶醉体验。因此，展望头部运动是构建全景视频注重力模子的要害。该论文首次建设了一个全景视频注重力的数据库，获得58名被测者寓目76个全景视频序列时的头动及眼动位置。经由四个月的数据洗濯和处置惩罚，通过对头动数据的追踪，形成每个视频逐帧的热门图。最终，论文首次展现了人类寓目全景视频的视觉机理。
图2.差别算法展望效果比照
在对热门图剖析后，团队发明，只管差别的人寓目统一内容时感知区域保存一定差别，但与视频内容依然具有强关联性�；诖�，可构建展望模子，展望人类寓目全景视频时的头动位置。而这种模子的构建机理，又与强化学习要领有实质上的联系。因此，他们提出一种新型的深度强化学习(DRL)模子，构建智能体模拟人类行为，展望人类寓目全景视频时的头部运动。首次提出全景视频视场热门图的天生要领，可离线地展望全景视频视场，并提出一种全景视频的在线天生要领，可在线实时展望全景视频视场。最后，实验效果验证：与古板算法相比，论文提出的算法所展望视野热门图，CC（和真实效果的相关系数）精度提升凌驾20%。论文对全景视频的压缩，渲染，感知，有着普遍的应用场景，为提升全景视频用户体验提供了理论支持。
图3.全景视频视觉注重力模子示意图
图4.对中心私见取差别标准差和权重系数下展望效果的CC值拟合曲面
本科生科研与不懈探索
此项研究效果完全由三个本科生在徐迈副教授的指导下完成，徐迈副教授对他们有很高的评价：“本科生有较强的研究起劲性，同时在同心协力相助上体现很好，虽然学位上比起其他的投稿人欠缺一些说服力，但最终效果照旧好的。”三位同砚体现，在他们的首次科研历程中遇到了许多难题，徐迈副教授很是认真认真的资助他们解决遇到的每一个问题，经常破晓一两点发出的问题都能迅速的收到详尽的回复息争答；每周都要整体开会讨论进度、所遇到的问题和接下来的偏向；在论文第一次收到大修意见后，徐迈副教授勉励各人继续起劲，并且和他们一起对论文举行了数次修改，才最终被吸收。
结语：
新思绪与新视角会带来新的厘革，使用差别于古板信号处置惩罚的深度学习和强化学习等多种要领，徐迈副教授和他的团队重新的角度完成了对全景视频视觉注重力模子的构建，实现了全景视频所需盘算资源与通讯带宽的压缩，为VR大规模适用化提供了很是有利的条件，有很广的应用价值。接下来他们将会继续将研究深入下去，逐步解决在现实应用中所遇到的问题，进一步改善全景视频的用户体验。除了在全景视频领域举行了开创性的研究外，徐迈副教授和他的研究团队也在对包括图像、通俗视频的各方面举行着提升用户体验的研究。相信在未来，他们能继续在这个领域取得更多的突破性效果。
该论文获得了国家自然科学基金及尊龙凯时青年拔尖人才基金的支持。
论文链接：https://ieeexplore.ieee.org/document/8418756/
项目链接: https://github.com/YuhangSong/DHP
文案：曾嘉琪、曹嘉辉
采访：曾嘉琪
设计：杨彦卓
编审：尊龙凯时门户网站总编总监事情室
投稿：geoos@buaa.edu.cn
