新应用通过智能手机创建延时视频

康奈尔大学研究人员开发的一款应用程序使用增强现实技术帮助用户使用手机或平板电脑从同一位置重复捕捉图像以制作延时视频——无需将相机留在现场。

延时摄影涉及组合长时间拍摄的照片，提供了一种强大的方式来可视化诸如季节变化或太阳运动等现象。传统上，摄影师会在活动期间将相机放在三脚架上，但与康奈尔安·S·鲍尔斯计算与信息科学学院计算机科学助理教授AbeDavis合作的研究人员开发了一种更方便的方法。他们的iOS应用程序ReCapture现在可以在Apple应用程序商店免费获取。

研究人员认为，这是第一个专为从手持设备创建延时视频而设计的应用程序。

该应用程序的首席开发人员、康奈尔大学工程学院计算机科学专业的严如玉在2022年美国计算机协会(ACM)用户界面软件研讨会上展示了名为“ReCapture：AR引导延时摄影”的作品和11月1日的技术。

该应用程序具有三种捕获模式，涵盖了一系列场景。一个最适合风景，一个帮助捕捉特写场景，第三个收集一系列图像，可用于离线重建3D场景。

每种捕捉模式使用不同的场景信息。最简单的模式使用以前拍摄的叠加来帮助用户排列新照片。对于往往更难捕捉的特写场景，该应用程序会尝试找出相机在3D空间中的位置，并使用箭头告诉用户如何将手机向正确的位置移动和倾斜。

这项工作源于Yan通过计算机科学本科生研究计划与Davis进行的暑期研究。Yan提到了对地理藏宝的兴趣，参与者使用GPS定位一盒被其他地理藏宝爱好者隐藏的称为缓存的小饰品。与此同时，戴维斯一直在设想一个项目，该项目将帮助实地研究人员从他们的实地地点反复寻找和重新拍摄精确位置，以跟踪任何变化。他们一起提出了“用图片进行寻宝”的想法，最终演变成ReCapture。

“寻宝可能是人们为了好玩而做的事情，但如果你是一名科学家并且你正在做野外工作，那么就会出现类似的问题，”戴维斯说。

计算机科学领域的博士生孙佳田和康奈尔工程学院计算机科学专业的邓龙秀林也协助了这项研究。

Yan说，最困难的部分是开发应用程序界面来引导用户完成整个过程，因为“对我来说直观的东西可能对其他人来说并不直观。”她从20个Beta测试人员那里寻求反馈，还与CornellTech的XRCollaboratory合作，该实验室为增强现实、虚拟现实和混合现实应用程序的研究人员提供建议。

此外，她还必须弄清楚如何管理与照片相关的海量数据。“该应用程序过去经常崩溃，”她说。这是一个问题，因为如果应用程序太慢或经常崩溃，人们就不会收集足够的镜头，从而导致视频不稳定、质量差。

在该应用程序的未来版本中，戴维斯认为他们可能能够使用最近的机器学习技术消除镜头中的间隙和突然过渡，从而产生更高质量的视频。

除了制作gif和视频之外，该应用程序还可能具有有价值的科学应用，正如戴维斯所设想的那样。该团队已经与康奈尔大学其他院系的实地研究人员共享了该应用程序，农业与生命科学学院综合植物科学学院的同事已经开始使用它来收集数据。