光雕投影(或称3D 投影映射)是这几年来大型表演活动中常被运用的新兴技术,透过光雕可以改变建筑物或者任何物体的外观,把现实世界中平淡无奇的物体变得如梦如幻,大开观众的想像空间。 不过,当前的光雕投影有些限制:被投射物必须是不会变形的刚体。 而日本东京大学的石川渡边研究室突破了这项局限,发表了新成果──「以高速投影到动态变形非刚性表面的投影方法」。
在进入正题之前,先大略介绍一下光雕投影。 简单说,就是准备很多很多台的投影机,围绕在一栋建筑物的四周,然后用电脑控制这一大堆投影机,在晚上投影到建筑物上,将建筑物当做画布,做出种种绚丽的表演。 演出过程要考量到建筑物是立体的,必须考量投影到的表面不是平的,得用电脑把投影的画面事先针对每一台投影机要投射到的地方,算出对应的变形,才能投影出去。 可以是在上面画东西,也可能是天马行空地把建筑物变成完全不同的东西等。
而这样的技术,仅限于事先做好的静态影片内容与静态投影环境,东京大学的石川渡边研究室不满足于此,企图克服这样的限制,进行了动态光雕投影的研究。 动态光雕投影的困难,是要捕捉真实世界「布幕」的动态即时变形,随即低延迟地调整好要投影的虚拟影像,使投射出去以后,让我们的视觉感官觉得吻合、没有破绽。 这最基本需要一台画面更新率高、低延迟的投影机,于是该实验室就自行开发了高速投影机「DynaFlash」,它在8bit色阶(一个点可以有256色)时更新率高达每秒1000帧 ,最低延迟(latency)才3毫秒(ms)。这是理论上人类的视觉极限(普通的高端投影仪只能达到 120 帧每秒)。
有了这个基础以后,更进一步要处理最有挑战性的部分:如何正确投射影像到非刚性不断形变甚至有遮盖情形的「布幕」上呢? 如果用即时影像辨识技术的话,是来不及的。 石川渡边研究室提出了这样的新方法──「可变形点阵标记」( Deformable Dot Cluster Marker,DDCM),这个做法类似AR扩增实境的概念,是用红外线才看得到的墨水(人眼看不到),在衣服上面事先印好特定的点阵标记图后,即使目标物发生大变形或者遮挡,DynaFlash投影机的感应器也能稳定地在1,000fps下即时「看到」目标物上的点阵标记,以投射出正确的变形后画面。
使用这些基本技术,包括DynaFlash和DDCM,就可以在变形非刚性表面上进行新式的动态投影映射了。 在石川渡边研究室的展示影片中,可以发现翻转、扭曲、移动、伸缩都难不倒,由于投影和感测都是以1,000fps的速度在运作,就好像投影的图案本来就是印在衣服上般地自然。 更特别的是,可变形点阵标记可以是复数的,也就是说这让投影机可以灵活地「辨识」出不同的目标物,而同时加以投影出不同的图案。
在应用上,可以想像演唱会表演时,偶像歌手穿着一件单色白净的衣服,不用实际的换装,就可以变换出一件又一件的不同衣装;不用拜师学数十年学习高难度的川剧变脸技术,脸上只要戴着一张纯白的面具,就可以一张又一张的不断翻脸。 非娱乐的应用方面,不用开刀,投影出内脏器官到人体上,辅助医学院教学应该也是可预见的应用。 真期待这项技术 的后续发展呢!
发表评论