陈鋆哲：AR/VR技术的未来会是什么样的

2017年2月6日，春节假日后的第一个周一，晚8点30分，Unity开发者社区广州负责人、曾作为香港Google论坛特邀嘉宾的陈鋆哲老师带来了主题为“支付宝AR红包技术探讨及如何在下一波技术浪潮中畅泳”的交流。以下是主持人小媛子整理的问题精华，记录了陈老师和读者间问答的精彩片段。

问：AR这种交互模式对于智能眼镜的促进如何？智能眼镜在未来会如何发展？是否能取代手机呢？

答： 回答这个问题，会涉及到另外一个问题，在这里也顺便一并提出及解答，即“AR里面，涉及了哪些技术？” 我们目前一般普遍认为的AR，实际上包含了两大类技术——“计算机视觉”+“3D引擎”；简单理解就是，计算机视觉来判断一个事件是否会触发以及触发的位置在哪里，而3D引擎则是制作对应的触发后呈现给用户的视觉效果，因为是对“现实”进行“增强”，而我们现实人事物基本以3D为主存在，所以随着时间推移和用户习惯的升级，用3D引擎制作触发效果的比例会越来越大。

回到智能眼镜上，智能眼镜其本质不仅是因为便携化了移动手机，更关键是它的 “In” 和 “Out” ，即用户戴上智能眼镜后与数字化世界及现实世界的自然关联。“In”包含对智能眼镜看到的一些信息，以及通过肢体动作进行操作的信息，因为智能眼镜还无法像我们大脑一样直接传递交互信息，所以目前的手势交互也是通过智能眼镜“看”到而触发；而Out则包含了透过眼镜输出给我们所需要信息。这两部分都是我刚提到的AR的两大类技术“计算机视觉”以及“3D引擎”所包含的。当然，目前我们定义的“AR”充其量只是智能眼镜发展的一个核心部分，在In & Out 的过程中，对信息的接收可以涉及到语音领域，对接收到信息的处理可以涉及到AI领域，对于Out这部分的信息输出可以是物联网领域，以及智能眼镜未来随着技术进一步完善会具有VR功能等等。

取代手机是必然的，只是时间问题。因为技术的变革的倾向是让设备距离我们越来越近，并更符合我们自身的行为习惯，而从这个维度看，手机时代也是必然的，因为相比电脑，手机离我们更近，更像我们身体的一部分，也更像我们自身的操作。其实现在智能眼镜的发展是非常迅猛的，有团队在研究通过脑电波来操作智能眼镜，有团队在研究通过芯片传递味觉等等，这些发展的终极目标就是让设备成为我们身体的一部分，且更“高级”。

问：谷歌为啥放弃了glass了呢？AR和VR是不是在其他穿戴设备上应用得更好？

答： 其实是时间窗口问题，当然产品本身也存在一些避免不了的缺陷，如视角狭窄、续航能力等。不过google现在推出的Daydream计划和Project Tango都是证明了google对这个领域的重视。

得看是什么穿戴设备以及应用在哪里. 现在AR领域的设备可算在2B领域百花齐放。

问：很看好AR和VR的前景，但相关的产品是如何测试的？与普通的APP测试有什么区别吗？个人理解AR和VR的产品应用场景更复杂多变，需要测试构建的场景更多，这应该是个难点，那么能否对这些场景进行模拟呢？

答： 其实这里面已经有两个话题，一个是AR，一个是VR，虽然大家都会并称他们，但实际上，他们在底层开发技术以及产品维度还是有比较明显的区分。 AR是计算机视觉，而VR则是屏显交互创新，他们的共同点都是大部分用3D引擎开发。因为AR/VR行业仍然在发展，这个问题涉及的面比较广泛，点比较多，我只选择一些尝试回答。

首先，无论是AR，还是VR，因为大部分涉及到3D开发，而其中的引擎传统是用于制作游戏的，所以比起传统的APP测试来说，AR/VR的应用先天带有游戏应用的一些基因，所以从测试层面，简单说，就是需要加入这方面的测试，因为很有可能会出现一些传统应用不会出现的问题，例如在客户端网络实例化过程中出现的物体错位、材质丢失、Size变化甚至内存溢出等问题。

场景模拟是可行，但却又区别于传统应用测试，举个简单例子，移动端VR在用户躺下有时候会因为程序的设置问题，自动退出VR模式；一些AR应用设置的触发图像因为该现实场景的光线问题而失效。这些问题的背后是需要测试工程师对AR/VR领域技术的理解，才能提出来，而且已脱离代码层面。

问：关于AR的未来还是会一直AR下去么？

答： AR会作为新技术时代的一个技术要点组成部分，在这个时代会一直持续下去，但未来可能不仅仅是“增强现实”，有可能还会实现“替换现实”。

AR会成为我们与计算机沟通的桥梁之一，我们通过AR的In来传输我们所见到的信息和我们的肢体语音，然后我们通过AR的Out来传输计算机反馈给我们的信息，无论是通过个人还是AI生成——这就是其中一种人机交互方式，而人机交互正是新技术时代的一个重要热点，所以目前可见，AR还会沿着目前的基本逻辑继续不断升级和发展。

替换现实其实很好理解，即传入我们眼睛的信息通过智能眼镜/手机进行重建，将原来存在的现实进行替换，这个事情到极端就是VR。

问：文章写得不错，但感觉不解渴，希望能深入介绍一下AR红包技术开发的业务模型。

答： 按方便面的开发方式业务模型来说，第一步到第三步，都只需要一个懂Unity，懂到Unity的AssetStore 下载LBS 插件并付用、懂得使用Vuforia的封装代码、懂图片压缩代码的人即可，再配一个UI的美工。最后一步只需要一个懂写PHP数据库的人就行了…

当然，如果要自己做类似支付宝源生的AR红包，还需要一个懂OpenCV的工程师，负责写图像识别的接口并封装进Unity。

问：您好，我发现百度做了百度识图，那么以百度现有的技术实力、内容积累和资源，如果以实物扫描作为搜索引擎的一个入口，那岂不是又能抓住一波发现的机遇？

答： 预定义3D物体扫描和实物扫描不同，你提到的应该是实物扫描，后者涉及到了深度学习，AR领域目前的确有部分企业在往这方面发展，百度的确也在做这方面的尝试，但是不是它可以抓住这波还不清楚，但是具体的业务场景、业务逻辑、流量入口等，这些都是需要深入思考。淘宝之前也做了拍照来实景内的商品在哪里可以买到，但技术上还是有很大的提升空间。究竟最后鹿死谁手，且听老天爷的下回分解。

基于深度学习的实物扫描要做到什么都能框出来，需要在目前人工智能的算法下，还是需要天量的数据样本和非常庞大资源的服务器，以及时间也比较长。

这个就不是我们这个Chat探讨的问题，需要搞深度学习的老师来为大家讲解，我就不越俎代庖了。

问：1）AR/VR技术团队的组成结构介绍一下，及一般的技术难点在哪方面；2）如果在大脑植入芯片，将AR/VR技术用在帮助盲人方面，有搞头么，展开一下想象；3）进入AR/VR行业一般需要什么样的资质，进入壁垒有哪些?

答： 1）AR/VR的软件技术团队结构构成如果粗看，可以是类似的，具体按项目的复杂程度来决定，但总体来说可以包含这几类构成：产品经理，Unity或类似的物理/游戏引擎工程师，服务器工程师，美术资源，产品测试工程师等。

但具体细讲，会有不同，AR的技术团队可以考虑加入计算机视觉方面的工程师来对图像识别进行优化；VR的技术团队则可以考虑加入更多对3D场景、用户体验规划和设计的产品经理/美术资源。

在个人看来一切非实验室类型的技术都没有难点….当然AR/VR的领域已经涉及技术跨界，因此唯一技术难点在于对新技术的不断学习和积累，以及开放的心态去重组及创新各类型技术。

2）大脑植入芯片这个是我回答第一个问题里面讲到未来设备的发展你会越来越往人体靠近，这个估计是下一个技术时代会出现的东西，有生之年应该可以看到。当然有搞头，而且不仅仅是盲人，正常人也刚需。实际上，现在针对盲人及聋哑人士，已经有技术是通过另外的人体神经传递信息给他们，如通过舌头。

3）行业资质及技术壁垒是相关领域的人才储备及跨界思维的产品经理，这块目前领域内奇缺..当然如果要做真正意义上的技术驱动型企业，那么从底层例如计算机视觉这方面的创新和人才储备是必须的，而且如果结合深度学习等AI，会有一些壁垒。但是在这个时代，就连实验室的技术有一些都开放，AI的各种平台也是开放的，如果真要说壁垒，那就是团队对这些新技术的学习、整合、以及在具体行业领域的商业模型和商业逻辑吧。

问：1）对于去年magic leap被科技媒体评价为Demo公司，陈老师怎么看待的呢？2）国内AR硬件2B的应用能多举些例子吗？

答： 1）Magic Leap这个话题年前的确被火了一把，源于他们的DEMO视频属特效。但对于Magic Leap的思路，还是持肯定态度的，因为目前绝大部分设备还是存在屏幕，而Magic Leap当时其中一个构想是将图像投射到用户眼睛里，并且虚拟影像与真实世界是有“交互”的。但最后Magic Leap是否能出来，而且是按照他的奇思妙想量产，年前的“DEMO公司”门如何，我觉得还不能下定论。毕竟投资Magic Leap的巨头们应该也有一定智商。当然他们智商水平如何，也只能交给时间来证明了。

2）其实国内国外的硬件最缺的就是应用，哈哈。不过话说回来，AR在2B的应用的确是刚需，举一些例子，例如航空公司的飞机维修，因为涉及的零件繁多、技术复杂，如果手把手带学徒成本极高，因此AR眼镜能够在这里面发挥极大的作用，随时随地引导新手进行零件更换操作；而这类型的企业其实还有很多。目前AR硬件的2B应用其中一个集中爆发就在于“技术培训/引导”这个领域，较大的降低了行业传授的成本和出错率。

问：感觉硬件的载体未定，应用会不会言之尚早？

答： 载体还挺多的，如Meta， Hololens，国内亮风台也出了一款幻视，好像中移动也出了一款。

其实用手机+Cardboard也可以，只是效果没那么好，而且没办法做一些深度应用。Google Tango也算是其中一款吧。联想今年会量产。

问：VR/AR在医疗领域有那些应用？

答： 这个就太多了，VR在很早的时候就已经投入医疗领域的应用，在美国最早尝试用于缓解烧伤患者的灼烧感。在心理治疗方面，例如通过脱敏治疗来治疗一些恐惧症。即还原出恐惧症的具体场景，并通过交互压抑的方式来治疗患者。在外科领域，结合CT扫描及一些3D建模软件，让医生可以通过VR漫游患者的对应器官层，更精准找出问题。

AR方面，目前则主要是以医疗教学为主。但相信不久未来，在技术引导方面会有突破发展，例如外科手术，例如皮肤病治疗等。

问：支付宝的AR红包是对原来App里的“扫一扫”功能增强支持AR功能（Tab页切换），如果其他app也想支持AR红包，该如何开发和相互结合？是否用Unity输出包通过SDK调用的方式？陈老师有什么经验可以指教，谢谢.

答： 这个技术我们目前在开发。可以通过Unity输出包来做SDK调用，但是Unity直接作为插件的支持度不太友好。具体还是要看其他APP的架构，能直接作为源生兼容进去会更佳。

另外可以考虑不做Unity而是基于OpenCV来做插件开发。

总体来说，我还是建议原生兼容。因为Unity作为IOS的Framework插件这个坎，貌似全球都还没有解决，因为问题在Unity本身。

（以上内容转自GitChat，版权归GitChat所有，转载请联系GitChat，微信号：GitChat，原文：《陈鋆哲：AR/VR技术的未来会是什么样的》）