exclusive! Apple’s Secret – Virtual Reality Project

According to Apple’s patent application, it seems that the company It has been explored in the field of virtual reality and augmented reality for more than ten years. With the explosive popularity of virtual reality and augmented reality, Apple may take this field more seriously and is very likely to launch virtual reality/augmented reality in the near future. Reality related products or functions.

According to rumors, Apple already has as many as A virtual reality/augmented reality team of hundreds of people explored how to apply this emerging technology to Apple’s products. In recent months, Apple has recruited more and more talents in the field of virtual reality/augmented reality, and has also acquired several companies in the field of virtual reality/augmented reality. All these signs indicate that something must be happening at Apple’s Cupertino headquarters.

Incorporate virtual reality/augmented reality in many of Apple’s products There are many options for functions, from using augmented reality technology in Apple Maps to implementing a virtual 3D interface in the iPhone to Apple launching its own virtual reality glasses. It is precisely because Oculus Rift and Microsoft’s HoloLens have aroused great interest from the public, Apple has also been inspired to start trying its own head-mounted products.

Apple is reportedly developing several virtual reality helmets Product prototypes, but apart from that, almost no one knows whether Apple has anything else in this field. It is not yet known whether Apple is developing virtual reality products like Oculus Rift or augmented reality products like Microsoft HoloLens. But we have every reason to assume that Apple is involved in both areas.

Even if Apple did not release a helmet-type product in the end, He can also choose to integrate virtual reality/augmented reality technology into his existing products. For example, you may often hear that Apple may use augmented reality technology to improve the usability of Apple Maps. Users can hold up their mobile phones to see information about surrounding shops and restaurants in real time.

Although Apple executives only revealed a little Information about Apple’s involvement in virtual reality. But at the financial report meeting in the first quarter of 2016, Apple CEO Tim Cook said that virtual reality is not a joke. He said: “He (virtual reality) is very cool, and there are many interesting application scenarios.”

Continue reading, this article will be based on rumors And leaked information to analyze and track Apple’s progress in the field of virtual reality/augmented reality.

Enhanced display vs virtual reality

Virtual reality and augmented reality are two Similar technology, but their main application scenarios are very different. Virtual reality can bring us a fully immersive experience, while augmented reality brings us a “modified” real world.

Maybe a list of virtual reality on the market/ Augmented reality products can better help us understand the difference. For example, the smart glasses abandoned by Google-Google Glass (Google Glass), is a representative of augmented reality. Through Google Glass, users can see the real world, and the head display loaded on it can superimpose a layer of information provided by computer calculations on the real world, such as local weather, maps, and notifications.

In contrast, Facebook’s Oculus Rift is a virtual Realistic headsets can bring people an immersive virtual experience. Instead of superimposing information on the real world like augmented implementation, it directly replaces the real world.

Augmented reality provides computer calculation and analysis The scenes and information of the world around us, and allows us to interact with them. The goal of virtual reality is to separate us from the real world and interact with the virtual world/scene.

The scope of application of the two can be described as vastly different. Virtual reality is simply focused on the consumption of immersive content, because virtual reality uses visual, tactile and sound feedback Let users feel that they are experiencing a simulated world. Virtual reality technology is now more connected with games, but in the future it is likely to be used to reproduce the real world in the fields of education and training.


If Apple will launch virtual In the case of a real helmet, it may be bundled with Apple TV or Mac as an accessory to a game or a tool for exploring the virtual world.


While augmented reality does not Relying on the immersive experience capacity, because it is used to enhance the content in the real world instead of replacing it, the technology has more application scenarios. In fact, many people may have experienced augmented reality on the iPhone. Snapchat’s face-changing feature is an example of augmented reality. There is another example of Google Translate’s ability to use the iPhone camera to translate and replace real-world text in real time.

In the future, a built-in augmented reality technology iPhone can be used by users to understand their surroundings and obtain relevant information. For example, if you take a photo of an unknown plant with the camera of your mobile phone, you can immediately pop up the Wikipedia page of the plant. Or scan a restaurant with a mobile phone camera to directly pop up the restaurant’s menu on the screen. In the store, directly scanning the product can directly pop up the price comparison information of the product or the user’s evaluation. Also in tourist attractions, scanning a landmark can immediately display relevant historical information or display a map of the area.

Of course there is another There is a technology between augmented reality, and that is mixed reality. Rumors claim that Apple is very interested in hybrid display technology, which combines holographic images with the real world. The best example of this technology is Microsoft’s Hololens. This technology can generate visual holographic images in the real world.

Apple’s virtual reality/augmented reality team

Apple’s exploration in virtual reality and augmented reality technology can be traced back several years. But the rumor started in March 2015 about Apple having a research group on augmented reality. From 2015 to mid-2016, Apple gradually expanded this team through the recruitment of senior talents and the acquisition of several companies.

It is said that Apple now has hundreds of virtual reality/ Experts in augmented reality are doing secret research.

Talent recruitment

Apple’s most famous recent appointment in the field of virtual reality was computer scientist Doug Bowman, who was formerly a Virginia Tech Leader of the Center for Human-Computer Interaction. He specializes in three-dimensional human-computer interaction interface design and has a book about the advantages of 3D interfaces and immersive virtual environments. He is an expert in virtual reality and augmented reality.

Doug Dowman

Apple also hired employees from Microsoft and Lytro who had developed virtual reality and augmented reality products. Some of the recent hires are from Microsoft HoloLens team members, and some are from Lytro Camera Company. This camera product can combine computer-generated graphics with live performances to create a virtual reality experience. Employees from Microsoft HoloLens help create more advanced augmented reality products.

Lytro’s 360-degree immersive camera

Many of the hundreds of people in Apple’s team are virtual reality experts recruited secretly. Many software engineers with virtual reality experience from Apple can be found on LinkedIn, but it is unclear whether they are all in Apple’s secret virtual reality/augmented reality technology team.

Company acquisition

Apple Many members of the virtual reality/augmented reality team joined because of Apple’s acquisition. In 2015 and 2016, Apple acquired several companies that produce virtual reality/augmented reality products. Some of the acquisitions related to virtual reality/augmented reality can even be traced back several years.

  • PrimeSense< /p>

Apple acquired as early as 2013 With this Israeli somatosensory company called PrimeSense, people can’t help but wonder whether Apple will build the company’s motion detection technology into Apple TV. PreimeSense’s three-dimensional depth technology and human motion perception technology were first applied to Microsoft’s Kinect platform.

PrimeSense

PrimeSense uses Near-IR Light projection to perceive a room or scene, and also has a CMOS image sensor to Capture the colors in the space to create a virtual image of an object or person. This not only makes the application of action-based interaction in the software interface a reality, but this technology can also be used to measure virtual objects and provide relative distance and size, which is very useful for applications in augmented reality. Such as games, indoor navigation and so on. PrimeSense’s technology can also be used to create highly accurate 3D models of characters/objects, which may be used in virtual reality.

  • Metaio< /p>

Apple in May 2015 Acquired this augmented reality startup called Metaio. Metaio’s product is the Metaio Creator (Metaio Creator), which can be used to quickly create augmented reality scenes. Before being acquired by Apple, the company’s software was used by companies such as Ferrari to create augmented reality showrooms.

Metaio

Metaio’s technology was also used in the German city of Berlin. When visitors to Berlin visit the ruins of the Berlin Wall, they can hold up their smartphones or tablets to view the surrounding scenery before the Berlin Wall was demolished. Metaio’s technology is recognized as the most likely augmented reality technology to be used in applications such as Apple Maps.

  • Faceshift< /p>

Acquired by Apple in August 2015 The second augmented reality company is called Faceshift. Before being acquired by Apple, Faceshift worked with game and animation studios to use 3D sensors to quickly and accurately capture the actor’s facial expressions and map them to virtual facial models to automatically generate animations. In addition, Faceshift also launched a consumer product that can be used on Skype (a chat software). This product allows users to replace their faces with cartoon/monster faces in real time when using Skype to chat.

Faceshift

Faceshift technology has many application scenarios. It can be used to create real-time virtual characters in FaceTime or built into a wide range of augmented/virtual reality products.

  • Emotient

Emotient is a company that provides tools for facial expression analysis. It was acquired by Apple in January 2016. Emotient’s technology uses artificial intelligence and machine learning to read people’s facial expressions. This technology can be used to detect the expressions of people when they see an advertisement to judge the effect of the advertisement.

Emotient

Apple has many products that can use Emotient’s technology, from face detection in photo apps to detection of user preferences in Apple’s retail stores to using faces to unlock iOS devices. In addition, the technology can be used in the field of virtual reality/augmented reality. Just like Faceshift, Emotient’s technology can be used to analyze and convert human expressions to the faces of virtual characters, which is very useful in social products and games.

  • Flyby Media

Flyby Media, the company Apple acquired in early 2016, is another company focused on augmented reality. Flyby’s product is a 3D scene-aware mobile phone used in Google’s Project Tango. This product installed on Google devices can better fit virtual messages to real-world images.

Flyby Messenger before it was removed from the app store

For example, users can scan a landmark like the Golden Gate Bridge in San Francisco and attach a message to it. Another user who comes to visit the Golden Gate Bridge can scan the Golden Gate Bridge through the Flyby app to obtain the additional information. The reason why Apple acquired Flyby is probably because Flyby’s technology can distinguish and understand different objects scanned. Such technology can be used in many Apple applications, such as photo applications and map applications.

Competitors

Because of Apple’s Several competitors are developing virtual reality/augmented reality projects, which is likely to become another factor for Apple to enter these two fields. Many competing companies have released or are about to release virtual reality/augmented reality related products, which makes Apple have to step up the pace of their planned implementation.

Facebook-Oculus Rift

Oculus Rift is one of the first virtual reality helmets that consumers can access. The product was released at the end of March 2016, and the price of US$599 is quite competitive. Since the launch of the crowdfunding project on Kickstarter in 2013, the product has entered the development stage, putting virtual reality technology under the spotlight.

Oculus Rift is a head-mounted product, and has two OLED reality screens with a resolution of up to 1080×1020. The two displays are used for each of the left and right eyes, and have a refresh rate of up to 90 Hz. This allows users to get an immersive visual experience without freezing or blurring. The product also includes a game controller, an infrared tracking sensor for positioning the player’s head, and an optional accessory is an Oculus Touch controller for positioning the player’s hand.

Oculus Rift

Oculus Rift将会是第一个可以大规模供货的虚拟现实头盔,但是他还是有一定的限制性。这不是一个独立运作的设备,他的运行有赖于一台装有高级显卡的Windows PC,而且该产品目前仅仅是针对于游戏市场。所有运行在Oculus Rift上的软件必须继承Oculus提供的集成软件包(SDK)。 Oculus曾经表达过目前Oculus Rift不会提供Mac的支持,因为苹果的产品并没有使用高级的显卡。

Oculus Rift的用户不仅可以体验到传统的电影也可以用它来体验3D的立体视频。同时由于被Facebook收购来,Oculus上还有一个社交型的应用正在被开发。虚拟世界中的社交场景是Oculus Rift这样的产品能够切入大众消费者的重要功能之一。

苹果如果要采取Oculus这样的路线,创造一个游戏用的虚拟现实头盔产品,可能要考虑到Oculus Rift并且遇到同样的在Mac机器显卡上面的限制。苹果需要在他的设备中置入更加强大的显卡。

微软 – Hololens

微软的HoloLens类似于谷歌眼镜,都是具有类似护目镜的头戴式的装置。 HoloLens具有3D立体显示的显示器,空间立体声效,麦克风阵列,摄像头以及加速度计、惯性感应器以及地磁感应器。它使用了Windows Holographic操作系统,让人们可以通过手势,眼睛运动以及声音来与HoloLens交互。

HoloLens是虚拟现实以及增强现实的结合体,可以创建全息投影的虚拟物体,用户可以通过HoloLens查看并且操作他们。微软展示了HoloLens的数个使用场景,包括一个交互型的Skype应用,一个增强现实版的第一人称射击游戏,一个增强现实版的我的世界,一个用来创建3D打印物体的3D建模软件,最后是一个人体解刨课程。

Hololens

由于HoloLens以其独特的方式融合了虚拟现实以及增强现实,吸引到了很多的注意力。超越了一般的增强现实应用,但又不失增强现实能够跟真实世界交互的优点。这项技术有可以将虚拟现实以及增强现实最好结合起来的潜力,而且如果苹果选择了制造穿戴型的产品那么它很有可能跟随着微软的脚步来创造出一个类似的混合现实产品。

微软从2016年3月30日就开始发出HoloLens的开发者套件。有兴趣的开发者必须支付3000美金来获得一个HoloLens,该设备可以用来开发软件。微软还没公布消费者版的上市日期。

谷歌 – Cardboard

谷歌Cardboard是一种借助智能手机还有纸板来实现极度简单的虚拟现实设备。由于这个产品实在是太简单了,以至于苹果不太可能会采取这样的方式,不过他也很有可能会作为iPhonde一个附件来让人们体验虚拟现实。

谷歌Cardboard是由便宜的组件构成的,并且需要一个兼容的应用来让iPhone的显示器分成来个部分以现实一个3D立体的图像。谷歌Cardboard作为一个开放性的平台,许多公司都可以使用它来创建3D的体验以及游戏。 Cardboard其他的应用包括使用照相的应用来拍摄360度的照片以及在教育场景中可以让学生体验到虚拟的课外教学。

谷歌据说正在研究第二代的Cardboard设备,该设备可能是一个独立的虚拟现实头盔,并且在设计上会跟Oculus Rift很相似,但是无需连接到PC上。

其他

  • PlayStation VR

PlayStation VR是一款类似于Oculus Rift的头戴型显示设备,只是他运行在PS4主机上。 PlayStation VR的原型包含了一个分辨率为1920×1080刷新频率为120赫兹的OLED显示器,并且还具备广视角,3D显示以及头部追踪的功能。

  • 三星Gear VR

三星Gear VR是三星跟Oculus合作开发的产品,Gear VR跟谷歌Cardboard很像,需要一个三星Galaxy Note 5,Galaxy S6或者Galaxy S6 Edge来作为这款头显的显示以及运算设备。他具有专用的传感器以及高广角的镜片组,使得这款产品比谷歌Cardboard要来的更加精准。

  • hTC Vive

hTC Vive是一款hTC跟Valve一起合作研发的头戴显示器,就像Oculus Rift还有PlayStation VR一样,这款产品主要是面向游戏并且跟Steam平台一起。该产品包括了两块分辨率为1080×1200刷新频率为90赫兹的显示器。而且这款产品还是用了多达70个的传感器。 Vive中还带有用于检测用户位置信息的基站。

专利

苹果早几年前就申请了至少3个跟虚拟现实/增强现实头显有直接关系的产品。这些专利申请的比较早,而且科技在进步,这些专利仅仅能让我们看到苹果数年前的成果。

2008年的一个专利包括有“个人显示系统”,用于模拟在电影院看电影的体验。

第二个专利描述了一个带有“激光引擎”的“头部显示系统”,该系统可以将图像投射到用户戴在眼前的透明玻璃,就像眼镜一样。在这样的配置下,这个头显装置需要连接到一个像iPod那样的外部的手持视频播放器上才能进行相应的计算。

第三个专利申请的时候跟2008年的那个在设计上非常相像,这个护目镜式呃视频播放头显被设计用来让用户看电影一类的内容。他描述了两套跟用户双眼对齐的可调整的光学模块,这样的系统可以纠正视觉上的偏差,并且可以让用户体验到3D立体的内容。根据苹果的描述,这个系统给用户提供了一个个人化的媒体观赏体验。

第四个2008年的专利包括了一个跟谷歌眼镜很像的视频头戴装置框架。用户可以将他们的iPhone或者iPod安装进去来看视频。这款产品被称为增强现实类的产品并且能够让用户在看视频或者查email的同时还能看到周遭的环境。

除了头显一类的专利外,苹果还申请了其他能被放到现有产品中的虚拟现实/增强现实设备的专利。例如,一个2009年的专利申请包含了一个装有摄像头的3D显示设备,该设备能够根据用户的视角来调整显示内容。

这样的显示设备可以检测头部运动,让用户可以活动他们的头来从另一个角度看立体的图片还有真实环境.

2010年以及2012年的专利描述了使用动作传感器在iOS设备上创建一个立体的增强现实交互界面。根据苹果的描述,用户可以通过使用内置的传感器,手势或者改变装置的方向等方式在“虚拟房间”中移动。

2011年苹果申请了一个将增强现实技术应用到地图等相关产品的专利。这个专利可以量出用户距离著名地标的距离。借助摄像头,用户可以随意的观看四周,并且能够实时的看到他们距离图像上的物体有多远的信息。

发布日期

苹果的虚拟现实头盔研究目前还在原型stage.很有可能数年后才会发布这类型的产品,或者根本不发布。苹果常常去尝试那些可能根本不会被制造出来的原型。所以如果苹果觉得虚拟现实市场不值得进入的话可能根本不会有类似的产品产生。

至于增强现实技术,很有可能在不远的将来被运用到苹果的应用中。苹果已经收购了不少跟增强现实相关的公司,而且该技术不需要全新的硬件设备,通过软件来实现就够了。

苹果虚拟现实项目大事记

  • 2016年3月3日 在苹果推出“好电脑”之前Oculus Rift不会支持苹果设备

  • 2016年2月29日 开发者版的微软HoloLens以3000美元的价格开放给感兴趣的开发者

  • 2016年2月11日 谷歌正在开发独立的虚拟显示头显,Cardboard的升级版

  • 2016年2月9日 Gene Munster说,虚拟现实两年内就会到iOS设备上

  • 2016年1月29日 苹果有个开发虚拟现实头显的秘密团队

  • 2016年1月26日 苹果CEO Tim Cook说虚拟现实非常酷并且有很有意思的应用

  • 2016年1月21日 苹果招聘了顶尖的虚拟现实研究人员

  • 2016年1月7日 苹果收购了脸部表情分析创业公司Emotient

  • 2015年11月24日 苹果收购了实时动作捕捉公司Faceshift

  • 2015年9月14日 苹果的招聘信息揭露了可能要收购Faceshift

  • 2015年9月4日 实时动作捕捉公司Faceshift可能会被苹果收购

  • 2015年5月28日 苹果购买了增强现实创业公司Metaio

  • 2015年5月28日 谷歌给Cardboard带来了新的iPhone开发者套件以及新的应用

  • 2015年5月27日 iOS 9的地图应用内置了基于增强现实技术的生活管理功能

  • 2015年3月18日 谣言称苹果有一个小的增强现实团队

  • 2015年1月21日 微软发布了增强现实头像-HoloLens

  • 2014年11月24日 招聘信息表示苹果持续对虚拟现实感兴趣

  • 2014年11月5日 谣言称下一代iPhone带有没有玻璃的3D显示器

  • 2014年9月3日 三星带来了Galaxy Note 4,Note Edge,Gear S手表以及Gear VR头显

  • 2014年7月13日 谷歌发布了iOS版的增强现实游戏“Ingress”

版权声明:原文作者未做权利声明,视为共享知识产权进入公共领域,自动获得授权;

翻译 :沈柏安

近期热文:
韩国人气网游《Soul Worker》VR版—《SoulVR》评测
“NicoNico超会议”创意VR游戏大起底
腾讯游戏开发者平台
长按,识别二维码,加关注
经验分享丨项目实践
项目孵化丨渠道发行
做有梦想的游戏人
-GAME AND DREAM-

根据苹果公司的专利申请情况看起来,该公司在虚拟现实以及增强现实领域已经探索了十多年,随着虚拟现实以及增强现实爆炸式流行,苹果公司可能将会更认真的看待这个领域并且十分有可能在不远的将来推出虚拟现实/增强现实相关的产品或者功能。

据谣言称,苹果已经有一个多达数百人的虚拟现实/增强现实团队,探索如何把这项新兴的技术用到苹果的产品中。在最近的几个月中,苹果在虚拟现实/增强现实领域招聘的人才越来越多,并且也收购了几家虚拟现实/增强现实领域的公司。这种种迹象表明了在苹果Cupertino的总部中一定正发生着什么事。

在苹果众多的产品中置入虚拟现实/增强现实的功能有很多种方案,从在苹果地图里面使用增强现实技术到在iPhone中实现虚拟的3D界面再到苹果推出自己的虚拟现实眼镜。正是由于Oculus Rift以及微软的HoloLens引起了大众极大的兴趣,苹果也受到了启发开始尝试自己的头戴式产品。

据称苹果正在开发数个虚拟现实头盔的产品原型,但是除此之外,也几乎没人知道关于苹果在这个领域上还有没有其他的东西了。目前还不知道现在苹果是在开发像Oculus Rift那样的虚拟现实产品还是想微软HoloLens那样的增强现实产品。但是我们完全有理由去假设苹果在两个领域都有涉足。

即使苹果最后没有发布头盔型的产品,他还可以选择把虚拟现实/增强现实技术整合到自家现有的产品中。举个例子就是,大家可能常常听到苹果可能会借助增强现实技术来提升苹果地图的易用性。用户可以举起他们的手机实时的看到周围商店以及餐馆的信息。

尽管苹果的高管只透露过一点点关于苹果涉足虚拟现实的信息。但是2016年第一季的财报会议上,苹果CEO蒂姆库克表达虚拟现实不是闹着玩的,他说:“他(虚拟现实)非常的酷,而且有许多有趣的应用场景”。

继续往下阅读,本文将会根据传言以及泄露出来的资料来分析追踪苹果公司在虚拟现实/增强现实领域的进展。

增强显示 vs 虚拟现实

虚拟现实以及增强现实是两个相似的技术,但是他们的主要应场景差得非常多。虚拟现实可以给我们带来全沉浸式的体验,而增强现实则给我们来带“修改”过后的现实世界。

或许罗列一下市面上有的虚拟现实/增强现实产品可以更好的帮助我们理解其中的区别。举个例子,被谷歌遗弃的智能眼镜–谷歌眼镜(Google Glass),是增强现实的代表。透过谷歌眼镜,用户可以看到真实世界,同时上面加载的头部显示器可以在真实世界上叠加一层由计算机计算提供的信息,象是当地天气、地图以及通知等。

相比之下,Facebook旗下的Oculus Rift则是一个虚拟现实头戴装置,能够给人们带来沉浸式的虚拟体验。不像是增强实现那样在现实世界上叠加信息而是直接替换掉真实世界。

增强现实提供了经由计算机计算并且分析后的我们周围世界的场景以及信息,并且让我们能够与之互动。而虚拟现实的目标则是将我们跟现实世界分离开来,跟虚拟的世界/场景互动。

两者的应用范围可谓是千差万别,虚拟现实只是单纯的关注于沉浸式内容的消耗,因为虚拟现实通过视觉、触觉还有声音反馈让使用者们感觉他们在体验一个模拟的世界。虚拟现实技术现在更多的是跟游戏联系起来,不过在将来很有可能在教育以及训练领域上被用来重现现实世界。


如果苹果会推出虚拟现实头盔的话,可能会作为一个游戏的附件或者探索虚拟世界的工具跟Apple TV或者Mac一起捆绑销售。


而增强现实则不依赖于沉浸式的体验能容,因为他被用于强化现实世界中的内容而不是替换,该技术在具有更多的应用场景。事实上,很多人可能已经在iPhone上体验过增强现实了。 Snapchat的变脸功能就是增强现实的一个例子。还有谷歌翻译能够通过iPhone摄像头来实时翻译替换现实世界文字的功能是另外一个例子。

在未来,一个内置有增强现实技术的iPhone可以被用户用于了解其自身周围并且获取相关信息。举个例子,拿手机的摄像头对着未知的植物照一下,就可以马上弹出该植物的维基百科页面。或者拿着手机摄像头扫描一家餐厅可以直接在屏幕上弹出该餐厅的菜单。在商店里,直接对准商品进行扫描可以直接弹出该商品的比价信息或者是用户的评价。还有在旅游景点,扫描一个地标,可以马上显示出相关的历史信息或者是显示出该地区的地图。

当然还有一种是介于虚拟现实还有增强现实之间的技术,那就是混合现实。谣言称苹果对于混合显示技术相当感兴趣,这种技术将全息影像跟现实世界结合起来。该技术的最佳例子就是微软的Hololens。该技术可以在现实世界中生成视觉上的全息影像。

苹果的虚拟现实/增强现实团队

苹果在虚拟现实还有增强现实技术上的探索可以追溯到数年前。但是谣言是起于2015年3月一则关于苹果公司有一个研究增强现实的小组。从2015年开始到2016年中,苹果通过对高级人才的招募以及数家公司的收购逐步的扩大这支队伍。

据称苹果现在有数百虚拟现实/增强现实方面的专家在秘密的研究。

人才聘用

苹果近期在虚拟现实领域最著名的一次聘用是电脑科学家Doug Bowman,他之前是弗吉尼亚科技(Virginia Tech)的人机交互中心(Center for Human-Computer Interaction)的领导人。他专精于三维的人机交互界面设计并且著有一本讲述3D界面以及沉浸式虚拟环境优点的书。他在虚拟现实以及增强现实上都是个专家。

Doug Dowman

苹果同时也聘用了来自微软还有Lytro公司里曾经开发虚拟现实以及增强现实产品的员工。最近的一些聘用是来自于微软HoloLens的团队的成员,也有一些是来自Lytro相机公司的人。这家的摄像机产品可以将电脑生成的图形跟现场表演结合起来一起创造虚拟现实的体验。来自微软HoloLens的员工则有助于创造更加先进的增强现实产品。

Lytro的360度沉浸式相机

苹果公司的这个多达数百人的团队有许多是秘密招募而来的虚拟现实专家。在领英(LinkedIn)上可以找到许多来自苹果的具有虚拟现实经验的软件工程师,但是他们是否都在苹果的秘密虚拟现实/增强现实技术团队就不得而知了。

公司收购

苹果的虚拟现实/增强现实团队的很多成员都是因为苹果的收购才加入的。 2015、2016年间苹果收购了数个生产虚拟现实/增强现实产品的公司,有些跟虚拟现实/增强现实相关的收购甚至可以追溯到数年前。

  • PrimeSense

苹果早在2013年就收购了这家叫PrimeSense的以色列体感公司,这不禁让人们怀疑苹果是不是会将该公司的运动检测技术内置到Apple TV中。 PreimeSense的立体深度技术以及人体动作感知技术最早应用于微软的Kinect平台。

PrimeSense

PrimeSense使用了近红外光(Near-IR Light)投射来感知一个房间或者场景,同时还具有一个CMOS的图像传感器来捕捉空间里面的色彩从而创造出一个物体或者人的虚拟图像。这不但使得基于动作的交互在软件界面中的应用成了现实,同时这项技术也能够用来度量虚拟物体,提供相对的距离以及大小,这对于在增强现实中的应用非常有用。例如游戏,室内导航等等。 PrimeSense的技术还可以用来创建高度精准的人物/物体的3D模型,这个有可能运用在虚拟现实中。

  • Metaio

苹果在2015年的5月收购了这家名叫Metaio的增强现实创业公司。 Metaio那是的产品是Metaio创造者(Metaio Creator),该产品可以用来快速创建增强现实场景。在被苹果收购之前,该公司的软件被法拉利等公司用来创造增强现实的展示间。

Metaio

Metaio的技术也曾经在运用在德国城市柏林中。当柏林的游客访问柏林墙的遗址的时候可以举起他们的智能手机或者平板来查看在柏林墙被拆除前的周围景色。 Metaio的技术是公认的最有可能被运用在苹果地图等应用中的增强现实技术。

  • Faceshift

苹果在2015年8月收购的第二家增强现实公司叫Faceshift。在被苹果收购之前,Faceshift跟游戏以及动画工作室合作,利用3D传感器使得快速准确的捕捉演员脸部表情并且映射到虚拟的脸部模型上自动生成动画成为了现实。除此之外,Faceshift也推出了一个可以用在Skype(一个聊天软件)上的消费型产品。该产品可以让用户在使用Skype聊天时把自己的脸实时替换成卡通/怪兽的脸。

Faceshift

Faceshift的技术有着许多的应用场景。可以被用来创造FaceTime中实时的虚拟角色或者是内置到广大的增强/虚拟现实产品中。

  • Emotient

Emotient是一家给脸部表情分析提供工具的公司,于2016年1月被苹果公司收购够。 Emotient的技术使用了人工智能以及机器学习来读取人们的面部表情。这项科技的可以用来检测人们看到广告时的表情从而来判断广告效果。

Emotient

苹果有许多的产品都能用得上Emotient的技术,从照片应用中的人脸检测到苹果零售店中检测用户喜好再到使用脸部来解锁iOS设备。除此之外,该技术可以用在虚拟现实/增强现实的领域中。就像Faceshift一样,Emotient的技术可以用来分析并且将人类表情转换到虚拟人物的脸上,这在社交类型产品以及游戏中非常有用。

  • Flyby Media

苹果2016年年初收购的这家公司Flyby Media是另一家着墨在增强现实的公司。 Flyby的产品是用于谷歌的Project Tango的3D场景感知手机。装在谷歌设备上的这个产品可以更好的让虚拟的消息贴合于现实世界的影像。

Flyby Messenger在应用商店下架之前的样子

例如,用户可以扫描一个像是旧金山的金门大桥那样的地标,并且在上面附加一条信息。另一个来参观金门大桥的用户就可以通过Flyby的app来扫描金门大桥以获取那条附加的信息。苹果收购Flyby的原因很有可能是因为Flyby的技术可以区分并且理解扫描到的不同物体。这样的技术可以运用于苹果的许多应用中,像是相片应用还有地图应用。

竞争对手

正因为苹果的数个竞争对手都在研发虚拟现实/增强现实的项目,这很可能成为了苹果进入这两个领域的另一个因素。许多的竞争公司都发布了或者即将发布虚拟现实/增强现实相关的产品,这让苹果不得不加紧他们计划实施的步伐。

Facebook – Oculus Rift

Oculus Rift是消费者最早能够接触的到的虚拟现实头盔之一。该产品发布于2016年3月底,599美元的价格相当有竞争力。从2013年发起了Kickstarter上的众筹项目后该产品就进入了开发阶段,从而把虚拟现实技术放到了聚光灯下。

Oculus Rift是一款头戴式的产品,并且具有两个解析度高达1080×1020的OLED现实屏。这两个显示屏用于左右眼各一个,并且具有高达90赫兹的刷新频率。这使得用户能够在上面获得不卡顿不模糊的沉浸式的视觉体验。该产品同时包含了一个游戏控制器,一个用于定位玩家头部的红外追踪感应器,还有一个选配的配件是用于定位玩家手部的Oculus Touch控制器。

Oculus Rift

Oculus Rift将会是第一个可以大规模供货的虚拟现实头盔,但是他还是有一定的限制性。这不是一个独立运作的设备,他的运行有赖于一台装有高级显卡的Windows PC,而且该产品目前仅仅是针对于游戏市场。所有运行在Oculus Rift上的软件必须继承Oculus提供的集成软件包(SDK)。 Oculus曾经表达过目前Oculus Rift不会提供Mac的支持,因为苹果的产品并没有使用高级的显卡。

Oculus Rift的用户不仅可以体验到传统的电影也可以用它来体验3D的立体视频。同时由于被Facebook收购来,Oculus上还有一个社交型的应用正在被开发。虚拟世界中的社交场景是Oculus Rift这样的产品能够切入大众消费者的重要功能之一。

苹果如果要采取Oculus这样的路线,创造一个游戏用的虚拟现实头盔产品,可能要考虑到Oculus Rift并且遇到同样的在Mac机器显卡上面的限制。苹果需要在他的设备中置入更加强大的显卡。

微软 – Hololens

微软的HoloLens类似于谷歌眼镜,都是具有类似护目镜的头戴式的装置。 HoloLens具有3D立体显示的显示器,空间立体声效,麦克风阵列,摄像头以及加速度计、惯性感应器以及地磁感应器。它使用了Windows Holographic操作系统,让人们可以通过手势,眼睛运动以及声音来与HoloLens交互。

HoloLens是虚拟现实以及增强现实的结合体,可以创建全息投影的虚拟物体,用户可以通过HoloLens查看并且操作他们。微软展示了HoloLens的数个使用场景,包括一个交互型的Skype应用,一个增强现实版的第一人称射击游戏,一个增强现实版的我的世界,一个用来创建3D打印物体的3D建模软件,最后是一个人体解刨课程。

Hololens

由于HoloLens以其独特的方式融合了虚拟现实以及增强现实,吸引到了很多的注意力。超越了一般的增强现实应用,但又不失增强现实能够跟真实世界交互的优点。这项技术有可以将虚拟现实以及增强现实最好结合起来的潜力,而且如果苹果选择了制造穿戴型的产品那么它很有可能跟随着微软的脚步来创造出一个类似的混合现实产品。

微软从2016年3月30日就开始发出HoloLens的开发者套件。有兴趣的开发者必须支付3000美金来获得一个HoloLens,该设备可以用来开发软件。微软还没公布消费者版的上市日期。

谷歌 – Cardboard

谷歌Cardboard是一种借助智能手机还有纸板来实现极度简单的虚拟现实设备。由于这个产品实在是太简单了,以至于苹果不太可能会采取这样的方式,不过他也很有可能会作为iPhonde一个附件来让人们体验虚拟现实。

谷歌Cardboard是由便宜的组件构成的,并且需要一个兼容的应用来让iPhone的显示器分成来个部分以现实一个3D立体的图像。谷歌Cardboard作为一个开放性的平台,许多公司都可以使用它来创建3D的体验以及游戏。 Cardboard其他的应用包括使用照相的应用来拍摄360度的照片以及在教育场景中可以让学生体验到虚拟的课外教学。

谷歌据说正在研究第二代的Cardboard设备,该设备可能是一个独立的虚拟现实头盔,并且在设计上会跟Oculus Rift很相似,但是无需连接到PC上。

其他

  • PlayStation VR

PlayStation VR是一款类似于Oculus Rift的头戴型显示设备,只是他运行在PS4主机上。 PlayStation VR的原型包含了一个分辨率为1920×1080刷新频率为120赫兹的OLED显示器,并且还具备广视角,3D显示以及头部追踪的功能。

  • 三星Gear VR

三星Gear VR是三星跟Oculus合作开发的产品,Gear VR跟谷歌Cardboard很像,需要一个三星Galaxy Note 5,Galaxy S6或者Galaxy S6 Edge来作为这款头显的显示以及运算设备。他具有专用的传感器以及高广角的镜片组,使得这款产品比谷歌Cardboard要来的更加精准。

  • hTC Vive

hTC Vive是一款hTC跟Valve一起合作研发的头戴显示器,就像Oculus Rift还有PlayStation VR一样,这款产品主要是面向游戏并且跟Steam平台一起。该产品包括了两块分辨率为1080×1200刷新频率为90赫兹的显示器。而且这款产品还是用了多达70个的传感器。 Vive中还带有用于检测用户位置信息的基站。

专利

苹果早几年前就申请了至少3个跟虚拟现实/增强现实头显有直接关系的产品。这些专利申请的比较早,而且科技在进步,这些专利仅仅能让我们看到苹果数年前的成果。

2008年的一个专利包括有“个人显示系统”,用于模拟在电影院看电影的体验。

第二个专利描述了一个带有“激光引擎”的“头部显示系统”,该系统可以将图像投射到用户戴在眼前的透明玻璃,就像眼镜一样。在这样的配置下,这个头显装置需要连接到一个像iPod那样的外部的手持视频播放器上才能进行相应的计算。

第三个专利申请的时候跟2008年的那个在设计上非常相像,这个护目镜式呃视频播放头显被设计用来让用户看电影一类的内容。他描述了两套跟用户双眼对齐的可调整的光学模块,这样的系统可以纠正视觉上的偏差,并且可以让用户体验到3D立体的内容。根据苹果的描述,这个系统给用户提供了一个个人化的媒体观赏体验。

第四个2008年的专利包括了一个跟谷歌眼镜很像的视频头戴装置框架。用户可以将他们的iPhone或者iPod安装进去来看视频。这款产品被称为增强现实类的产品并且能够让用户在看视频或者查email的同时还能看到周遭的环境。

除了头显一类的专利外,苹果还申请了其他能被放到现有产品中的虚拟现实/增强现实设备的专利。例如,一个2009年的专利申请包含了一个装有摄像头的3D显示设备,该设备能够根据用户的视角来调整显示内容。

这样的显示设备可以检测头部运动,让用户可以活动他们的头来从另一个角度看立体的图片还有真实环境.

2010年以及2012年的专利描述了使用动作传感器在iOS设备上创建一个立体的增强现实交互界面。根据苹果的描述,用户可以通过使用内置的传感器,手势或者改变装置的方向等方式在“虚拟房间”中移动。

2011年苹果申请了一个将增强现实技术应用到地图等相关产品的专利。这个专利可以量出用户距离著名地标的距离。借助摄像头,用户可以随意的观看四周,并且能够实时的看到他们距离图像上的物体有多远的信息。

发布日期

苹果的虚拟现实头盔研究目前还在原型阶段。很有可能数年后才会发布这类型的产品,或者根本不发布。苹果常常去尝试那些可能根本不会被制造出来的原型。所以如果苹果觉得虚拟现实市场不值得进入的话可能根本不会有类似的产品产生。

至于增强现实技术,很有可能在不远的将来被运用到苹果的应用中。苹果已经收购了不少跟增强现实相关的公司,而且该技术不需要全新的硬件设备,通过软件来实现就够了。

苹果虚拟现实项目大事记

  • 2016年3月3日 在苹果推出“好电脑”之前Oculus Rift不会支持苹果设备

  • 2016年2月29日 开发者版的微软HoloLens以3000美元的价格开放给感兴趣的开发者

  • 2016年2月11日 谷歌正在开发独立的虚拟显示头显,Cardboard的升级版

  • 2016年2月9日 Gene Munster说,虚拟现实两年内就会到iOS设备上

  • 2016年1月29日 苹果有个开发虚拟现实头显的秘密团队

  • 2016年1月26日 苹果CEO Tim Cook说虚拟现实非常酷并且有很有意思的应用

  • 2016年1月21日 苹果招聘了顶尖的虚拟现实研究人员

  • 2016年1月7日 苹果收购了脸部表情分析创业公司Emotient

  • 2015年11月24日 苹果收购了实时动作捕捉公司Faceshift

  • 2015年9月14日 苹果的招聘信息揭露了可能要收购Faceshift

  • 2015年9月4日 实时动作捕捉公司Faceshift可能会被苹果收购

  • 2015年5月28日 苹果购买了增强现实创业公司Metaio

  • 2015年5月28日 谷歌给Cardboard带来了新的iPhone开发者套件以及新的应用

  • 2015年5月27日 iOS 9的地图应用内置了基于增强现实技术的生活管理功能

  • 2015年3月18日 谣言称苹果有一个小的增强现实团队

  • 2015年1月21日 微软发布了增强现实头像-HoloLens

  • 2014年11月24日 招聘信息表示苹果持续对虚拟现实感兴趣

  • 2014年11月5日 谣言称下一代iPhone带有没有玻璃的3D显示器

  • 2014年9月3日 三星带来了Galaxy Note 4,Note Edge,Gear S手表以及Gear VR头显

  • 2014年7月13日 谷歌发布了iOS版的增强现实游戏“Ingress”

版权声明:原文作者未做权利声明,视为共享知识产权进入公共领域,自动获得授权;

翻译 :沈柏安

近期热文:
韩国人气网游《Soul Worker》VR版—《SoulVR》评测
“NicoNico超会议”创意VR游戏大起底
腾讯游戏开发者平台
长按,识别二维码,加关注
经验分享丨项目实践
项目孵化丨渠道发行
做有梦想的游戏人
-GAME AND DREAM-

Leave a Comment

Your email address will not be published.