You are reading OFFLINE Issue 13 “How Virtual Reality Tells a Story”, Accessthe-offline.com Website, become an offline member, you will receive weekly e-mail Magazine, enjoy the exclusive rights of members.
◆
How does virtual reality tell stories?
Oculus Story Studio
They are like explorers in the primitive jungle, leaving breadcrumbs of thoughts along the way.
In this age, the ultimate dream of mankind seems to be very close: virtual reality is likely to come this time. We have the corresponding technology and hardware, and virtual reality also needs corresponding content: how do we live and entertain in virtual reality, and experience exciting stories and great adventures as we imagined? Oculus is developing VR headsets, and Oculus Story Studio is a group of veterans from famous animation studios such as Pixar. What they are studying is how to tell stories in virtual reality.
Oculus Story Studio has been established for more than a year and has released two VR short films Lost and Henry (the third short film Dear Angelica Coming soon). In order to encourage and cultivate people who use VR to tell stories, and also hope to help filmmakers who have taken the first step towards virtual reality, the team members assembled their thoughts into a series of blog posts. How to grasp the density and rhythm of the plot? How to guide the audience’s sight? How to balance the sense of presence and narrative? Is a “fourth wall” really needed in VR? As one of the founders, Max Planck, said at the beginning, they are like explorers in the jungle, leaving breadcrumbs of thoughts along the way. For those of us who want to follow this era and enter virtual reality, these are very precious. experience of.
◆
bread crumbs
Author: Max Planck
A year ago, the employees of Oculus Story Studio were still engaged in the production of computer animation films or drama games. Like most creators and artists who have seen modern virtual reality technology, we realize that this emerging platform is by no means limited to a brand new gaming device. So we made a decision one after another, quit our job, and resolutely embarked on the current path-using virtual reality technology to allow the audience to personally integrate into a variety of wonderful worlds, and using real-time rendering technology to create a profound meaning The plot story. After working at the Pixar studio for 10 years, I finally chose to leave and began to explore how storytelling would develop and evolve next. And when I saw the internal prototype of Oculus, I finally knew what I had been searching for. At that moment, I was completely conquered and became a faithful believer in virtual reality technology. I believe everyone has had similar experiences.
People like us who take the plunge and try to use VR technology to tell stories sometimes feel like an explorer in the primitive jungle of Mimizaza. The deeper we go into this jungle, the better we can provide viewers with a better experience.
Working at Oculus makes our position very special: sharing the development process and the final product is extremely beneficial for us. Therefore, when we are advancing in the jungle, it is necessary to leave some crumbs behind us to mark out where there are dead ends and where there are traps, so that other explorers who follow can save time and help us develop Out of a new path.
We are now in the first year of the modern VR industry. At the 2015 Sundance Film Festival, we released the first real-time interactive VR short film “Lost”, trying to play in a new medium Storytelling. Although we are proud of this first step, I also know that this is just the beginning, and there is a long way to go.
Like the theater directors and actors who made a movie for the first time, we will inevitably follow a lot of the techniques and language we used before. We find that we always make the same mistakes over and over again, because we think that our knowledge of movies and games can be naturally transferred to VR. Through unexpected discoveries and original insights, Oculus Story Studio and many other VR film work The audience will truly begin to discover and share the unique narrative methods and techniques of VR movies.
These blog posts are written by members of Oculus Story Studio. Through these posts, we discuss our failures and successes, discuss our technology and vision, as well as personal opinions and exciting topics .
These blog posts are just the breadcrumbs we left along the way.
◆
Why use virtual reality to tell stories?
Author: Jeff Brown
Throughout our career, our job is to use visual narrative Take it to the story. This is a kind of language and a kind of vocabulary that we have developed and are familiar with. To some extent, we have been creating virtual reality. But if this is the case, what exactly is Oculus Story Studio doing? Why are we so immersed in such a new medium?
Every time I enter the virtual world, I am amazed by the infinite possibilities it presents. The kind of far-reaching creative meaning that makes you really feel the possibility of being in it is completely feasible and obvious in virtual reality. However, this is only the easiest part, and then we have to learn how to do it properly.
People use a variety of media to tell stories, and storytelling skills are constantly evolving. Rock paintings, bonfire stories, stage plays, operas, books, movies and games are countless. In fact, many of the above media cannot replace each other. This is why the movies adapted from good books are so bad-just imagine, if so many wonderful chapters in the book are forced into a 90-minute movie, the detailed description will naturally be lost. Therefore, it is best to use the medium that the creator of the story originally hopes to use when telling a story-the same is true for VR.
What makes VR so special is its “presence.” Presence brings new opportunities, but also creates some constraints on creation. The environment, characters and situations we create should be most suitable for virtual reality rather than other carriers. Of course, this is easy to say, but difficult to do.
Our first short film “Lost” gives us the opportunity to truly sink our hearts to delve into and solve the various challenges faced by using VR to tell stories, from the use of traditional film techniques to scenes Construction and various methods used to capture the audience’s attention. We will talk about these topics in future articles.
At the same time, we are full of expectations for the possibilities brought by the new narrative carrier, and we are fully aware that the story we tell must be able to support the medium. Therefore, during the development process, we began to ask ourselves the question: “Why choose VR?” Why is it better to use virtual reality to tell stories? How can we make good use of the power of VR? These issues allow us to stick to our goal consistently-to create an unprecedented, truly immersive movie experience.
◆
5 lessons learned during the production of “Lost”
Author: Saska· Saschka Unseld
The purpose of Oculus Story Studio is to encourage and cultivate people who use VR to tell stories. In view of this, we would like to share the mistakes we made when making the first VR movie “Lost” and the five lessons summarized in it.
Of course, these lessons are not set in stone, they are just some suggestions for those who are just beginning to learn about VR film narrative techniques.
Saska Unseld shared the lessons learned during the production of “Lost” at the 2015 Tribeca Film Festival in New York.
1. Don’t be too rushed
When we need to discuss a story repeatedly, we usually use the storyboard to formulate various Action and rhythm. However, when we used the same method to determine the rhythm of the film for virtual reality, it seemed a bit too hasty. Everything happens too fast, and the audience can’t keep up.
Looking back now, this lesson really makes sense. The information density in traditional movies and VR is obviously very different.
Therefore, we finally imagine the storytelling process as a series of “moments”, rather than a series of “actions” performed by the characters. For example, these four moments:
1. We are in an invisible forest;
2 . A huge manipulator is groping in this forest;
3. This hand got nothing, so I returned in disappointment;
4. This hand starts to wait for the rabbit……
Next, we began to determine the duration of each of these moments to ensure that enough time was left for the audience to fully understand each of the stories. A fragment. By decomposing “Lost” into individual “moments” instead of “actions”, we were able to set a proper rhythm for the entire movie without causing any loss to the story structure.
2. Respect the ceremony of “seating and waiting”
In the early version of “Lost”, the audience often After witnessing the forest in the film, I felt very confused and at a loss. After all, when you are completely placed in a brand-new environment, you will inevitably be surprised, especially the complicated and beautiful scenes like the one in the film.
In the cinema, before watching a movie, we need to perform the following rituals: first find our place, and as the lights dim, the curtain opens, waiting for the good show to come on stage.
But in VR, such an Italian style no longer exists. Therefore, we must find a ritual similar to “seating and waiting.”
The first thing to do is to clarify what the audience sees at first glance. The so-called “first glance” is what we now call “the In”. We want to lead the audience step by step into the world of “Lost” instead of simply throwing them into the scene and being overwhelmed by massive amounts of information.
In “Lost”, our introduction is a firefly named Fi. She is the first character the audience sees before entering the forest. In this way, with the help of this small, simple and easy-to-understand character, we can quickly grab the audience’s attention. Fi flies to the left for a while, then flies to the right again, guiding the audience to gradually adapt to the concept of looking at the surrounding environment. After Fi introduced the audience into the world of movies, our story officially kicked off and we began our adventure in the mysterious forest under this dark night.
3. Do not force the viewer to look in a specific direction
One of the most powerful aspects of traditional movies is the absolute control of the lens. We have been discussing how to regain control of the camera and how to make the audience look in the right direction.
We have tried to use voice prompts to guide the audience’s sight, tried to let the bird fly past the audience to attract their attention, direct their sight to a certain point in the picture, and Try to design the scene specifically so that the audience can look to the right place.
However, these tools seem to be too bossy and far-fetched, making the whole storytelling process seem a bit forced, too deliberate and false.
Over time, we gradually abandoned this kind of thinking. VR itself is a unique medium. As creators, we should untie all kinds of constraints and let the audience choose where they want to see. Therefore, we no longer seek to bring the audience into the storyline quickly, but choose to make concessions and let the audience slowly enter the story themselves. We call this process “The Letting-Go” (The Letting-Go).
Let the audience freely choose the viewing angle, and make the scene in each direction interesting, we can successfully arouse the audience’s curiosity about the environment in the film. Under the guidance of curiosity, the audience can experience the plot of the movie more actively. We first give the audience enough time for them to observe around and get familiar with the environment. After about forty seconds, most people should already be familiar with their environment and in a relaxed state. At this time, we will use the flying birds and other methods to grab the audience’s attention, because they have already With enough time to become familiar with the environment, it will be easier to follow our guidance at this time.
4. Pay attention to the spatial density of the plot
Like a movie, if only one thing happens at any time in a VR movie, then the whole world view The setting of will instantly become very empty and fake. In real life, there are almost always multiple things happening around us. If you want to truly realize VR that brings a sense of reality and a sense of presence, you must break away from the single-line narrative model.
In the end, we redefine the relationship between the narrator, the audience and the story itself. Although the plot that the audience sees is still linearly expanded in chronological order, the exploration of the plot itself is not necessarily linear. Of course, the realization of this mode has a huge impact on the presentation and time control of the plot, and it has also triggered people’s discussion on the so-called “spatial story density” (Spatial Story Density) topic.
In VR, interesting things shouldn’t just be related to the plot of the movie. Just like the space we live in, stories and narratives should have a three-dimensional structure. We should ensure that there are enough plot elements to fill the space at any moment in the film.
In “Lost”, we tried a little bit, adding more details to the forest and the moon in the sky. But in future projects, I hope we can make better use of three-dimensional space.
5. Simplify the field of view
Using real-time CG to tell a story has always been a difficult task. Not only is there a creative challenge, but also There are technical challenges. We need to render about 90 frames per second with a resolution of 1000×1000, one for each eye. The production of a frame of a traditional animated film may require a computer to calculate several days, and we need to complete it in 1/90 second. Even today’s most advanced computers can hardly do this.
Pixar wisely chose toys as the protagonist of the first computer-animated movie. Without human beings, there would be no hair, water, and clothes, because they knew that the texture of these objects could not be simulated at a high level in the fashion, so they set an achievable goal in the first movie.
And we did not do this. A complex environment like a forest is not difficult in an animated movie, but it is a huge challenge in VR. The time spent far exceeds our estimates, and finally it has to be added for the sake of a smooth experience. There are a lot of restrictions, but the whole forest still looks pretty good. In retrospect, if I had chosen a simpler environment, I wouldn’t be as anxious as it is now.
Of course, we know very well that we can’t apply all the lessons learned in the process of making “Lost”, but to some extent this is not important, what is important is that we need To take the first step, the important thing is to learn, discover and have the beginning and the end, and then take what you have learned into the next project. And “Lost” is the first step taken by Oculus Story Studio.
We sincerely hope that these lessons will help those filmmakers who are also taking the first step towards virtual reality.
◆
Switz effect
Author: Matt Burdette )
The purpose of Oculus Story Studio is to bring a lively, interesting and immersive VR experience to the audience by telling good stories. As a studio founded by former Pixar team members, our motto is very simple: “The plot is king!” This sentence even hung on the wall and put it in the name of our studio!
However, we also have another motto: “The magic of VR is presence.” We know very well that telling a story in which the audience can participate is a very challenging technical activity. However, to achieve this, the creative challenges are equally surprising.
In the process of creating the studio’s first work “Lost”, whenever we add new elements to enhance the sense of presence, the film’s narrative ) Will weaken accordingly, and the progress of the plot will become vague. Perhaps the most accurate description should be, “We don’t care how the plot will develop next.”
At one time In the review meeting, we got together to discuss what went wrong. Maybe something went wrong with the animation? Maybe the melancholy and lonely appearance of that big hand is a bit too long, can you make this period faster? The scene is a bit too dark, do you have to make the audience a little brighter? Does the sound effect of the film create the effect of a real physical sound source? In this way, our discussion has become deeper and deeper, even extending to the realm of existentialism. Is it the story itself? Is it feasible to tell stories in VR? Could this matter be unreliable at all? What are we doing?
We thought at the time that “maybe the sense of presence and the sense of narrative cancel each other out.” To a certain extent, this is actually not unreasonable: if your attention is叙事上，自然就会不太关注身边的环境，也就达不到身临其境的感觉。相反，如果你过于沉浸在环境和虚拟现实的视野中，也就不太会更好地关注叙事。那么，鱼与熊掌到底能否兼得呢？如何才能让观众既进入环境中，又能对影片角色和情节投以适当的关注呢？为此，我们特别观察了现场戏剧表演形式对于这类问题的解决办法。看戏剧的时候，你作为观众坐在自己的座位上，在你前方的舞台上，真实的演员扮演着剧中的角色。两者有什么不同吗？戏剧的规则能否应用于 VR 呢？在讲故事的范畴内，所谓的「第四面墙」真的不可或缺吗？如果答案是肯定的，那我们还费什么劲制作 VR 电影呢？在 VR 中没有第四面墙。
于是，我们开始了一系列小型实验，试图调整叙事感与临在感之间的平衡，看能否将两者间的脱节重新连接起来。我们将环境中的树叶做得更加紧密，以加强对环境的展现，这样当你四处看的时候，临在感会更加强烈。但实际效果却相当令人恼火，因为当视线被遮挡住后，继续保持对剧情的关注显得更像是在劳动。另外，在 VR 中，离你最近的物体看上去都十分有趣。如果我们之前就没对剧情上心的话，只怕现在也不会好到哪里去。
我们注意到很多观众在进入体验后会错过开头几分钟的剧情，因为他们在看月亮，或者仔细观察树叶。我们想到的办法是把开场阶段多延长一分钟，让观众有时间去观察周围环境，并且适应 VR。有效果，但是还是有些地方出了问题。
最后，我们让这只巨手直接凑上前来「嗅了嗅」观众，表示认可观众的存在。于是突然之间，我们发现观众此时与角色的联系以及对于巨手凑上前来的反应变得更加紧密与活跃了。观众的反应不再是一种摇摆不定的矛盾情绪，而是演变成了一种好奇之心。不少人甚至主动朝巨手凑过去，好像对方是另外一个人似的。从这时开始，我们总算走上正轨了！
经讨论，团队发展出了两派不同的思路：
A． 大脑对于刺激源的解读与处理能力是有限的，因此电影情节的叙事与来自周围沉浸式环境的刺激会相互争夺大脑的关注度。或许对于注意力一般的人来说，VR 的叙事是不是有些过于具有挑战性了？如果你面前的这个咖啡杯就吸引了你全部的注意力，那么主角对于他宠物狗的情感又有什么可重要的呢……看哪，这儿有个杯子。这杯子就在那儿，感觉我伸出手就能把杯子给拿起来——哎哟，我又没跟上剧情。
B． 由于缺少观众媒介，因此在你和虚拟环境之间出现了一堵看不见的墙。演员们会忽视你，环境对于你的存在毫不在意，可毋庸置疑的是，你确实在这个世界中。到头来，VR 中仍然存在着第四面墙，这种感觉不太对劲。
我们认为 A 流派的思想有其值得肯定之处：当新观众开始沉醉于 VR 时，必然会有一段蜜月期，在此期间他们的大脑会被各种 VR 信息所充斥。然而我个人更倾向于B流派的思想。剧情的发展肯定比纯粹感官上的感受要具体得多。此时，我们所有人都开始觉得看够了 VR（也开始厌烦《迷失》这部影片了），每次戴上耳机之后也不再会兴奋得失去理智。我们开始逐渐与角色、环境疏远，最终，连对故事本身都觉得有些疏离了。我将这种现象称为「斯维兹效应」（Swayze Effect）。
所谓斯维兹效应（或者简称为斯维兹，做形容词解）指的是，尽管感觉到自己在世界上的存在，但却对身边的一切缺乏实实在在的影响。正如 1990 年热映的犯罪爱情电影《人鬼情未了》中由山姆·维特扮演的主角帕特里克·斯维兹的体验那样。基本上可以这样形容：你放声大喊，「嘿，我在这儿呢！我在这儿呢！」然而周围却没有任何人或任何物体会对你的呼喊做出回应。
在《迷失》中，有一台巨大的机器人走进了画面里，然而它对于我们的存在却几乎没有任何反应，也没有任何暗示表明它会如何对我们的存在做出反应。直到它低下头跟我们打招呼之前，我们看到的只是一台不知道想要做什么的巨大机器人，出现在一个离我们非常不安全的距离里。于是我们不禁思考，也许导致局面失控的原因并非我们将注意力过多地集中在了月亮或是叶子上面，而是由于我们满脑子想的都是「大机器人，大机器人要过来杀我了，我要死了」。也许并非所有人都体会到了这个因素，但这确实凸显了十分关键的一点：观众也是场景中的一员。
而在《亨利》这部 VR 电影中，相同的问题以另一种完全不同的方式展现出来。刺猬亨利的「盯」的动作（在抒发情感的时候，亨利会四处扫视，然后将眼神锁定在观众身上），成了这部电影观影体验中最受欢迎的部分之一。这告诉我们，尽管我们做了这样那样的假设，但许多人其实根本不需要在影片的世界中解释自己的身份。大部分观众对于自己能够进入这个虚拟的世界并参与其中就已经很心满意足了。话虽如此，但团队成员仍然在争论这个「盯」的动作是否有必要。在临在感和故事之间，依然有许多不协调的成分：我明明就待在刺猬亨利的身边，可为什么他看上去还是那么寂寞？所以，许多团队成员仍然认为《亨利》的叙事存在缺陷。
我们还讨论了是否需要在影片中添加更多的互动性。如果观众影响虚拟世界的能力进一步增强的话，或许就能更好地稳固住观影过程中的临在感？然而这又带来了一系列新的问题。如果要添加互动元素的话，应该以怎样的方式传达给观众呢？如何向观众传达视觉信息而又不会显得过于造作或明显呢？或者进一步说，如何才能展示出互动性的极限呢？如何才能防止观众不断地在灌木丛里走来走去，或是抚摸宠物狗，而能认真地跟着剧情走呢？
允许观众能够将影片里架子上的东西敲下来，或是改变身边的环境，这件事尽管很酷，但却对亟待解决的问题毫无帮助。我们需要解决的问题是，在情节叙事与影片环境之间搭建起关系，并让观众有身临其境的感觉。这就是为什么在《迷失》一片中，我们让机械手凑上前来「嗅」观众。让影片角色认可观众的存在，尽管只是一瞬间，但却能将临在感与叙事感结合起来。
虽然我们遭遇了不少意料之外的技术性障碍，但对于斯维兹效应的出现仍然始料未及，被难住了。我们尝试在讲述故事的过程中将故事与自我认知相关联，并用微妙的方式来测试虚拟现实的恰当性，而斯维兹效应就是在这些尝试中首先遇到的问题之一。
老实说，我们还在尝试总结目前的经验教训。 《迷失》已经让我们知道，否认观众的存在会导致情节和观众行为之间产生一道鸿沟。而《亨利》则告诉我们，承认观众的存在虽然是一项很强大的功能，却会与故事叙述的意图背道而驰。
我们唯一确定的是，斯维兹效应很重要，而且我们务必要继续调查研究，并在项目开发的早期便将其纳入考虑范围。收获了这一认知后，我们希望继续推动 VR 电影，令观众真正成为虚拟现实中的一部分，让 VR 为人们带来更多好听有趣的故事。
译者：萧傲然
本文选编自 Oculus Story Studio 的官方博客。针对技术工作者，Oculus Story Studio 专门提供了关于工具、软件、上色、音效等的技术细节，感兴趣的读者可继续阅读：
虚拟现实电影工作者在用什么工具（截至 2015 年 8 月） https://storystudio.oculus.com/en-us/blog/the-tools-we-use-as-of-august–2015/
我们怎样确定《亨利》中的色彩 https://storystudio.oculus.com/en-us/blog/colorizing-spaces-working-with-color-in-story-studios-henry/
制作 VR 电影和游戏的微妙差别 https://storystudio.oculus.com/en-us/blog/protovis/
VR 环境音效 https://storystudio.oculus.com/en-us/blog/binaural-audio-for-narrative-vr/
题图：Henry 来自 Oculus Story Studio 官方博客
◆
# 离线 OFFLINE 是什么？
离线 OFFLINE 是一本科技文化周刊。每周一个深度话题，关注科技如何影响文化、商业和社会生活，发掘技术背后更人性的一面。
# 成为「离线会员」可以获得怎样的体验 ？
（点击图片了解会员计划详情）
点击「阅读原文」开始订阅，优先享受离线会员权益。
您正在阅读 OFFLINE Issue 13 《虚拟现实如何讲故事》，访问 the-offline.com 网站，成为离线会员，您将收到每周一期电子杂志，享受会员专属权益。
◆
虚拟现实如何讲故事？
Oculus Story Studio
他们就像在原始丛林里披荆斩棘的探险家，沿路留下思想的面包屑。
在如今这个年代，人类的终极之梦看上去已经很近了：虚拟现实这次很可能真的要到来。我们有了相应的技术和硬件，虚拟现实也需要有相应的内容：我们如何在虚拟现实中生活、娱乐，像我们想象的那样去体验激动人心的故事和伟大的冒险？ Oculus 在开发 VR 头显，而 Oculus Story Studio 则是一群来自于皮克斯等著名动画工作室的老兵。他们正在研究的，就是如何在虚拟现实中讲故事。
Oculus Story Studio 成立一年多，共推出了两部 VR 短片 Lost 和 Henry（第三部短片Dear Angelica 即将推出）。为了鼓励和培养用 VR 讲故事的人，也希望帮助朝着虚拟现实迈出第一步的电影人，团队成员将他们的思考集结成了一系列博客文章。如何把握情节的密度和节奏？如何引导观众的视线？临场感和叙事感怎样平衡？ VR 中真的需要「第四面墙」吗？正如创始人之一 Max Planck 在开篇所说，他们就像在原始丛林里披荆斩棘的探险家，沿路留下思想的面包屑，对于想要跟随这个时代进入虚拟现实的我们来说，这些是十分宝贵的经验。
◆
面包屑
作者：马克斯 · 普朗克（Max Planck）
一年以前，Oculus Story Studio 的员工还在从事电脑动画电影或剧情类游戏制作等工作。与大多数已经见识过现代虚拟现实技术的创作人员和艺术家一样，我们意识到这个新兴的平台绝不仅仅局限于一个全新的游戏设备那么简单。于是我们纷纷做出决定，辞去了工作，毅然决然地走上了现在的这条道路——利用虚拟现实技术让观众能亲身融入各种奇妙世界之中，并使用实时渲染技术来打造有着深刻意义的剧情故事。在皮克斯工作室工作了 10 年之后，我最终选择了离开，开始探索讲故事下一步会如何发展，如何演变。而当我见到 Oculus 的内部原型机后，我总算明确了自己一直在苦苦寻觅的东西。就在那一刻，我被彻底征服，成了虚拟现实技术的忠实信徒，相信所有人都有过类似的经历吧。
像我们这样冒险尝试用 VR 技术来讲故事的人，有时候会觉得自己就像是在密密匝匝的原始丛林里披荆斩棘的探险家。我们越发深入这片丛林，便越能为观众提供更加出色的体验。
在 Oculus 工作让我们的位置十分特殊：将开发进程和最终成品分享出来，对我们而言是极有好处的。因此，当我们在丛林里前进时，有必要在身后留下一些面包屑，标记出哪些地方是死路，哪些地方有陷阱，这样就能让跟随在后的其他探险者节省时间，并帮助我们开发出新的道路。
我们现在处在现代 VR 产业的元年，2015 年圣丹斯电影节上我们发布了第一个实时带交互的 VR 短片《迷失》，尝试着在一个全新的媒介中讲故事。我们虽然对这第一步感到自豪，但我也知道这只是一个开始，前路迢迢。
与第一次拍摄电影的戏剧导演和演员一样，我们不可避免地会大量沿用之前所使用的技巧与语言。我们发现我们总是反复犯着同样的错误，因为我们自认为对于电影和游戏的了解能自然而然地转用到 VR 中来，通过意外的发现和独出心裁的顿悟，Oculus Story Studio 以及其他许多 VR 电影工作者会真正开始发现并分享 VR 类电影所特有的叙事方式与技巧。
这些博客文章出自 Oculus Story Studio 成员之笔，我们通过这些文章讨论所遭遇的失败和获得的成功，讨论我们的技术和愿景，以及个人的观点和那些激动人心的话题。
这些博客文章正是我们一路上所留下的面包屑。
◆
为什么选择用虚拟现实来讲故事？
作者：杰夫 · 布朗（Jeff Brown）
在整个职业生涯，我们的工作就是用视觉叙事将观众带到故事里去。这是我们所开发并熟悉的一种语言、一类词汇。在某种程度上，我们一直在创造虚拟现实。但如果真是这样，那么 Oculus Story Studio 到底在做些什么呢？为什么我们会如此沉醉于这样一种全新的媒介呢？
每次当我进入虚拟世界的时候，都会惊异于其所呈现的无限可能。那种影响深远的创造性意涵，让你确实感觉身在其中的可能性，在虚拟现实中显得完全可行并且显而易见。然而这只是最简单的部分，接下来我们还得学习如何把这事做妥。
人们利用各种各样的媒介讲述故事，讲故事的技巧也一直在随之演变。岩画、篝火故事会、舞台剧、歌剧、书籍、电影与游戏等等，数不胜数。事实上，以上这些媒介很多时候都无法互相取代。这也就是为什么好书改编的电影那么烂的原因——试想，要将书里那么多精彩绝伦的章节强行塞进 90 分钟长的电影里，细节描写自然会丢失。因此，讲故事的时候最好采用故事创作者所最初希望采用的媒介——对于 VR 来说同样如此。
令 VR 如此与众不同的地方，便在于「临在感」（presence）。临在感带来了全新的机遇，同时也造成了创作上的一些约束。我们所打造出来的环境、角色以及情境应当最适用于虚拟现实而非其他载体。当然了，这种话说起来容易，做起来可就难了。
我们的第一部短片《迷失》，让我们有机会真正沉下心来钻研并解决用 VR 讲故事所面临的各种挑战，从对传统电影技巧的利用，到场景搭建与各种各样用于抓住观众眼球的方法。我们会在以后的文章中再谈这些话题。
与此同时，我们对于全新的叙事载体所带来的可能性满怀期待，也完全清楚我们所讲述的故事必须能支撑媒介。因此，在开发过程中，我们开始自问这样一个问题：「为什么要选择 VR 呢？」为什么用虚拟现实来讲故事会更好呢？我们又该如何利用好 VR 的力量呢？这些问题让我们始终如一地坚守住我们的目标——打造前所未有的、真正意义上能令人身临其境的观影体验。
◆
制作《迷失》的过程中学到的 5 个教训
作者：萨什卡 · 昂塞尔德（Saschka Unseld）
Oculus Story Studio 的宗旨在于鼓励与培养用 VR 讲故事的人。鉴于此，我们想分享一下在制作第一部 VR 电影《迷失》时所犯的错误，以及中总结得出的五个教训。
当然，这些教训并不是一成不变的，它们只是给那些刚刚开始接触 VR 电影叙事技巧的人的一些建议。
萨什卡 · 昂塞尔德在 2015 年的纽约翠贝卡电影节分享制作《迷失》过程中学到的教训。
1. 节奏切勿太匆忙
当需要反复讨论一个故事的时候，我们通常会用故事板先制定好各种动作与节奏。但是，当我们用同样的方法为虚拟现实敲定影片节奏的时候，却显得有些操之过急了。一切动作发生的速度都太快，观众根本跟不上。
现在回想起来，这条教训确实很有道理。传统电影与 VR 两者中的信息密度明显大相径庭。
因此，我们最终将故事的讲述过程想象为一系列「时刻」的组合，而不是一系列角色所执行的「动作」的组合。比如以下这四个时刻：
1. 我们身处一片伸手不见五指的森林之中；
2. 一只巨大的机械手在这片森林中摸索；
3. 这只手一无所获，于是失望而归；
4. 这只手开始守株待兔……
接着，我们开始确定以上这些时刻各自持续的时间，以确保能留下足够的时间让观众得以充分理解故事中的每一个片段。通过将《迷失》解构成一个个的「时刻」而非「动作」，我们得以为整部电影定下合适的节奏，并且没有对故事结构造成任何损失。
2. 尊重「入座与候场」的仪式
在早期版本的《迷失》中，观众常常会在第一次目睹片中的森林之后感到十分迷惑与不知所措。毕竟当你被完全置入一个全新的环境当中时，必然会被惊到，特别是像片中这样繁复而美不胜收的场景。
在电影院，观看电影之前我们需进行如下的仪式：首先找到自己的位置，随着灯光暗下，幕布拉开，静候好戏登场。
但在 VR 中，这样的意式却完全不复存在。因此，我们必须找到类似于「入座与候场」的仪式。
首先要做的就是明确观众第一眼看到的是什么。所谓的「第一眼」就是我们现在所称的「引子」（the In）。我们想引领观众一步步进入《迷失》中的世界，而不只是将他们简单地扔进场景里，然后被海量的信息所淹没。
在《迷失》中，我们的引子便是一只名叫 Fi 的萤火虫，她是观众在进入森林之前第一眼见到的角色。如此，借助于这个小巧、简单而易于理解的角色，我们便能迅速抓住观众的眼球。 Fi 一会儿飞到左边，一会儿又飞到右边，引导观众渐渐适应查看四周环境的概念。在Fi将观众引进电影的世界后，我们的故事才正式拉开帷幕，开始在这黑夜下神秘森林中的冒险。
3. 切勿强迫观众看向特定的方向
传统电影最为强势的一个方面，就是对于镜头的绝对掌控。我们一直都在讨论应该如何重新取得对镜头的控制权，如何才能让观众看向正确的方向。
我们尝试过使用语音提示引导观众的视线，试过让鸟从观众面前飞过，从而吸引他们的注意力，将其视线引导至画面中的某个点上，还试过专门对场景进行设计以便能够让观众看向正确的地方。
但是，这些工具未免显得太专横、太牵强了，使得整个讲故事的过程看上去似乎有些强迫，过于刻意和虚假。
久而久之，我们渐渐摒弃了这类想法。 VR 本身作为一种独特的媒介，我们作为创作者就应该解开各种束缚，任由观众选择自己想看的地方。于是，我们不再追求将观众迅速带入故事情节当中，而是选择让步，让观众自己慢慢地进入故事中去。这一过程我们称之为「放任自流」（The Letting-Go）。
放任观众自由选择观看的角度，并将每个方向的场景都做得饶有趣味，我们便能够成功激起观众对于影片中环境的好奇心。而在好奇心的引领下，观众得以更加主动地体验电影情节。我们首先给予观众足够多的时间让他们四处观察，熟悉环境。大约过了四十秒后，大部分人都应该已经熟悉了自己身处的环境，并处于放松的状态，此时我们再利用飞过的小鸟等办法抓住观众的注意力，因为他们已经有了足够的时间熟悉环境，所以此时会更容易听从我们的指引。
4. 注意情节的空间密度
像电影一样，如果在 VR 电影中任意时刻只发生一件事情，那么整个世界观的设定便会瞬间变得很空洞，很假。在现实生活中，我们身边几乎总是有多件事情在发生。如果要真正实现带来真实感的 VR，以及临在感，就必须脱离单线叙事的模式。
最终，我们重新定义了叙事者、听众以及故事本身之间的关系。尽管观众看到的情节的仍然以时间顺序线性展开，但是对于情节本身的探索却不一定为线性。当然，这一模式的实现对于情节的展现与时间控制有着巨大的影响，同时也引发了人们对于所谓的「情节空间密度」（Spatial Story Density）话题的讨论。
在 VR 中，有趣的东西不应仅仅是与电影情节相关的东西。就像我们所处的空间一样，故事与叙事应该呈三维结构。我们应确保在影片的任意时刻都能有足够多的情节元素将空间填满。
在《迷失》中，我们稍微尝试了一下，为森林和天空中的月亮增添了更多细节。但在今后的项目中，我希望我们能够更好地利用三维空间。
5. 简化视野
利用实时 CG 讲故事一直都是件很难的事情，不仅存在创意上的挑战，同样还有技术上的挑战。我们每秒钟大概需要渲染 90 帧 1000×1000 分辨率的画面，双眼各一幅。传统动画电影制作一帧的画面可能需要用一台电脑计算数天的时间，而我们需要在 1/90 秒内完成。即便是当今最先进的电脑也很难做到这点。
皮克斯聪明地选择了玩具作为第一部电脑动画电影的主角。没有人类，也就没有毛发、水和衣服，因为他们知道在当时尚无法高水平地模拟出这些物品的质感，所以便在第一部电影中设定了能够企及的目标。
而我们并没有这样做。像森林这样的复杂环境在动画电影中算不上很难，但在 VR 中却是项巨大的挑战，所耗费的时间远远超过了我们的估计，最后出于流畅体验的考虑而不得不加上了很多限制，不过整个森林看上去还是很不错的。回想起来，如果当初选择了更加简单的环境，也不至于像现在这样揪心扒肝。
当然，我们很清楚，我们没法将制作《迷失》的过程中得到的所有教训都用上，不过从某种程度上来说这并不重要，重要的是我们需要迈出第一步，重要的是学习、发现以及有始有终，然后再将所学带进下一个项目中去。而《迷失》就是 Oculus Story Studio 迈出的第一步。
我们由衷地希望这些教训能帮到那些同样在朝着虚拟现实领域迈出第一步的电影人。
◆
斯维兹效应
作者：马特 · 伯德特（Matt Burdette）
Oculus Story Studio 的宗旨是通过讲述好听的故事，为观众带来生动有趣、如临其境的 VR 体验。作为一家由前皮克斯团队成员成立的工作室，我们的座右铭十分简洁：「情节为王！」这句话甚至挂到了墙上，还放进了我们工作室的名字当中！
不过，我们还有另外一句座右铭：「VR 的魔法是临在感。」我们很清楚，讲述一个能让观众参与其中的故事是一项极具挑战性的技术活，然而要做到这点，在创意方面的挑战也同样令人惊讶。
创作工作室第一部作品《迷失》的过程中，每当我们为增强临在感而添加新的元素时，电影的叙事感（narrative）便会相应地变弱，对于情节的推进变得模糊不清，或许最确切的描述应该是，「我们才不关心情节接下来会怎么发展呢。」
在一次检讨会中，我们聚在一起讨论到底哪里出了问题。也许是动画出了问题？也许那只大手出场时的那副忧郁孤独的模样的时间有点太长了，能不能让这段快点呢？场景有些太暗了，是不是得让观众身边稍微亮一点？影片的音效到底有没有营造出真实物理声源的效果呢？就这样，我们的讨论变得越来越深入，甚至延伸到了存在主义的领域。是故事本身的问题吗？用VR讲故事到底可不可行？会不会这件事根本就不靠谱？我们到底在干什么？
我们当时认为，「也许是临在感与叙事感两者互相抵消了」，在某种程度上来说，这其实不无道理：如果你的注意力都放在了叙事上，自然就会不太关注身边的环境，也就达不到身临其境的感觉。相反，如果你过于沉浸在环境和虚拟现实的视野中，也就不太会更好地关注叙事。那么，鱼与熊掌到底能否兼得呢？如何才能让观众既进入环境中，又能对影片角色和情节投以适当的关注呢？为此，我们特别观察了现场戏剧表演形式对于这类问题的解决办法。看戏剧的时候，你作为观众坐在自己的座位上，在你前方的舞台上，真实的演员扮演着剧中的角色。两者有什么不同吗？戏剧的规则能否应用于 VR 呢？在讲故事的范畴内，所谓的「第四面墙」真的不可或缺吗？如果答案是肯定的，那我们还费什么劲制作 VR 电影呢？在 VR 中没有第四面墙。
于是，我们开始了一系列小型实验，试图调整叙事感与临在感之间的平衡，看能否将两者间的脱节重新连接起来。我们将环境中的树叶做得更加紧密，以加强对环境的展现，这样当你四处看的时候，临在感会更加强烈。但实际效果却相当令人恼火，因为当视线被遮挡住后，继续保持对剧情的关注显得更像是在劳动。另外，在 VR 中，离你最近的物体看上去都十分有趣。如果我们之前就没对剧情上心的话，只怕现在也不会好到哪里去。
我们注意到很多观众在进入体验后会错过开头几分钟的剧情，因为他们在看月亮，或者仔细观察树叶。我们想到的办法是把开场阶段多延长一分钟，让观众有时间去观察周围环境，并且适应 VR。有效果，但是还是有些地方出了问题。
最后，我们让这只巨手直接凑上前来「嗅了嗅」观众，表示认可观众的存在。于是突然之间，我们发现观众此时与角色的联系以及对于巨手凑上前来的反应变得更加紧密与活跃了。观众的反应不再是一种摇摆不定的矛盾情绪，而是演变成了一种好奇之心。不少人甚至主动朝巨手凑过去，好像对方是另外一个人似的。从这时开始，我们总算走上正轨了！
经讨论，团队发展出了两派不同的思路：
A． 大脑对于刺激源的解读与处理能力是有限的，因此电影情节的叙事与来自周围沉浸式环境的刺激会相互争夺大脑的关注度。或许对于注意力一般的人来说，VR 的叙事是不是有些过于具有挑战性了？如果你面前的这个咖啡杯就吸引了你全部的注意力，那么主角对于他宠物狗的情感又有什么可重要的呢……看哪，这儿有个杯子。这杯子就在那儿，感觉我伸出手就能把杯子给拿起来——哎哟，我又没跟上剧情。
B． 由于缺少观众媒介，因此在你和虚拟环境之间出现了一堵看不见的墙。演员们会忽视你，环境对于你的存在毫不在意，可毋庸置疑的是，你确实在这个世界中。到头来，VR 中仍然存在着第四面墙，这种感觉不太对劲。
我们认为 A 流派的思想有其值得肯定之处：当新观众开始沉醉于 VR 时，必然会有一段蜜月期，在此期间他们的大脑会被各种 VR 信息所充斥。然而我个人更倾向于B流派的思想。剧情的发展肯定比纯粹感官上的感受要具体得多。此时，我们所有人都开始觉得看够了 VR（也开始厌烦《迷失》这部影片了），每次戴上耳机之后也不再会兴奋得失去理智。我们开始逐渐与角色、环境疏远，最终，连对故事本身都觉得有些疏离了。我将这种现象称为「斯维兹效应」（Swayze Effect）。
所谓斯维兹效应（或者简称为斯维兹，做形容词解）指的是，尽管感觉到自己在世界上的存在，但却对身边的一切缺乏实实在在的影响。正如 1990 年热映的犯罪爱情电影《人鬼情未了》中由山姆·维特扮演的主角帕特里克·斯维兹的体验那样。基本上可以这样形容：你放声大喊，「嘿，我在这儿呢！我在这儿呢！」然而周围却没有任何人或任何物体会对你的呼喊做出回应。
在《迷失》中，有一台巨大的机器人走进了画面里，然而它对于我们的存在却几乎没有任何反应，也没有任何暗示表明它会如何对我们的存在做出反应。直到它低下头跟我们打招呼之前，我们看到的只是一台不知道想要做什么的巨大机器人，出现在一个离我们非常不安全的距离里。于是我们不禁思考，也许导致局面失控的原因并非我们将注意力过多地集中在了月亮或是叶子上面，而是由于我们满脑子想的都是「大机器人，大机器人要过来杀我了，我要死了」。也许并非所有人都体会到了这个因素，但这确实凸显了十分关键的一点：观众也是场景中的一员。
而在《亨利》这部 VR 电影中，相同的问题以另一种完全不同的方式展现出来。刺猬亨利的「盯」的动作（在抒发情感的时候，亨利会四处扫视，然后将眼神锁定在观众身上），成了这部电影观影体验中最受欢迎的部分之一。这告诉我们，尽管我们做了这样那样的假设，但许多人其实根本不需要在影片的世界中解释自己的身份。大部分观众对于自己能够进入这个虚拟的世界并参与其中就已经很心满意足了。话虽如此，但团队成员仍然在争论这个「盯」的动作是否有必要。在临在感和故事之间，依然有许多不协调的成分：我明明就待在刺猬亨利的身边，可为什么他看上去还是那么寂寞？所以，许多团队成员仍然认为《亨利》的叙事存在缺陷。
我们还讨论了是否需要在影片中添加更多的互动性。如果观众影响虚拟世界的能力进一步增强的话，或许就能更好地稳固住观影过程中的临在感？然而这又带来了一系列新的问题。如果要添加互动元素的话，应该以怎样的方式传达给观众呢？如何向观众传达视觉信息而又不会显得过于造作或明显呢？或者进一步说，如何才能展示出互动性的极限呢？如何才能防止观众不断地在灌木丛里走来走去，或是抚摸宠物狗，而能认真地跟着剧情走呢？
允许观众能够将影片里架子上的东西敲下来，或是改变身边的环境，这件事尽管很酷，但却对亟待解决的问题毫无帮助。我们需要解决的问题是，在情节叙事与影片环境之间搭建起关系，并让观众有身临其境的感觉。这就是为什么在《迷失》一片中，我们让机械手凑上前来「嗅」观众。让影片角色认可观众的存在，尽管只是一瞬间，但却能将临在感与叙事感结合起来。
虽然我们遭遇了不少意料之外的技术性障碍，但对于斯维兹效应的出现仍然始料未及，被难住了。我们尝试在讲述故事的过程中将故事与自我认知相关联，并用微妙的方式来测试虚拟现实的恰当性，而斯维兹效应就是在这些尝试中首先遇到的问题之一。
老实说，我们还在尝试总结目前的经验教训。 《迷失》已经让我们知道，否认观众的存在会导致情节和观众行为之间产生一道鸿沟。而《亨利》则告诉我们，承认观众的存在虽然是一项很强大的功能，却会与故事叙述的意图背道而驰。
我们唯一确定的是，斯维兹效应很重要，而且我们务必要继续调查研究，并在项目开发的早期便将其纳入考虑范围。收获了这一认知后，我们希望继续推动 VR 电影，令观众真正成为虚拟现实中的一部分，让 VR 为人们带来更多好听有趣的故事。
译者：萧傲然
本文选编自 Oculus Story Studio 的官方博客。针对技术工作者，Oculus Story Studio 专门提供了关于工具、软件、上色、音效等的技术细节，感兴趣的读者可继续阅读：
虚拟现实电影工作者在用什么工具（截至 2015 年 8 月） https://storystudio.oculus.com/en-us/blog/the-tools-we-use-as-of-august–2015/
我们怎样确定《亨利》中的色彩 https://storystudio.oculus.com/en-us/blog/colorizing-spaces-working-with-color-in-story-studios-henry/
制作 VR 电影和游戏的微妙差别 https://storystudio.oculus.com/en-us/blog/protovis/
VR 环境音效 https://storystudio.oculus.com/en-us/blog/binaural-audio-for-narrative-vr/
题图：Henry 来自 Oculus Story Studio 官方博客
◆
# 离线 OFFLINE 是什么？
离线 OFFLINE 是一本科技文化周刊。每周一个深度话题，关注科技如何影响文化、商业和社会生活，发掘技术背后更人性的一面。
# 成为「离线会员」可以获得怎样的体验 ？
（点击图片了解会员计划详情）
点击「阅读原文」开始订阅，优先享受离线会员权益。