Meta заявляет, что их конечной целью с аппаратным обеспечением VR является создание удобной, компактной гарнитуры с визуальной завершенностью, «неотличимой от реальности». Сегодня компания представила свои последние прототипы VR-гарнитуры, которые, по ее словам, представляют собой шаги к достижению этой цели.
Meta не скрывает, что тратит десятки миллиардов долларов на свои усилия по XR, большая часть которых идет на долгосрочные исследования и разработки через исследовательское подразделение Reality Labs. Очевидно, в попытке пролить немного света на то, что на самом деле делают эти деньги, компания пригласила группу представителей прессы, чтобы они ознакомились с ее последними достижениями в области исследований и разработок оборудования для виртуальной реальности.
Добраться до цели
Для начала генеральный директор Meta Марк Цукерберг выступил вместе с главным научным сотрудником Reality Labs Майклом Абрашем, чтобы объяснить, что конечной целью компании является создание оборудования виртуальной реальности, отвечающего всем визуальным требованиям, которое ваша зрительная система воспринимает как «настоящее».
Сегодняшние гарнитуры VR впечатляюще иммерсивны, но по-прежнему нет никаких сомнений в том, что то, на что вы смотрите, является виртуальным.
Внутри исследовательского подразделения Meta Reality Labs компания использует термин «визуальный тест Тьюринга», чтобы представить планку, которую необходимо выполнить, чтобы убедить вашу визуальную систему в том, что то, что находится внутри гарнитуры, действительно реально. Эта концепция заимствована из аналогичной концепции, которая обозначает точку, в которой человек может отличить другого человека от искусственного интеллекта.
Мета говорит, что для того, чтобы гарнитура полностью убедила вашу зрительную систему в том, что то, что находится внутри гарнитуры, реально, вам нужна гарнитура, которая может пройти этот «визуальный тест Тьюринга».
Четыре вызова
Цукерберг и Абраш обрисовали в общих чертах то, что они считают четырьмя ключевыми визуальными проблемами, которые должны решить гарнитуры виртуальной реальности, прежде чем можно будет пройти визуальный тест Тьюринга: варифокальное искажение, разрешение сетчатки и HDR.
Вкратце, вот что это означает:
- Варифокальный: способность фокусироваться на произвольной глубине виртуальной сцены с обеими основными функциями фокусировки глаз (вергенция и аккомодация)
- Искажение: линзы по своей природе искажают проходящий через них свет, часто создавая артефакты, такие как разделение цветов и размытие зрачков, которые делают существование линзы очевидным.
- Разрешение сетчатки: наличие достаточного разрешения на дисплее, чтобы соответствовать или превышать разрешающую способность человеческого глаза, так чтобы не было никаких признаков основных пикселей
- HDR: также известный как высокий динамический диапазон, который описывает диапазон темноты и яркость, которую мы видим в реальном мире (которую сегодня почти ни один дисплей не может должным образом эмулировать).
Группа исследований систем отображения в Reality Labs создала прототипы, которые служат проверкой концепций для потенциальных решений этих проблем.
Варифокальный
Чтобы решить проблему варифокального объектива, команда разработала серию прототипов, которые назвали «Half Dome». В этой серии компания впервые исследовала варифокальный дизайн, в котором использовался механически движущийся дисплей для изменения расстояния между дисплеем и объективом, тем самым изменяя фокусную глубину изображения. Позже команда перешла на твердотельную электронную систему, в результате чего варифокальная оптика стала значительно более компактной, надежной и бесшумной.
Виртуальная реальность… Для линз
Что касается дисторсии, Абраш объяснил, что экспериментирование с конструкциями объективов и алгоритмами коррекции искажений, характерными для этих конструкций объективов, представляет собой громоздкий процесс. По его словам, новые линзы невозможно изготовить быстро, и после того, как они будут изготовлены, их все еще необходимо тщательно интегрировать в гарнитуру.
Чтобы команда Display Systems Research могла быстрее работать над этой проблемой, команда создала «симулятор искажения», который фактически эмулирует гарнитуру VR с использованием 3D-телевизора и моделирует линзы (и соответствующие им алгоритмы коррекции искажений) в программном обеспечении.
Это позволило команде быстрее решить проблему, при этом ключевой задачей является динамическая коррекция искажений объектива при движении глаза, а не просто коррекция того, что видно, когда глаз смотрит непосредственно в центр объектива.
Разрешение сетчатки
Что касается разрешения сетчатки, Meta представила ранее неизвестный прототип гарнитуры под названием Butterscotch, который, по словам компании, обеспечивает разрешение сетчатки 60 пикселей на градус, обеспечивая зрение 20/20. Для этого они использовали дисплеи с чрезвычайно высокой плотностью пикселей и уменьшили поле зрения — чтобы сконцентрировать пиксели на меньшей площади — примерно до половины размера Quest 2. Компания заявляет, что также разработала «гибридный объектив», который бы «полностью разрешил» повышенное разрешение, они поделились сравнениями через объектив между оригинальным Rift, Quest 2 и прототипом Butterscotch.
Хотя сегодня уже существуют гарнитуры с разрешением сетчатки, такие как гарнитура Varjo VR-3, только небольшая область в середине изображения (27° × 27°) соответствует отметке 60 PPD… все, что находится за пределами этой области, падает до 30 PPD или ниже. Якобы прототип от Meta имеет 60 PPD по всему полю зрения, хотя компания не объяснила, до какой степени разрешение уменьшается по краям объектива.
Расширенный динамический диапазон
Цукерберг сказал, что из четырех ключевых проблем, которые он и Аббраш рассмотрели, «наиболее важной является HDR».
Чтобы доказать влияние HDR на виртуальную реальность, команда Display Systems Research построила еще один прототип, названный Starburst. Согласно Meta, это первый прототип виртуальной гарнитуры («насколько нам известно»), который может достигать колоссальных 20 000 нит.
Цель HDR, однако, не в том, чтобы поджарить глаза, а в том, чтобы придать реалистичную яркость вещам, которые на самом деле очень яркие в реальной жизни. Например, пожар, взрыв, фейерверк или даже яркие блики в окне в безоблачный день. Все эти вещи, кажется, «всплывают» в реальной жизни, потому что они намного ярче, чем мир вокруг них. Мета говорит, что способность воспроизвести этот «всплеск» яркости в виртуальной реальности имеет важное значение для прохождения визуального теста Тьюринга.
Для сравнения, дисплей Quest 2 имеет максимальную яркость 100 нит, а HDR-телевизоры высокого класса — около 2000 нит. Это означает, что прототип Starburst может обеспечивать диапазон яркости, который в 10 раз ярче, чем даже у некоторых из лучших HDR-телевизоров.
И хотя ожидается, что грядущая PlayStation VR 2 от Sony станет первой коммерчески доступной гарнитурой HDR VR, «HDR» не совсем четко определен, поэтому неизвестно, достигнет ли он 1000 нит, не говоря уже о 2000.
Сокращение
В то время как многие из прототипов VR-гарнитур компании жертвуют весом и размером, чтобы доказать эти фундаментальные идеи, Meta также сосредоточена на резком уменьшении форм-фактора VR-гарнитуры. С этой целью компания провела экспериментальное исследование голографической складчатой оптики и превратила его в настоящую работающую гарнитуру виртуальной реальности под названием Holocake 2.
Этот впечатляюще компактный прототип устраняет два самых больших ограничения размеров современных гарнитур виртуальной реальности: длину оптического пути и ширину линз.
Чтобы линзы в VR-шлеме выполняли свою работу, их необходимо располагать на определенном расстоянии от дисплея. Если вы переместите их ближе, вы просто не сможете правильно сфокусировать изображение. Но использование «блинчатой» оптики (также известной как «сложенная» оптика) эффективно сокращает расстояние между объективом и дисплеем, «складывая» путь обратно на себя, используя поляризацию, чтобы отражать свет вперед и назад, прежде чем он, наконец, достигнет глаза.
По мере того, как вы сокращаете это расстояние, вы начинаете видеть, что толщина линз на самом деле еще больше ограничивает то, насколько близко вы можете поднести дисплей к глазу. С этой целью в прототипе Holocake 2 используются голографические линзы, которые значительно тоньше традиционных линз.
По сути, это тонкие голографические пленки, в которые встроена голограмма традиционной линзы. Несмотря на то, что они тонкие, они манипулируют светом так же, как более толстая линза, из которой они смоделированы.
Комбинация голографических линз и блинчатой оптики — отсюда и голографический торт — является ключом, который делает Holocake 2 таким компактным.
«Создание голографической линзы было новым подходом к уменьшению форм-фактора, который стал заметным шагом вперед для систем отображения виртуальной реальности», — говорит Мета. «Это наша первая попытка создать полнофункциональную гарнитуру с голографической оптикой, и мы считаем, что дальнейшая миниатюризация гарнитуры возможна».
Тем не менее, это гарнитура, привязанная к ПК, а это означает, что ей потребуется дополнительный объем (вычисления и батарея), чтобы достичь автономного форм-фактора, к которому стремится Meta. И, к сожалению, Мета говорит, что Holocake 2 требует лазерного источника света, чтобы его голографическая оптика работала хорошо, и они еще не достигли размера или стоимости, необходимых для практической реализации в реальном продукте.
Эра Cambria
Это все захватывающий взгляд на то, куда может двигаться будущее аппаратного обеспечения виртуальной реальности, но станет ли грядущая виртуальная гарнитура Meta — Project Cambria — точкой, где все сойдется воедино?
К сожалению, это не так. Компания указывает, что большая часть технологий, представленных здесь, еще далеко не готова для использования в прайм-тайм. А поскольку Project Cambria, как ожидается, будет запущен где-то в этом году, у Meta просто не хватит времени, чтобы воплотить в жизнь все эти технологии. Конечно, похоже, что Cambria будет использовать сложенную оптику (но не голографическую сложенную оптику), чтобы сделать вещи немного более компактными, чем Quest, но пройдет еще некоторое время, прежде чем мы увидим что-то вроде Holocake 2 на рынке.