Компания Oculus, принадлежащая Facebook, запатентовала технологию отслеживания глаз, которая использует камеры светового поля внутри гарнитуры. Большинство предыдущих систем отслеживания глаз использовали обычную или инфракрасную камеру в сочетании с ИК-прожектором.

Камера светового поля отличается от обычной тем, что она отражает направление движения света. Направленная информация может использоваться для понимания глубины изображения и, таким образом, трехмерной модели глаза, а не только цвета и яркости. Зная трехмерную модель глаза, система может узнать, где находится зрачок относительно глаза, и, следовательно, дать более точную оценку направления взгляда пользователя, чем с обычной двухмерной моделью зрачка.

В Oculus патентуют применение камер светового поля для отслеживания глаз

Отслеживание глаз может значительно повысить ощущение «социального присутствия» в многопользовательском VR, но наиболее перспективным вариантом использования является ямковый рендеринг. Ямковый рендеринг — это когда только то, на что вы смотрите показывается в полном разрешении, в то время как остальные части сцены в вашем периферийном представлении рендерятся с низкой детализацией. Это сработает, так как человеческое зрение детализируется с высоким разрешением в самом центре. Чтобы убедиться в этом, посмотрите на какую-либо надпись в комнате, в которой вы находитесь сейчас, а затем отойдите на несколько шагов назад и попробуйте прочитать её снова.

Однажды ямковый рендеринг должен обеспечить гораздо более высокие разрешения VR-гарнитуры, не требуя дорогостоящей видеокарты. Найти способ сделать его работу надежной имеет важнейшее значение для будущего VR.

На Oculus Connect 3 в конце 2016-го года (видео ниже), Майкл Абраш, главный научный сотрудник Oculus, обсудил проблемы разработки системы отслеживания глаз, достаточно подходящей для ямкового рендеринга. Он заявил, что для того, чтобы ямковый рендеринг был невидимым для пользователя, потребуется «практически идеальное» отслеживание глаз. Если отслеживание глаз бездействует хоть на долю секунды, пользователь увидит резкое снижение качества изображения. Даже сегодня ни одна компания пока не предоставила качество отслеживания глаз в потребительский продукт.

2016: Oculus Chief Scientist Discusses Eye Tracking & Foveated Rendering

На Oculus Connect 5 в конце сентября этого года Абраш заявил, что ожидает, что качество отслеживания глаз должно быть готово в течение четырех лет (к 2022 году). Возможно, данный расчет зависит от наличия 3D-виденья глаза в реальном времени с использованием камеры светового поля, описанного в патенте. Если это так, то отслеживание глаз станет более дорогим для интеграции, но, скорее всего, приведет к значительному повышению надежности.