Ранее в этом году Facebook продемонстрировала высокое качество отслеживания лица в VR с фотореалистичными аватарами. Теперь они сделали его еще лучше.
На этой неделе Facebook продемонстрировала улучшенное отслеживание лица для аватаров, более точно фиксируя выражение лица пользователя.
Исследователи используют две гарнитуры для достижения такого качества отслеживания. Обычная гарнитура имеет три камеры, обращенные к пользователю. Опытная гарнитура имеет эти три камеры и еще шесть дополнительных, что дает лучшее представление о выражениях лица человека.
Исследователи Facebook обучают нейронную сеть с опытной гарнитурой таким образом, что модель может быть использована для достижения высококачественных результатов с обычным шлемом VR. Дополнительные камеры на опытной гарнитуре работают очень хитроумным способом. Facebook утверждает, что с обученной моделью «почти нет очевидного падения качества» от 9 до 3 камер.
Facebook не единственная компания, работающая над отслеживанием лица. На конференции GDC в марте HTC анонсировала устройство для отслеживания губ для Vive Pro Eye. Тем не менее, HTC заявила, что в настоящее время не планирует выпускать потребительскую версию.
Все еще далеко до совершенства
Когда Facebook показал кодеки аватаров в марте, компания сразу умерила пыл, заявив, что технология все еще далека до совершенства. Нет никаких признаков того, что это данное улучшение ускорит процесс. В прошлом месяце подразделение компании Oculus выпустило две новые гарнитуры (Oculus Quest и Rift S), но ни одна из них не имеет камер, направленных на лицо пользователя.
Одной из основных причин приобретения Facebook компании Oculus в 2014 году была вера в силу социального VR. Кажется вероятным, что следующее поколение гарнитур компании будет включать аппаратное обеспечение для отслеживания лица — даже если ПО еще не способно доставить должное качество на запуске.
