Совсем недавно, разработчик Доминик Хакл впервые показал работу приложения смешанной реальности Quest Application Magic Keys. В качестве фона приложение использует сквозную передачу через v31, что позволяет создавать контент через камеру гарнитуры в реальном времени.
Magic Keys – это приложение дополненной реальности, которое способно обучить пользователя игре на фортепиано простейших мелодий и композиций. Оно очень похоже на Guitar Hero и Beat Saber. Пусть даже у вас нет навыков игре на инструменте, следуя инструкции и видео подсказкам, вы попробуете себя в роли музыканта.
Приложение для обучения игры на фортепиано должно отследить положение рук и откалибровать с виртуальным пианино. В дальнейшем произойдет выравнивание виртуальных клавиш с вашим реальным пианино.
Как было показана во время демонстрации, для входа в игру, будет использоваться камера гарнитуры в реальном времени, для сканирования клавиш. Далее, в соответствии с ритмом композиции и нотами, которые необходимы для игры мелодии, система подсветит нужные клавиши.
Как в приложениях Guitar Hero и Beat Saber, пользователям необходимо вовремя нажимать на квадраты, для того, что бы научится играть выбранную композицию. Квадраты всплывают над соответствующими клавишами, которые надо нажать в нужном направлении, а полосы, идущие за квадратами, показывают длительность нажатия.
Доминик Хакл отметил: «Около двух лет назад я начал работу над этим проектом. В самом начале мной планировалось разрабатывать небольшие приложения AR, которые могли бы поддерживать планшеты. Но когда я увидел его эффективность, было принято решение перенести Magic Keys для HoliLens и Magic Leap One. Теперь, когда стал доступен API сквозной передачи, я перенес приложение на Oculus Quest»
Конечная цель Хакла, это разработать полноценное, полностью работающее приложение для обучения игры на пианино.
Следует отметить, что Magic Keys, это первая демоверсия, а окончательный выпуск приложения еще не определен.
