Ранее в этом месяце во время ежегодной конференции разработчиков Apple WWDC 2022 компания представила разработчикам первый взгляд на улучшения, которые появятся в наборе инструментов Apple ARKit 6 для создания приложений дополненной реальности на устройствах iOS.
Хотя Apple еще не раскрыла (или даже не подтвердила) существование гарнитуры дополненной реальности, самым явным признаком того, что компания абсолютно серьезно относится к дополненной реальности, является ARKit, инструментарий разработчика для создания приложений дополненной реальности на устройствах iOS, который Apple продвигает с 2017 года.
На WWDC 2022 Apple представила последнюю версию ARKit 6, в которой улучшены основные возможности, чтобы разработчики могли создавать более качественные приложения AR для iPhone и iPad (и, в конечном итоге, для гарнитур… возможно).
Во время сессии разработчиков «Откройте для себя ARKit 6» на WWDC 2022 инженер Apple ARKit Кристиан Липски рассказал о том, что будет дальше.
Лучший захват движения
ARKit включает функцию MotionCapture, которая отслеживает людей в видеокадре, предоставляя разработчикам «скелет», который оценивает положение головы и конечностей человека. Это позволяет разработчикам создавать приложения, которые накладывают дополненные объекты на человека или перемещают их относительно человека (это также можно использовать для перекрытия, чтобы размещать дополненный контент позади кого-то, чтобы более реалистично встроить его в сцену).
Липски говорит, что в ARKit 6 функция получает «целый набор обновлений», в том числе улучшенное отслеживание 2D-скелетов, которые теперь оценивают местоположение левого и правого ушей субъекта (что, безусловно, будет полезно для лицевых фильтров, примерки очков). с дополненной реальностью и аналогичными функциями с участием головы).
Что касается 3D-скелетов, которые дают оценку позы с глубиной, Apple обещает лучшее отслеживание с меньшим дрожанием, большей временной согласованностью и большей надежностью, когда пользователь закрыт краем камеры или другими объектами (хотя некоторые из этих улучшений доступно только на iPhone 12 и новее).
Улучшения доступа к камере
ARKit 6 дает разработчикам гораздо больший контроль над камерой устройства, когда она используется с приложением AR для отслеживания.
Теперь разработчики могут получать доступ к входящим кадрам в режиме реального времени с разрешением до 4K и частотой 30 кадров в секунду на iPhone 11 и новее, а также на новейшем iPad Pro (M1). Предыдущий режим, в котором используется более низкое разрешение, но более высокая частота кадров (60 кадров в секунду), по-прежнему доступен для разработчиков. Липски говорит, что разработчики должны тщательно продумать, какой режим использовать. Режим 4K может быть лучше для приложений, ориентированных на предварительный просмотр или запись видео (например, приложение для виртуального производства), но режим с более низким разрешением 60 кадров в секунду может быть лучше для приложений, которым важен отклик, таких как игры.
Подобно более высокому разрешению видео в приложении AR, разработчики теперь могут делать фотографии с полным разрешением, даже когда приложение AR активно использует камеру. Это означает, что они могут извлечь 12-мегапиксельное изображение (по крайней мере, на iPhone 13) для сохранения или использования в другом месте. Это может быть полезно для приложения дополненной реальности, в котором съемка фотографий является частью опыта. Например, говорит Липски, приложение, в котором пользователи получают инструкции по фотографированию объекта, чтобы позже преобразовать его в 3D-модель с помощью фотограмметрии.
ARKit 6 также дает разработчикам больший контроль над камерой, когда она используется приложением AR. Разработчики могут настраивать баланс белого, яркость и фокусировку по мере необходимости, а также могут считывать данные EXIF из каждого входящего кадра.
Дополнительная привязка местоположения… Места
ARKit включает в себя LocationAnchors, которые могут обеспечивать отслеживание на уровне улиц для AR в некоторых городах (например, для создания пошаговых указаний в дополненной реальности). Apple расширяет эту функциональность в других городах, включая Ванкувер, Торонто и Монреаль в Канаде; Фукуока, Хиросима, Осака, Киото, Нагоя, Иокогама и Токио в Японии; и Сингапур.
Позже в этом году эта функция будет расширена до Окленда, Новая Зеландия; Тель-Авив-Яффа, Израиль; и Парижа, Франция.
Plane Anchors
Plane Anchors — это инструмент для отслеживания плоских объектов, таких как столы, полы и стены, во время сеанса дополненной реальности. До ARKit 6 происхождение Plane Anchor обновлялось по мере обнаружения большей части плоскости (например, перемещение устройства, чтобы открыть большую часть стола, чем камера видела ранее). Это может затруднить удержание аугментированных объектов на плоскости, если исходная точка была повернута после первого размещения. В ARKit 6 вращение исходной точки остается статичным независимо от того, как может измениться форма плоскости во время сеанса.
– – – – –
ARKit 6 будет запущен с обновлением iOS 16, которое сейчас доступно в бета-версии для разработчиков и, как ожидается, будет выпущено для широкой публики этой осенью.