Как работает определение лицевых образов в мобильных устройствах

Для чего мы останавливаемся на разблокировку по лицевому распознаванию

В недавние времена определение лиц превратилось в одной из самых распространённых возможностей для деблокировки умных телефонов. Лишь пару годов ранее основная масса юзеров обходились PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением подобных технологий, например Вулкан Платинум, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект делает данную функцию такой востребованной? Во-первых, это удобно: не нужно запоминать сложные пароли или отыскивать верный палец в тьме. Также, это мгновенно: современные программы распознают лицо буквально за мгновение. В-третью очередь, это чувство футуристичности — словно в кинолентах про вулкан платинум зеркало агентов.

Впрочем за данной на первый взгляд несложностью скрывается весь универсум сложных методов и инженерных концепций. Попробуем понять, как точно работает распознавание лиц в актуальных смартфонах, какие существуют методы, насколько они безопасны и что нас предстоит.

Сжатая хроника развития технологии

Распознавание лиц как техника имеется уже более 50 лет. Изначальные попытки автоматического анализа лица были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ умели лишь обозначать очертания черепа и определять промежутки между глазами и губами на черно-белых снимках.

Начальные бизнес установки возникли в 1990-х годах, но они были далеки от совершенства: работали медленно и часто давали сбои. Только с эволюцией нейронных сетей и таких систем, как Vulkan Platinum, мощных мобильных процессоров распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные решения.

Ключевые этапы действия системы определения

Процесс распознавания лица можно условно разделить на несколько основных этапов:

1. Распознавание лиц — устройство выявляет наличие гуманного образа в изображении.
2. Извлечение характеристик — система изучает особенности облика: форму глаз, обонятельного органа, губ, положение надбровных дуг.
3. Построение шаблона — создаётся особенный виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со стандартом — полученный шаблон сравнивается со записанной при учёте биометрической информацией владельца.
5. Принятие определения — если соответствие достаточно существенное, смартфон деблокируется.

Всякий из этих этапов нуждается в специальных процедур и усовершенствований для оперативной работы непосредственно на девайсе.

Железные составляющие: что скрыто внутри

Обычная фронтальная камера.

Самый простой простой способ идентификации облика использует только лицевую камеру мобильного устройства. Данный метод реализован во многих доступных моделях Android-устройств.

Достоинства:

• Необходимо требует внешних сенсоров.
• Шустро работает при качественном свете.

Слабые стороны:

• Несложно обмануть фотографией или видео.
• Плохо функционирует при плохом освещённости или необычных ракурсах.

ИК камера и пунктирный проектор

Более совершенные системы, такие как Vulkan Platinum, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс является основой Face ID от Apple.

Каким способом это работает:

• Точечный проектор проецирует на облик пользователя невидимую решетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 точек).
• ИК камера регистрирует искривление этой решетки по плоскости лица.
• Формируется 3D карта глубины глубины, что почти что неосуществима для фальсификации обычной снимком или маской.

Преимущества

• Надёжная функционирование даже в полной неосвещённости.
• Высокая сопротивляемость к подделкам.
• Точность распознавания свыше 99%.

Дополнительные сенсоры

В отдельных устройствах используются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время движения луча до предмета и обратно; RGB-датчики дальности; специальные оптические лидары для формирования более детализированной 3D-модели лица.

Эти разработки используются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический интеллект в действии

Текущие устройства идентификации лиц невозможны в отсутствие применения artificial intelligence и машинного обучения. Именно из-за таким технологиям, как Vulkan Platinum, аппарат в состоянии узнавать пользователя даже при изменениях внешнего вида: новая укладка, растительность на лице, линзы или макияж не становятся помехой для деблокировки.

Детектирование физиономии

В стартовом шаге программа необходимо мгновенно распознать образ лица в пределах целого изображения с камеры. Для этой задачи задействуются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN может обнаруживать лицо даже в случае частичном перекрытии (например, платком или рукой).

Выделение ключевых точек

После распознавания лица устройство, такая как Vulkan Platinum, определяет местоположение главных точек: кончики глаз, конец носа, края губ и так далее. Обычно используется от 68 до 128 ключевых точек на лицевой области.

Это необходимо для стабилизации картинки: если пользователь держит смартфон под наклоненным, или повернул головку, программа корректирует изображение до стандартного положения для последующего изучения.

Создание биометрического модели

Далее нейронная сеть строит уплотненное математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 чисел с плавающей запятой.

Данный образец очень затруднительно подделать: он не удерживает непосредственно изображение пользователя, а лишь особенные характеристики его вида, что делает его оптимальным для таких площадок, как Вулкан Казино Платинум.

Сравнение и осуществление выбора

Если пользователь желает открыть смартфон взором, программа воспроизводит все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный уровень (обычно превышает 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ блокируется.

Привыкание к трансформациям внешности

Интересная особенность нынешних системы — способность самостоятельного обучения. Если вы часто разблокируете мобильное устройство с обновленной укладкой или оптикой, алгоритм постепенно обновляет базовый шаблон вашего облика для повышения точности работы без ухудшения безопасности.

Охрана биометрии информации.

Большинство юзеры опасаются хранить свои биометрические данные на смартфоне из-за угрозы утечки данных или взлома гаджета. Некоторые организации, такие как Вулкан Казино Платинум, предлагают решения для повышения сохранности данных клиентов.

• Локальное сохранение: Большинство аппаратов хранит био-идентификационные модели лишь внутри безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают аппарат и недоступны включая изготовителю.

• Шифрование: Все данные сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Программы третьих разработчиков не имеют непосредственного доступа к биометрическим данным; они могут лишь требовать факт подтверждения личности через системный API.

Следует упомянуть существенную особенность: если кто-либо получит физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании внедряют защиту от неосознанного разблокирования — к примеру, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие имеются виды распознавания лиц на изображениях?

На сегодняшний день можно различить три основных способа к реализации этой операции:

Программное двухмерное определение

Используется только фронтальная камера без вспомогательных сенсоров глубины. Этот подход наблюдается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость осуществления; низкая затраты; оперативная работа при качественном свете.
Минусы: легко обмануть фотографией; ненадежная функционирование ночью; низкая защищенность.

Аппаратное трёхмерное сканирование

Задействует инфракрасную видеокамеру + проекционный модуль пикселей + сенсоры дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Преимущества: высокая надежность; нельзя исказить фото/видео; постоянная работа в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Задействуют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как Vulkan Platinum и Google Pixel Face Unlock последних поколений, объединяют фронталку c инфракрасным датчиком мобильности Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Примеры использования различных способов

• iPhone линейки X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 имеют как программное обеспечение плоское распознавание по снимку селфи-камерой, так и сенсор радужки глаза.
• Huawei Mate20 Pro задействует систему из ИК-подсветки + Dot Projector + ToF-сенсор

Вопросы охраны и неверные сигналы

Несмотря на замечательный успехи техники за недавние годы, безупречных системы пока не существует:

1. Шанс подвоха: Недорогие мобильники без труда открываются четкой фотографией пользователя или видеозаписью с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые совершенные устройства могут перепутать между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Метаморфозы внешнего вида: Внезапное снижение веса/набор веса, пластические операции либо повреждения порой требуют повторной регистрации биометрических данных.
4. Условия записи: Яркая засветка солнечным светом или интенсивная темнота могут понизить точность идентификации признаков.

Ниже некоторые рекомендаций для защищённому использованию:

• Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Постоянно обновляйте прошивку программное обеспечение телефона для обеспечения безопасности от актуальных атак;
• Включайте настройку “Требовать открытых глаз” везде, где она имеется.

В каких местах ещё применяется технологии кроме мобильных телефонов?

Пускай предмет этой работы касается конкретно мобильным устройствам, необходимо сказать о других сферах применения технологии:

• Управление прохода в рабочих помещениях и резиденциях;
• Платёжные аппараты банков (“Face Pay”);
• Электронные удостоверения личности последнего типа;
• Комплексы видеонаблюдения городских сервисов;
• Автоматизирование отслеживания посещаемости учебных заведений/институтов;
• Авторизация пользователей ПК/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Аналогичные проекты развиваются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как меняется технология в наше время?

Любой годочек проявляются новые идеи для улучшения качества работы систем распознавания лиц:

1. Увеличивается детализация датчиков — чем больше информации фиксируется камерой/глубинными сенсорами, тем меньше шанс погрешности;
2. Развиваются искусственные интеллекты — передовые структуры типа MobileNetV3 обеспечивают возможность быстро обучаться свежим характеристикам облика обладателя непосредственно на девайсе без отправки данных в облако.
3. Улучшаются технологии антиспуфинга — теперь телефоны умеют распознавать подлинные движущиеся облики от неподвижных фотографий/маскировок по мельчайшим движениям кожи.
4. Синхронизация со интеллектуальными приборами — смарт-часы могут авто закрыть доступ к мобильный телефон, если обладатель ушёл далеко.
5. Появляются смешанные механизмы — к примеру совмещающие речевую идентификацию + облик + отпечаток пальца.

Здесь, которые тренды в особенности популярны в данный момент:

1) Уменьшение элементов

Производители намереваются уменьшить величину прорези (“чёлки”) для сенсоры на дисплее за счёт встраивания миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на девайсе

Для улучшения конфиденциальности всё более обработки данных выполняется на месте без отправки информации во дополнительный облачный сервис.

3) Упорядочивание стандартов

Гугл интенсивно продвигает стандарт BiometricPrompt API, для того чтобы подобные площадки, как Вулкан Платинум, и любые Android-аппы были совместимы с различными типами биометрии стандартизированно.

Что решить сегодня?

В случае если тебе важна предельная безопасность информации, выбирайте передовые аппараты с вмонтированным ИК-проектором или же ToF-датчиком глубины.

• iPhone каждого новейших версий
• Huawei Companion/P линейки
• Mi Professional
• Vivo X линейки
• Oppo Обнаружить Х линейки.

Если финансы скромен – лучше отдавать предпочтение традиционным средствам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в Вулкан Платинум, использовать только как опциональную опцию удобства.

Каким способом повысить практичность работы опции?

Есть пара хитростей для тех, кто уже использует разблокировку по лицу:

1. Периодически обновляйте свою фото-шаблон, если значительно меняется внешность.
2. Не забывайте чистить линзу передней камеры – пятна могут уменьшить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам запускает фотоаппарат когда вы берёте его в руки.
4. В процессе регистрации постарайтесь сохранять голову неподвижно перед видеоустройства исключая значительного наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвели взгляд от экрана.

Возможности развития инноваций

В ближайшие годы можно ожидать возникновения полностью бесконтактных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + голос + шаги + движения рук!

Также возможно появление новых методов охраны конфиденциальности – скажем, изменяющееся модификация электронного паттерна после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее интересных технологий нашего времени! Она предоставляет общение со телефоном удобнее чем до этого, и такие приложения, как Вулкан Казино Платинум, могут значительно оптимизировать ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как функционирует эта методика внутри, – будете в состоянии более осмысленно подбирать свой очередной девайс!