Каким способом работает распознавание лиц в мобильных устройствах

Зачем мы останавливаемся на разблокировку по лицевому распознаванию

В последние времена идентификация физиономий превратилось в одной из самых распространённых возможностей для открытия мобильных телефонов. Всего некоторые лет назад большинство пользователей удовлетворялись PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что делает данную возможность такой востребованной? Во-первых, это практично: не нужно запоминать сложные пароли или находить верный палец в тьме. Также, это мгновенно: современные алгоритмы узнают лицо практически за мгновения ока. В-третьем пункте, это впечатление будущего — как будто в фильмах про admiral x зеркало агентов.

Однако за данной кажущейся несложностью прячется полный вселенная комплексных техник и инженерных решений. Давайте разобраться, как именно действует фейсканирование в актуальных гаджетах, какие применяются методы, насколько они надёжны и что нас ждёт впереди.

Короткая хроника развития инноваций

Распознавание лиц как техника присутствует уже более пятидесяти годов. Изначальные эксперименты автоматического изучения облика были предприняты еще в ۱۹۶۰-х годах в научных учреждениях США. Тогда ЭВМ способны были лишь обозначать контуры черепа и вычислять расстояния между зрачками и устами на монохромных фотографиях.

Начальные торговые системы стали доступны в девяностых годах, но они были далеки от совершенства: работали медленно и часто давали сбои. Только с эволюцией нейронных сетей и таких площадок, как адмирал х, мощных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным сканированием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать свои решения.

Ключевые стадии работы системы определения

Процесс определения лица можно примерно разделить на несколько важных этапов:

1. Распознавание лиц — устройство определяет наличие гуманного образа в изображении.
2. Выделение признаков — алгоритм исследует черты облика: форму зрительных органов, обонятельного органа, губ, положение бровей.
3. Построение шаблона — создаётся неповторимый виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с стандартом — сформированный образец сверяется со зафиксированной при учёте биометрической информацией владельца.
5. Принятие выбора — если совпадение достаточно значительное, смартфон деблокируется.

Любой из этих шагов требует специальных алгоритмов и оптимизаций для оперативной работы прямо на устройстве.

Железные составляющие: что находится внутри них

Стандартная селфи камера.

Простейший несложный способ идентификации облика задействует лишь лицевую камеру мобильного устройства. Такой метод внедрён во различных доступных вариантах Android-устройств.

Преимущества:

• Необходимо требует дополнительные датчиков.
• Шустро работает при достаточном освещении.

Минусы:

• Несложно одурачить снимком или видеозаписью.
• Плохо функционирует при низком свете или непривычных углах обзора.

ИК камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Как это работает:

• Точечный проектор отображает на лицо использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около ۳۰ ۰۰۰ меток).
• ИК камера записывает искривление этой решетки по поверхности физиономии.
• Создаётся трехмерная глубинная карта глубины, которая почти что неосуществима для имитации стандартной фотографией или маскировкой.

Плюсы

• Надёжная работа даже в полной темноте.
• Высокая защита к подделкам.
• Точность распознавания свыше ۹۹%.

Дополнительные сенсоры

В отдельных устройствах используются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые измеряют время распространения света до цели и обратно; Цветные-датчики глубины; специальные оптические лидары для построения более детализированной ۳D-модели физиономии.

Эти разработки применяются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический разум на работе

Нынешние системы опознания лиц немыслимы в отсутствие эксплуатации искусственного интеллекта и machine learning. Именно благодаря таким инновациям, как адмирал х, гаджет в состоянии идентифицировать юзера даже при изменениях внешнего вида: новая укладка, растительность на лице, оптика или грим не становятся помехой для открытия.

Распознавание лица

На стартовом стадии система должна быстро распознать ликовое изображение в пределах целого кадра камеры. Для этой задачи используются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии находить лицо даже с частичном закрытии (например, шалью или ладонью).

Идентификация ключевых точек

После идентификации лица система, такая как адмирал х, устанавливает положение основных точек: кончики глаз, конец носа, края губ и так далее. Обычно применяется от ۶۸ до ۱۲۸ главных маркеров на лицевой поверхности.

Это нужно для нормализации изображения: если человек удерживает телефон под наклоном, или склонил головку, программа “выпрямляет” картинку до обычного угла для последующего изучения.

Формирование биометрии образца

Далее нейросеть строит сжатое математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” внешности длиной от ۱۲۸ до ۵۱۲ вещественных чисел.

Такой образец весьма сложно подделать: он не удерживает само изображение пользователя, а лишь исключительные характеристики его внешности, что делает его идеальным для таких площадок, как admiral-x.

Сопоставление и принятие заключения

Если пользователь намеревается разлочить телефон взором, механизм воспроизводит все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный порог (обычно превышает ۹۹%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Привыкание к трансформациям облика

Увлекательная особенность современных системы — способность самообучения. Если ты постоянно разблокируете телефон с обновленной прической или оптикой, программа постепенно освежает базовый шаблон вашего внешности для повышения точности работы без ухудшения безопасности.

Безопасность биометрических данных.

Многие пользователи опасаются хранить свои биометрические идентификационные данные на телефоне из-за угрозы утечки информации или взлома гаджета. Иные организации, например admiral-x, предлагают варианты для увеличения защиты данных клиентов.

• Локальное хранение: Преимущественно аппаратов хранит биометричные образцы исключительно в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют аппарат и недоступны даже создателю.

• Шифрование: Все сведения сохраняются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих девелоперов не обладают непосредственного доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Необходимо отметить важную деталь: в случае, если какой-то человек сможет получить физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители реализуют меры безопасности от неосознанного разблокирования — в частности, заставляют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают виды распознавания лиц?

На сегодняшний день можно различить ۳ основных способа к выполнению этой операции:

Софтверное двухмерное определение

Применяется только лицевая камера без экстра сенсоров дистанции. Такой метод наблюдается обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность воплощения; минимальная стоимость; скоростная работа при качественном свете.
Минусы: просто обмануть снимком; ненадежная функционирование ночью; низкая охрана.

Техническое трёхмерное сканирование

Задействует ИК видеокамеру + проекционный модуль точек + датчики дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: большая надёжность; невозможно исказить фото/видео; стабильная деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с ИИ-дополнением

Используют комбинацию софтверных методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие товары, как адмирал х и Google Pixel Face Unlock современных поколений, комбинируют фронталку c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами чужих устройств.

Примеры эксплуатации разнообразных способов

• iPhone модели X/11/12/13/14 задействуют только техническое трёхмерное ۳D-сканирование
• Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID в ряду Android.
• Samsung Galaxy S10/S20 имеют как программное плоское распознавание по изображению фронтальной камерой, так и сенсор глазного ириса.
• Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-датчик

Вопросы охраны и ложные срабатывания

Несмотря на поразительный прогресс инноваций за прошедшие годы, совершенных систем пока не имеется:

1. Вероятность мошенничества: Бюджетные смартфоны легко “разблокируются” качественной снимком владельца либо видеозаписью с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные системы могут спутать между однояйцевыми близнецами либо родичами с очень похожей внешностью.
3. Трансформации внешнего вида: Резкое утрата веса/увеличение массы тела, пластические операции или травмы порой необходимы для перерегистрации биометрических данных.
4. Условия записи: Сильная освещённость солнцем или же глубокая затенение могут уменьшить аккуратность идентификации признаков.

Здесь несколько советов по защищённому применению:

• Для значимых операций всегда используйте дополнительную аутентификацию;
• Не включайте опцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Регулярно обновляйте ПО смартфона для обеспечения безопасности от новых видов атак;
• Включайте функцию “Требовать открытых глаз” везде, где она доступна.

В каких областях также находится применение технологии кроме смартфонов?

Несмотря на то, что основная мысль этой статьи касается именно мобильным устройствам, необходимо сказать о альтернативных областях использования технологии:

• Управление входа в деловых центрах и жилых домах;
• Платёжные аппараты банков (“Face Pay”);
• Цифровые удостоверения личности нового типа;
• Комплексы видеомониторинга городских сервисов;
• Механизация учёта явки школ/вузов;
• Авторизация юзеров ПК/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или мобильника! Аналогичные инициативы реализуются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом изменяется технический процесс сегодня?

Всякий годик появляются современные концепции для усовершенствования качества работы систем распознавания лиц:

1. Увеличивается разрешение сенсорных устройств — чем больше информации фиксируется камерой/датчиками глубины, тем меньше риск ошибки;
2. Развиваются нейронные сети — новейшие структуры вида MobileNetV3 дают возможность скоростно осваивать дополнительным чертам внешности пользователя напрямую на гаджете без отправки данных в облако.
3. Улучшаются методы антиспуфинга — теперь смартфоны способны различать настоящие живые лица от статичных снимков/маскировок по незаметным движениям кожи.
4. Интеграция со интеллектуальными приборами — смарт-часы могут самостоятельно закрыть доступ к мобильный телефон, если владелец удалился на значительное расстояние.
5. Проявляются гибридные механизмы — в частности объединяющие аудио аутентификацию + лицо + дактилоскопический след.

Вот, которые тенденции в особенности востребованы в данный момент:

۱) Миниатюризация компонентов

Производители пытаются сократить размер прорези (“чёлки”) под датчики на дисплее за счёт интеграции маленьких ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

۲) Обработывание прямо на аппарате

Для увеличения конфиденциальности всё более вычислений выполняется на месте без отправки информации во дополнительный облачный сервис.

۳) Стандартизация стандартов

Гугл энергично продвигает эталон BiometricPrompt API, для того чтобы аналогичные площадки, например как admiral x, и любые Android-программы могли работать с различными типами биометрии унифицированно.

Что выбрать на сегодня?

Если тебе важна наивысшая безопасность данных, подбирайте передовые модели с интегрированным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех последних моделей
• Huawei Partner/Series P ряда
• Mi Professional
• Vivo X серии
• Oppo Найти Икс серии.

Если финансы невелик – лучше выбирать традиционным методам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную возможность удобства.

Каким способом повысить удобство функционирования опции?

Есть несколько советов для пользователей, кто уже пользуется функцию распознавания лица:

1. Часто обновляйте свою фотографию-шаблон, если значительно меняется внешний вид.
2. Не забывайте протирать линзу фронтальной камеры – загрязнения могут снизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам запускает фотоаппарат как только вы берёте его в руки.
4. При записи постарайтесь держать лицо ровно впереди камеры исключая сильного наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвели взгляд от дисплея.

Будущее эволюции технологии

В предстоящие годы можно предполагать возникновения полностью дистанционных способов идентификации индивидуума сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + шаги + движения рук!

Также предполагается возникновение новых подходов охраны приватности – к примеру, изменяющееся корректировка электронного образца после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее увлекательных инноваций нашего периода! Она делает интеракцию со телефоном комфортнее чем до этого, и такие аппы, как admiral-x, могут существенно повысить ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как устроена эта технология изнутри, – будете в состоянии более осмысленно подбирать свой будущий девайс!