Влияние масок на системы распознавания лиц

За последний год разработчики ПО добились заметных успехов в распознавании лиц в масках, в т.ч. в период распространения ограничений, принятых во время пандемии COVID-19. Лучшие программные алгоритмы допускают ошибки около 3% (FNMR = 0.03) для лиц в масках, что сопоставимо с цифрами 2017 года, когда технология распознавания применялась для фотографий с немаскированными лицами.*

Национальный институт стандартов и технологий (National Institute for Standards and Technology – NIST) регулярно проводит исследования поставщиков средств распознавания лиц (Face Recognition Vendor Test – FRVT). Полученные специалистами NIST результаты подробно изложены в докладе «Текущий тест поставщиков средств распознавания лиц» (FRVT), часть 6B: «Точность распознавания лиц в масках с использованием алгоритмов Post-COVID-19 (NISTIR 8331)». Это первое исследование, проведенное институтом, которое оценивает эффективность алгоритмов распознавания лиц, разработанных после наступления пандемии. В предыдущем докладе, опубликованном в июле 2020 года, изучалось влияние масок на распознавание лиц алгоритмами, представленными ранее марта 2020 года.

Исследование от 3 марта 2021 года показывает, что ряд разработчиков ПО добились заметных успехов в распознавании лиц в масках, и некоторые алгоритмы показали значительно лучшие результаты, чем их предшественники. В доклад NIST добавлено 65 новых алгоритмов к тем, которые были протестированы на лицах с масками в предыдущем раунде. В итоге были представлены результаты по 152 алгоритмам. В ряде случаев коэффициент ошибок до и после COVID-19 снизился в 10 раз. Лучшие программные алгоритмы допускают ошибки от 2,4 до 5% (FNMR = 0.024 ~ FNMR = 0.05) на маскированных лицах, что сопоставимо с ситуацией, когда в 2017 году технология применялась для фотографий с немаскированными лицами.

Используя тот же набор из 6,2 млн изображений, что и ранее, исследователи протестировали способность алгоритмов выполнять сопоставление «один к одному», в котором фотография сравнивается с другой фотографией одного и того же человека (например, такой алгоритм используется для разблокировки смартфона). Как и в июльском отчете 2020 года, вместо реальных людей с надетыми масками были применены фотографии с наложенными поверх изображения лица цифровыми масками.

По итогам исследования можно сделать следующие выводы:

• Когда изображение для сравнения и сохраненное в базе данных имеют маскированные лица, частота ошибок возрастает. А когда лицо было замаскировано на обеих фотографиях, процент ложных совпадений был в 10–100 раз выше, чем если бы на исходном изображении было видно лицо без маски.

На этой иллюстрации показаны некоторые варианты масок для лица, применяемых в исследовании NIST, в т.ч. четырех различных цветов (черный, красный, белый и светло-голубой), а также некоторые из различных форм и объемов покрытия лица маской.

• Чем больше лицо скрыто маской, тем выше вероятность ошибки алгоритма. Так же, как и отмечено в отчете за июль 2020 года, круглые формы масок, закрывающие только рот и нос, генерируют меньше ошибок, чем широкие, закрывающие в том числе щеки.
• Красные и черные маски, как правило, давали более высокий процент ошибок, чем маски других цветов.
• Несколько алгоритмов хорошо работают при любой комбинации маскированных или размаскированных лиц (вне зависимости от цвета и формы маски). Некоторые разработчики создали «маско-диагностическое» программное обеспечение, которое может работать с изображениями независимо от того, замаскированы лица или нет – алгоритмы обнаруживают разницу автоматически.

Эволюция алгоритмов

На графиках ниже приведены примеры эволюции алгоритмов в распознавании лиц в масках и без масок.

Поясним некоторые показатели эффективности биометрических систем.

• FMR (False Match Rate) — доля завершенных попыток сопоставления биометрических образцов и контрольных образцов, результатом которых становится ложное совпадение.
• FNMR (False Non-Match Rate) — доля завершенных попыток сопоставления биометрических образцов и контрольных образцов, результатом которых становится ложное несовпадение.

Пример высокоэффективного алгоритма FNMR = 0,003 при FMR = 0,00001. Это означает, что алгоритм не сможет аутентифицировать около 0,3% людей, при этом будет одно ложное срабатывание на 100 000 лиц. При этом отдельно стоит отметить, что на сегодняшний день все алгоритмы достаточно эффективны, и борьба разработчиков идет уже за доли процента потенциальных ошибок распознавания.

Для демонстрации тенденций развития алгоритмов ниже приведены графики сравнения эффективности распознавания четырех популярных в России продуктов. Во всех примерах NIST использовал набор данных Visa-Border (в маске и без нее). Visa-Border является набором изображений фото из визового документа, такого как паспорт, который затем сравнивают с реальными изображениями при пересечении границы (сценарий верификации или 1:1).

Из графиков видно, что все участники провели работу над своими алгоритмами. Необходимо отметить, что тестирование алгоритмов в сценарии использования 1:N (идентификация «один ко многим») NIST будет проводить позже. Такой сценарий является наиболее часто используемым и востребованным в мире.

Сравнение алгоритмов «Side by side» Visa-Border 1:1

Важное замечание, которое по итогам исследования делает исследовательская группа NIST: ношение масок влияет на системы распознавания лиц, что следует учитывать при выборе программного обеспечения в каждом конкретном случае. Также стоит еще раз отметить, что тестирование производилось на базе фотографий с искусственно наложенными поверх цифровыми изображениями масок и при формировании в будущем базы фотографий людей в настоящих масках результаты испытаний алгоритмов могут кардинально отличаться.

Простой, но рабочей рекомендацией при выборе той или иной системы распознавания лиц является «пилотирование» нескольких вариантов в конкретных полевых условиях объекта.

Представители профессионального сообщества ждут, что в ближайшее время NIST проведет дополнительные исследования по работе алгоритмов распознавания лиц на маскированных наборах данных в сценарии использования 1:N (идентификация «один ко многим»).

* На основании исследования Национального института стандартов и технологий США (NIST) «Face recognition accuracy with face masks using post-COVID-19 algorithms».