Введение. Распознавание базовых эмоций по изображению лица относится к числу востребованных задач компьютерного зрения, имеющих как исследовательское, так и нормативное значение. С июля 2024 года новые транспортные средства категорий M (легковые) и N (грузовые) в ЕС обязаны оснащаться системами мониторинга состояния водителя согласно Regulation (EU) 2019/21441. Именно поэтому методы компьютерного зрения с анализом мимики, направления взгляда и положения головы применяются в системах распознавания отвлечения (ADDW, Advanced Driver Distraction Warning) и Euro NCAP DMS. Параллельно те же методы анализа выражений лица востребованы в медицинской диагностике, мониторинге операторов на транспорте и образовательной аналитике. В этих сферах автоматический анализ обеспечивает более высокую воспроизводимость по сравнению с опросами и субъективным наблюдением.

Прикладной интерес к таким системам опирается на достаточно устойчивый теоретический фундамент. В частности, мимические реакции человека разнообразны и возникают спонтанно, что усложняет их интерпретацию, однако, несмотря на культурные и индивидуальные различия, стандартные выражения лица признаются в литературе устойчивыми индикаторами эмоционального состояния [1]. Именно универсальность таких выражений легла в основу систем кодирования лицевой активности и обеспечила теоретическую базу для алгоритмов автоматического распознавания. Параллельно развиваются мультимодальные подходы, использующие физиологические сигналы для объективной оценки эмоциональных реакций; они служат дополнением визуальных методов и расширяют возможности интегральной оценки состояния человека.

На методическом уровне современное состояние области распознавания лиц обобщено в обзорных работах [1]. Среди классических признаковых представлений лица особое место занимают локальные бинарные шаблоны (LBP), описывающие текстурные неоднородности лица и инвариантные к монотонным изменениям освещения [2], а также гистограммы ориентированных градиентов (HOG), характеризующие контурную геометрию через локальные распределения градиентов [3]. Историческую преемственность с ними образуют каскадные детекторы Виолы-Джонса на Haar-подобных признаках с алгоритмом AdaBoost, обеспечившие внедрение детекции лиц в потребительские камеры, а также дескриптор SIFT, детектирующий масштабно-инвариантные особые точки в окрестности лицевых ориентиров.

Прикладная зрелость направления подтверждается обзорами современных методов автоматического анализа мимики [4], клиническими работами по распознаванию эмоций [5] и зрелыми коммерческими системами анализа эмоций: объективная оценка состояния по лицу уже востребована на практике. Однако сами по себе коммерческие комплексы не отвечают на методический вопрос — их алгоритмы закрыты и не позволяют оценить, какой вклад в точность вносит отдельный классический дескриптор; опубликованные же сравнения LBP и HOG получены в разнородных условиях и плохо сопоставимы между собой. Это, в свою очередь, поднимает вопрос о том, как ведут себя классические дескрипторы в строго единых условиях оценки.

Параллельно методы анализа изображений отрабатываются в смежных областях компьютерного зрения — программных системах видеонаблюдения [6], мониторинге состояния водителей [7], трёхмерном захвате движения [8], идентификации параметров оптического потока [9] и распознавании автомобильных номерных знаков [10]. Опыт этих работ показывает, что точная локализация признаков и устойчивая классификация остаются критическими требованиями независимо от целевой задачи.

На фоне этих общих требований распознавание эмоций по-прежнему остаётся открытой задачей даже для свёрточных нейронных сетей (CNN), широко внедряемых в компьютерном зрении. В сводном анализе [11] отмечается, что глубокие модели прежде всего сталкиваются с переобучением из-за ограниченной доступности обучающих данных и с не связанными с выражением лица вариациями — освещения, поворота головы, разрешения изображения и смещения идентичности. Помимо этого, создание набора данных с разметкой эмоций трудоёмко и дорого, а в транспортной и медицинской безопасности дополнительно требуется объяснимость решений, ограничивающая применение «чёрного ящика». Отдельной проблемой остаётся запоминание моделью конкретных субъектов, особенно заметное на небольших наборах данных [12].

Обобщая сказанное, можно выделить устойчивую закономерность: для распознавания выражений лица единичный классический дескриптор уступает обучаемому представлению. LBP обеспечивает более устойчивые показатели в условиях переменного освещения благодаря инвариантности к монотонным преобразованиям яркости [2]; HOG, напротив, лучше описывает контурную геометрию лица и сохраняет лидерство на лабораторных наборах данных [3]. Вместе с тем оба метода в одиночном варианте уступают сверточным нейронным сетям на крупных наборах данных [4]. Сравнительно высокая точность достигается при объединении LBP-признаков с обучаемыми представлениями на основе CNN или LSTM (long short-term memory, рекуррентные сети с долгой краткосрочной памятью) [7]; близкие выводы обобщает сводный анализ современных методов распознавания выражений лица [11]. При этом каскадные детекторы Виолы-Джонса и их развитие по-прежнему обеспечивают приемлемое качество локализации лиц при низких вычислительных затратах, что подтверждается современными системами аутентификации по лицу на основе классических признаков [13]. Сопоставление условий применения, размеров обучающих выборок и протоколов проверки в разных источниках затруднено их методической разнородностью.

Из перечисленного видно, что для классических дескрипторов LBP и HOG в задаче распознавания эмоций недостаточно описаны несколько аспектов: устойчивость метрик при стратифицированной кросс-валидации на небольших наборах данных; природа систематических ошибок между визуально близкими эмоциями; границы применимости в режимах с переменным освещением и неконтролируемым ракурсом. Без этих сведений невозможно осмысленно встраивать классические признаки в гибридные схемы распознавания, поэтому возникает потребность в их прямом сопоставлении в единых и воспроизводимых условиях.

Поэтому цель настоящей работы — определить пределы применимости классических дескрипторов LBP и HOG в задаче распознавания семи базовых эмоций на наборе JAFFE и характеристика наблюдаемых ошибок классификации.

Для достижения поставленной цели в исследовании решены пять задач:

1) сопоставление теоретических свойств LBP и HOG применительно к распознаванию выражений лица — устойчивости к освещению, чувствительности к идентичности субъекта, размерности признакового представления;

2) реализация единого конвейера предобработки изображений и извлечения признаков LBP и HOG для набора JAFFE, обеспечивающего воспроизводимость результата;

3) классификация семи базовых эмоций методом опорных векторов с линейным ядром при пятикратной стратифицированной кросс-валидации;

4) интерпретация матриц ошибок и метрик Accuracy и Macro-F1 с привязкой к психофизиологическому объяснению систематических смешений эмоциональных классов;

5) формулировка рекомендаций по применению LBP и HOG для типичных сценариев, условий съёмки и путей встраивания классических признаков в гибридные архитектуры.

Методология настоящего исследования опирается на канон классической цифровой обработки изображений [14] — нормализацию яркости, гистограммное выравнивание, выделение признаков локальных текстур и градиентов.

Материалы и методы. Набор данных. В качестве экспериментальной базы использован открытый исследовательский набор данных JAFFE (Japanese Female Facial Expression, «японское женское выражение лица», Lyons et al., 1998; университет Kyushu, Япония), распространяемый для научных целей. Набор содержит 213 полутоновых изображений десяти испытуемых-японок с семью базовыми эмоциями: гнев, отвращение, страх, счастье, нейтральное выражение, грусть, удивление; классы распределены практически равномерно — от 29 до 32 изображений на эмоцию. Изображения получены в лабораторных условиях при одинаковом освещении и фронтальном ракурсе с постановочными выражениями, что обеспечивает однородность съёмки, но ограничивает прямой перенос результатов на полевые сценарии. Входные изображения JAFFE приводили к полутоновой палитре с разрешением 256 × 256 пикселей. Для нормализации яркости применяли гистограммное выравнивание. Лица выравнивали по координатам глаз, полученным с помощью детектора ориентиров на базе библиотеки Dlib (модель shape_predictor_68_face_landmarks).

Извлечение признаков. На подготовленных таким образом изображениях вычисляли два взаимодополняющих классических дескриптора. Локальные бинарные шаблоны (LBP) рассчитывали в uniform-кодировке (равномерной) с радиусом R = 1 и числом соседей P = 8; гистограммы строили по непересекающимся блокам 16 × 16 пикселей и объединяли в общий вектор признаков размерностью 15 104. Гистограммы ориентированных градиентов (HOG) формировали с ячейками 8 × 8 пикселей, блоками 2 × 2 ячейки, девятью ориентационными бинами и блочной нормализацией L2-Hys (значение по умолчанию в scikit-image).

Классификация и оценка качества. Полученные признаковые векторы подавали на классификатор методом опорных векторов с линейным ядром (SVM). Параметр регуляризации C перебирали по сетке {0,01; 0,1; 1; 10} с выбором значения по внутренней трёхкратной кросс-валидации, вложенной во внешний цикл стратифицированной пятикратной кросс-валидации. Качество оценивали по среднему и стандартному отклонению Accuracy и Macro-F1 по пяти внешним фолдам. Дополнительно были построены матрицы ошибок (confusion matrices), а также проанализировано распределение метрик точности (precision), полноты (recall) и F1-меры для каждого из семи классов.

Программная реализация. Конвейер реализован в среде Python 3.10 с использованием библиотек scikit-learn 1.3 (SVM, кросс-валидация) и scikit-image 0.21 (LBP, HOG). Начальное значение генератора псевдослучайных чисел было зафиксировано (random_state = 42), что обеспечивает воспроизводимость разбиения выборки на фолды и повторяемость выбора гиперпараметров.

Результаты исследования. Метод HOG в сочетании с линейным SVM достиг полной разделимости семи эмоциональных классов: Accuracy = 1,000 ± 0,000 и Macro-F1 = 1,000 ± 0,000 (среднее ± стандартное отклонение по пяти внешним фолдам; таблица 1, рис. 1). Для всех семи классов метрики precision, recall и F1 приняли значение 1,00; межклассовых пересечений на матрице ошибок не выявлено. Размерность итогового признакового вектора HOG составила 34 596 элементов; во всех пяти внешних фолдах внутренняя кросс-валидация выбрала значение параметра регуляризации C = 1. Среднее время извлечения признаков на одно изображение составило около 0,018 с, обучения классификатора на тренировочном фолде — 0,42 с, предсказания на одно изображение — 0,003 с.

Метод LBP в том же протоколе показал Accuracy = 0,300 ± 0,041 и Macro-F1 = 0,202 ± 0,038 (таблица 1). По пяти внешним фолдам значения Accuracy составили 0,256; 0,310; 0,310; 0,357 и 0,267. Размерность итогового признакового вектора LBP составила 15 104 элемента; внутренняя кросс-валидация выбрала значение C = 0,1 в трёх внешних фолдах и C = 1 в двух остальных. Среднее время извлечения признаков на одно изображение составило около 0,009 с; обучения классификатора — 0,18 с; предсказания — 0,002 с.

Распределение значений precision, recall и F1 по семи классам JAFFE для метода LBP оказалось неравномерным (таблица 2). Максимальные значения F1 наблюдались для классов «отвращение» (0,33) и «счастье» (0,30); минимальные значения — у классов «страх» (0,11), «грусть» (0,14) и «нейтральное» (0,14). Минимальные значения precision зафиксированы у классов «нейтральное» (0,12), «страх» (0,13) и «удивление» (0,14); минимальные значения recall — у классов «страх» (0,10), «грусть» (0,11) и «нейтральное» (0,17). У классов «удивление» и «нейтральное» recall превысил precision более чем на 0,05; у класса «грусть» precision превысил recall на 0,07.

На матрице ошибок LBP (рис. 2) класс «страх» был отнесён к «удивлению» в 24,1 % случаев, к «гневу» — в 14,8 % и к «нейтральному» — в 11,1 %. Класс «грусть» был отнесён к «нейтральному» в 27,6 % случаев и к «гневу» — в 10,3 %. Класс «нейтральное» был отнесён к «грусти» в 16,7 % случаев. Наибольшие диагональные значения матрицы ошибок зафиксированы у классов «отвращение» и «счастье» — около 33 % и 30 % соответственно.

Обсуждение. Сравнение результатов проведённых исследований с другими работами по распознаванию выражений лица показывает, что прямое сопоставление количественных значений требует оговорки об условиях эксперимента. В работе Shan, Gong, McOwan [15] на JAFFE использованы тщательно подобранные параметры LBP: радиус R = 2, разбиение на 42 субрегиона 18 × 21 пикселя, uniform-кодировка. При таком наборе и линейном SVM показатели Accuracy выше, чем у конвейеров с типовыми настройками. Настоящая работа опирается на другую конфигурацию: радиус R = 1, непересекающиеся блоки 16 × 16 пикселей на изображении 256 × 256, итоговый вектор признаков размерностью 15 104. Это типовое представление LBP с дескрипторной реализацией «из коробки»; конфигурация подбиралась под задачу проверить поведение метода в стандартных условиях, а воспроизведение количественных значений [15] в задачу настоящего исследования не входило. Расхождение результатов с эталонной работой подтверждает известную чувствительность LBP к выбору радиуса и схемы разбиения.

Помимо проведения непосредственного сопоставления, существенным ориентиром выступают гибридные архитектуры: применение LBP на входных уровнях свёрточных или рекуррентных нейронных сетей способно обеспечить значительно более высокие качественные показатели в сравнении с изолированным классификатором [12]. В данном контексте результаты, полученные для метода HOG в рамках настоящего протокола, следует интерпретировать не как свидетельство универсального превосходства указанного дескриптора, а как маркер высокой чувствительности градиентного профиля к сохранению идентичности субъектов в обучающей и тестовой выборках; при этом качество кодирования эмоциональных состояний при подобном разделении данных оказывалось вторичным фактором.

Для более корректной оценки обобщающей способности алгоритмов целесообразно использовать экспериментальный протокол с исключением субъекта (LOSO, leave-one-subject-out), при реализации которого обучающая и тестовая выборки не содержат изображений одних и тех же лиц. Примененная в работе пятикратная стратифицированная кросс-валидация допускает присутствие идентичностей в обоих подмножествах, что приводит к искусственному завышению метрик для HOG; в таких условиях сравнительная диагностика методов характеризуется систематическим смещением.

Анализ структуры детекции ошибок показывает, что смешения классов, зафиксированные в матрице ошибок для LBP, имеют под собой четкое психофизиологическое обоснование. Так, пары «страх – удивление» и «грусть – нейтральное выражение» отличаются наличием перекрывающихся групп активных лицевых мышц согласно системе FACS — в первом случае наблюдается подъем бровей и расширение глаз, во втором — слабовыраженная амплитуда специфических действий, характерных для грустного выражения (AU1 + AU4 + AU15), на статичных снимках. Текстурные признаки LBP фиксируют локальные неоднородности и неизбежно отражают данное визуальное сходство; таким образом, регистрируемая погрешность детерминирована ограничениями признакового пространства, тогда как сам классификатор функционирует корректно.

Совокупность представленных наблюдений демонстрирует, что стандартная пятикратная кросс-валидация обладает ограниченной эффективностью при оценке методов распознавания мимики на компактных наборах данных. Даже при строгом соблюдении существующих методологических требований итоговые результаты склонны переоценивать качество обобщения на новых персонах. Переход к протоколу LOSO, вовлечение более масштабных баз данных с вариативными условиями регистрации и жесткий контроль отсутствия пересекающихся идентичностей между выборками являются обязательными условиями для получения объективной оценки.

Сформулированные выводы получены в условиях, накладывающих определенные ограничения на возможность широкого обобщения:

С учетом указанных факторов полученные результаты подтверждают целесообразность эксплуатации методов LBP и HOG в специфических условиях, детерминированных физической природой каждого дескриптора. Применение HOG показано в рамках лабораторных задач с фиксированным составом участников и контролируемой инсоляцией, где допустима идентификационно-связанная разделимость классов. Метод LBP уступает по точности как самостоятельный инструмент, однако обеспечивает более устойчивую оценку в условиях нестабильного освещения и неконтролируемых ракурсов, что делает его эффективным элементом признакового описания в составе гибридных систем с обучаемыми моделями.

Заключение. В ходе исследования были решены поставленные задачи: сопоставлены свойства LBP и HOG применительно к распознаванию выражений лица, реализован единый воспроизводимый конвейер предобработки и извлечения признаков, проведена классификация семи базовых эмоций линейным SVM, построены матрицы ошибок и сформулированы рекомендации по применению дескрипторов. В едином протоколе на JAFFE метод HOG с линейным SVM достиг Accuracy = 1,000 ± 0,000, что объясняется утечкой идентичности субъекта при стратифицированной кросс-валидации; LBP при том же протоколе дал Accuracy = 0,300 ± 0,041 и устойчивые систематические смешения пар «страх – удивление» и «грусть – нейтральное выражение», согласующиеся с FACS-описанием перекрывающихся наборов лицевых мышц.

С позиции практического внедрения, модель на основе HOG и линейного SVM применима для решения локальных лабораторных задач с постоянным составом испытуемых, например, на исследовательских стендах или в пилотных версиях медицинских интерфейсов. Использование LBP совместно с линейным SVM в изолированном виде менее эффективно по точности, однако обосновано в роли компонента гибридных архитектур (включающих сверточные и рекуррентные сети) ввиду высокой вычислительной экономичности и инвариантности к монотонным флуктуациям освещенности. Полученные результаты могут быть востребованы при проектировании систем мониторинга состояния водителя, соответствующих требованиям Regulation (EU) 2019/2144, а также для методологического обоснования выбора протоколов оценки качества на малых выборках. С учетом выявленных ограничений приоритетным направлением дальнейших изысканий видится переход к протоколам с исключением субъектов и расширение экспериментального материала за счет данных, полученных в неконтролируемой среде.

1. Regulation of the European Parliament and of the Council on type-approval requirements for motor vehicles and their trailers, and systems, components and separate technical units intended for such vehicles, as regards their general safety and the protection of vehicle occupants and vulnerable road users. Regulation (EU) 2019/2144 of 27 November 2019. Official Journal of the European Union. 2019;325:1–40. URL: https://eur-lex.europa.eu/eli/reg/2019/2144/oj (дата обращения: 15.06.2026).