Патент на изобретение №2302026

(54) ЦИФРОВОЙ ФОТОАППАРАТ С ВОЗМОЖНОСТЬЮ ВЫБОРА ОПТИМАЛЬНОГО МОМЕНТА ДЛЯ СЪЕМКИ

(57) Реферат:

Цифровой фотоаппарат содержит головку для штатива, запоминающую схему и процессор для обработки сигналов, процессор для обработки сигналов включает прогрессивный модуль по распознаванию лица, модуль по позиционированию глаз и рта, а также модуль по определению состояния моргания глаз и открытого рта, причем модуль по распознаванию лица считывает изображение с запоминающей схемы, передает обработанные данные в модуль по позиционированию глаз и рта после распознавания лица, модуль по позиционированию глаз и рта передает обработанные данные в модуль по определению состояния моргания глаз и открытого рта после позиционирования глаз и рта, модуль по определению состояния моргания глаз и открытого рта выдает окончательный результат, управляющая цепь выдает инструкцию по съемке. Технический результат – повышение качества фотографий. 3 з.п. ф-лы, 10 ил.

Область изобретения

Настоящее изобретение относится к цифровому фотоаппарату с возможностью выбора оптимального момента для съемки, в частности к цифровому фотоаппарату, анализирующему положение лица человека для выбора оптимального момента для съемки. Данное изобретение может быть использовано как фотографами-профессионалами и любителями, так и рядовыми потребителями.

Предпосылки создания изобретения

В настоящее время у типичного цифрового фотоаппарата нет функции, позволяющей оператору выбрать оптимальный момент для съемки. Однако есть функция, позволяющая оператору просматривать полученные изображения после фотосъемки. Например, пользователь может просмотреть на дисплее изображения после фотосъемки. В большинстве отснятых изображений, в частности изображений людей, тем не менее, сложно гарантировать качество фотографий из-за внезапных миганий или перемен настроения фотографируемого человека. Традиционный цифровой фотоаппарат не может определить оптимальный момент для съемки, в частности определить, моргает ли человек и радостное ли у него выражение лица, что создает большую сложность для оператора по выбору оптимального момента для съемки и, как следствие, ведет к получению фотографий низкого качества.

Содержание изобретения

Предлагаемое изобретение должно решить вышеуказанные задачи для реализации возможности выбора оптимального момента для съемки цифровым фотоаппаратом. Такой цифровой фотоаппарат включает не только функции типичного цифрового фотоаппарата, но также позволяет мгновенно выбирать оптимальный момент для съемки.

Техническая схема настоящего изобретения представляет собой цифровой фотоаппарат с возможностью выбора оптимального момента для съемки, с головкой для штатива и запоминающей схемой, состоящий из:

процессора по обработке сигналов, включающего прогрессивный модуль по распознаванию лица, модуль по позиционированию глаз и рта, а также модуль по определению состояния моргания глаз и открытого рта, в которых:

модуль по распознаванию лица считывает изображение с запоминающей схемы, передает обработанные данные в модуль по позиционированию глаз и рта после распознавания лица;

модуль по позиционированию глаз и рта передает обработанные данные в модуль по определению состояния моргания глаз и открытого рта после позиционирования глаз и рта;

модуль по определению состояния моргания глаз и открытого рта выдает окончательный результат;

управляющая цепь выдает инструкцию по съемке в случае, если полученный окончательный результат от модуля по определению состояния моргания глаз и открытого рта, соответствует условиям оптимального момента для съемки, и не выдает инструкцию по съемке, если окончательный результат не соответствует условиям оптимального момента для съемки.

Вышеупомянутый модуль по распознаванию лица включает в себя многомерный шаблон, изображение в режиме ожидания съемки и устройство с шаблоном по расчету арифметического соответствия. Устройство с шаблоном по расчету арифметического соответствия записывает в память многомерный шаблон и изображение в режиме ожидания съемки и передает арифметический результат в качестве позиционированного изображения. Вышеупомянутый многомерный шаблон, изображение в режиме ожидания съемки и позиционированное изображение хранятся, соответственно, на различных адресах ячеек памяти.

Вышеупомянутый модуль по позиционированию глаз и рта включает в себя изображение в режиме ожидания съемки, позиционированное изображение лица и устройство по горизонтально-вертикальному проецированию. Устройство по горизонтально-вертикальному проецированию записывает в память изображение в режиме ожидания съемки и позиционированное изображение лица и передает арифметический результат в качестве позиционированного изображения глаз и рта. Вышеупомянутое изображение в режиме ожидания съемки, позиционированное изображение лица и позиционированное изображение глаз и рта хранятся, соответственно, на различных адресах ячеек памяти.

Вышеупомянутый модуль по определению состояния моргания глаз и открытого рта включает в себя изображение в режиме ожидания съемки, позиционированное изображение глаз и рта и устройство по определению состояния моргания глаз и открытого рта. Устройство по определению состояния моргания глаз и открытого рта записывает в память изображение в режиме ожидания съемки и позиционированное изображение глаз и рта, получает обработанные результаты по каждому лицу человека в кадре и выдает инструкцию управляющей цепи. Вышеупомянутое изображение в режиме ожидания съемки и позиционированное изображение глаз и рта хранятся, соответственно, на различных адресах ячеек памяти.

Положительные результаты настоящего изобретения заключаются в том, что в момент фотосъемки изобретение может просто определить выражение лица каждого человека, находящегося в кадре, например открытые глаза, радостное выражение лица, чтобы выбрать оптимальный момент для съемки и, тем самым, значительно улучшить качество фотосъемки.

Краткое описание чертежей

Фиг.1 – блок-схема системы со структурой настоящего изобретения.

Фиг.2 – структурная блок-схема процессора по обработке сигналов на фиг.1.

Фиг.3 – структурная блок-схема модуля по распознаванию лица на фиг.2.

Фиг.4 – структурная блок-схема модуля по позиционированию глаз и рта на фиг.2.

Фиг.5 – структурная блок-схема модуля по определению состояния моргания глаз и открытого рта на фиг.2.

Фиг.6 – основная блок-схема модуля по позиционированию глаз и рта и модуля по определению состояния моргания глаз и открытого рта.

Фиг.7 – основная блок-схема по определению состояния открытого рта в модуле по определению состояния моргания глаз и открытого рта.

Фиг.8 – блок-схема шаблона в соответствии с настоящим изобретением.

Фиг.9 – блок-схема модуля по определению состояния моргания глаз и открытого рта в настоящем изобретении.

Фиг.10 – блок-схема процессора по обработке сигналов в настоящем изобретении.

Описание осуществления изобретения

Как показано на фиг.1, предпочтительный вариант осуществления фотоаппарате включает головку штатива 1, запоминающую схему 2, процессор по обработке сигналов 3 и управляющую цепь 4. Головка штатива 1 хранит полученные и оцифрованные сигналы в запоминающей схеме 2. Процессор по обработке сигналов 3 анализирует цифровые изображения, которые хранятся в запоминающей схеме 2, и определяет по цифровому изображению, моргает ли человек и радостное ли выражение лица у него. Далее процессор по обработке сигналов определяет, является ли данный момент оптимальным для съемки, и, если является, то выдает инструкцию по съемке по управляющей цепи 4.

Как показано на фиг.2, процессор по обработке сигналов 3 включает прогрессивный модуль по распознаванию лица 3-1, модуль по позиционированию глаз и рта 3-2 и модуль по определению состояния моргания глаз и открытого рта 3-3. Модуль по распознаванию лица 3-1 считывает цифровое изображение с запоминающей схемы и передает данные модулю по позиционированию глаз и рта 3-2 после распознавания лица. Модуль по позиционированию глаз и рта 3-2 передает обработанные данные в модуль по определению состояния моргания глаз и открытого рта 3-3 после позиционирования глаз и рта. Модуль по определению состояния моргания глаз и открытого рта выдает окончательный результат в управляющую цепь 4. На этом этапе управляющая цепь 4 выдает инструкцию по съемке, когда окончательный результат представляет собой оптимальный момент для съемки, и не выдает инструкцию по съемке, если окончательный результат не соответствует оптимальному моменту для съемки.

Как показано на фиг.3, вышеупомянутый модуль по распознаванию лица 3-1 включает многомерный шаблон 3-1-1, изображение в режиме ожидания съемки 3-1-2 и устройство с шаблоном по расчету арифметического соответствия 3-1-3. Устройство с шаблоном по расчету арифметического соответствия записывает в память 2 многомерный шаблон 3-1-1 и изображение в режиме ожидания съемки 3-1-2 и передает арифметический результат в качестве позиционированного изображения лица 3-1-4. Вышеупомянутый многомерный шаблон 3-1-1, изображение в режиме ожидания съемки 3-1-2 и позиционированное изображение лица 3-1-4 хранятся на различных адресах ячеек памяти 2, соответственно. Многомерный шаблон представляет собой усредненный вариант шаблона, который включает 12 видов размеров изображений, полученных анализом множества попыток при выборе оптимального момента съемки изображений лица.

Как показано на фиг.4, вышеупомянутый модуль по позиционированию глаз и рта 3-2 включает в себя изображение в режиме ожидания съемки 3-1-2, позиционированное изображение лица 3-1-4 и устройство по горизонтально-вертикальному проецированию 3-2-1. Устройство по горизонтально-вертикальному проецированию 3-2-1 записывает в память изображение в режиме ожидания съемки 3-1-2 и позиционированное изображение лица 3-1-4 и передает арифметический результат в качестве позиционированного изображения глаз и рта 3-2-2. Вышеупомянутое изображение в режиме ожидания съемки 3-1-2, позиционированное изображение лица 3-1-4 и позиционированное изображение глаз и рта 3-2-2 хранятся на различных адресах ячеек памяти 2 соответственно.

Как показано на фиг.5, вышеупомянутый модуль по определению состояния моргания глаз и открытого рта 3-3 включает в себя изображение в режиме ожидания съемки 3-1-2, позиционированное изображение глаз и рта 3-2-2 и устройство по определению состояния моргания глаз и открытого рта 3-3-1. Устройство по определению состояния моргания глаз и открытого рта записывает в память 2 изображение в режиме ожидания съемки 3-1-2 и позиционированное изображение глаз и рта 3-2-2, получает обработанные результаты по каждому лицу человека в кадре и выдает инструкцию управляющей цепи 4. Вышеупомянутое изображение в режиме ожидания съемки 3-1-2, позиционированное изображение глаз и рта 3-2-2 хранятся на различных адресах ячеек памяти 2, соответственно.

На фиг.6 дана основная блок-схема модуля по позиционированию глаз и рта и модуля по определению состояния моргания глаз и открытого рта. Позиционированное изображение глаз и рта определяется простой проекцией в горизонтальном и вертикальном направлении. Определение состояния моргания глаз может выполняться следующим образом: если глаза закрыты, то при трех экстремумах по соответствующей координате в вертикальной проекции рисунка будет только один экстремум в горизонтальной проекции. Определение состояния открытого рта может выполняться так: если рот открыт, то точки на изображении от верхней до нижней губы имеют непрерывный спектр цвета, отличный от цвета рта.

На фиг.7 дана основная блок-схема по определению состояния открытого рта, выполняемого на основании центрирования рта, согласно фиг.6. Рассчитывается самое верхнее положение и самое нижнее положение рта по вертикальной оси в точках yUp и yDn соответственно. Таким образом, рассчитывается состояние открытого рта (yUp-yDn), сравнивается с пороговым значением, полученным из статистики, и определяется, открыт ли рот.

На фиг.8 дана блок-схема шаблона для модуля по распознаванию лица 3-1:

В S801 начать выполнение операций шаблона по распознаванию лица.

В S802 присвоить К=1. К – индекс шаблона.

В S803 вывести определенный шаблон Mk.

В S804 разделить шаблон Mk на N малых блоков.

В S805 подвергнуть воздействию каждый малый блок малой волной по переносу сигналов.

В S806 вывести максимальное значение 1/4 элемента по каждому малому блоку и сформировать вектор A(k).

В S807 определить, все ли шаблоны были обработаны. Переходить на S808, если ДА, и переходить на S803, если НЕТ.

В S808 присвоить К=1. К – индекс шаблона.

В S809 задать оси Х и Y для индекса Изображения.

В S810 провести считывание Изображения в режиме ожидания съемки.

В S811 вывести блок S того же размера, что и модуль.

В S812 разделить S на N малых блоков.

В S813 подвергнуть воздействию каждый малый блок малой волной по переносу сигналов.

В S814 вывести максимальное значение 1/4 элемента по каждому малому блоку и сформировать вектор.

В S815 увеличить сдвиг по Х и Y, чтобы перейти к следующему элементу изображения (пиксел). Если выбранное значение по Х меньше, чем ширина изображения, увеличить значение по Х на один пиксел, если значение по Х будет равно ширине изображения, присвоить по Х ноль и увеличить значение по Y на один пиксел.

В S 816 проверить, достигнут ли контур изображения, переходить на S817, если ДА, и переходить на S815, если НЕТ.

В S817 рассчитать расстояние DistAB(k) по векторам A(k) и B(k).

В S818 проверить, превышает ли DistAB(k) пороговое значение DistThreoldK, измеряемое по изображению лица. Переходить на S819, если ДА, и переходить на S820, если НЕТ.

В S819 записать позиционированное изображение лица.

В S820 подтвердить, все ли шаблоны обработаны, переходить на S821, если ДА, и переходить на S809, если НЕТ.

В S822 завершить процесс.

На фиг.9 дана блок-схема модуля по определению состояния моргания глаз и открытого рта 3-3:

В S901 спроецировать изображение лица, полученное от модуля по распознаванию лица, на горизонтальную ось.

В S902 определить, содержит ли изображение, полученное на предыдущем шаге, два экстремума, переходить на S904, если ДА, и переходить на S903, если НЕТ.

В S904 записать значение координат (у1, у2) экстремума, вычисленного на S902. На самом деле, координата у1 представляет собой проекцию центра рта на горизонтальную ось, а у2 – проекция центра глаза на горизонтальную ось.

В S903 считается, что глаза закрыты.

В S905 записать координату экстремума (у1), вычисленную в S902 и спроецированную на горизонтальную ось. На самом деле, у1 представляет собой проекцию центра рта на горизонтальную ось.

В S906 спроецировать изображение лица, полученное от модуля по распознаванию лица, на вертикальную ось.

В S907 определить, содержит ли изображение, полученное на предыдущем шаге, три экстремума, переходить на S909, если ДА, и переходить на S908, если НЕТ.

В S909 записать значение координат (х1, х2, х3) экстремума, вычисленных на S901 и спроецированных на вертикальную ось. На самом деле, координаты х1, х2, х3 представляют собой проекцию центра правого глаза, рта и левого глаза на вертикальную ось соответственно.

В S910 записать координаты центра рта (х2, у1).

В S911 задать точки yUp и yDn для вертикальной координаты рта.

В S912 проверить, попадает ли значение пиксела с координатами (х2, yUp) в область спектра цвета губ. Переходить на S914, если ДА, и переходить на S913, если НЕТ.

В S913 увеличить yUp на 1. На самом деле, это означает увеличение вертикальной координаты на 1 пиксел.

При поиске самой верхней точки губы на шаге S912, S913 горизонтальная координата х2 остается неизменной, увеличивается у2, которая соответствует yUp, далее идет проверка, попадает ли значение пиксела с координатами (х2, yUp) в область спектра цвета губ.

В S914 проверить, попадает ли пиксел с координатами (х2, yDn) в область спектра цвета губ. Переходить на S916, если ДА, и переходить на S915, если НЕТ.

В S915 уменьшить yDn на 1. На самом деле, уменьшается значение вертикальной координаты на 1 значение пиксела.

При поиске самой нижней точки губы на шаге S914, S915 горизонтальная координата х2 остается неизменной, уменьшается у2, которая соответствует yDn, далее идет проверка, попадает ли значение пиксела с координатами (х2, yDn) в область спектра цвета губ.

В S916 вычесть yDn из yUp и вычесть из этого пороговое значение, которое соответствует открытому рту. Переходить на S918, если полученное значение больше, чем пороговое значение, соответствующее открытому рту, и переходить на S917, если НЕТ.

В S917 считать, что область изображения лица соответствует закрытому рту.

В S918 считать, что область изображения лица соответствует открытому рту.

В S919 завершить процесс.

На фиг.10 дана блок-схема процессора по обработке сигналов 3 в настоящем изобретении:

В S1001 начать вычисление.

В S1002 присвоить Х=1. Х означает подобранные кадры изображения. Это необходимо, чтобы выбрать наилучший кадр изображения.

В S1003 получить цифровое изображение ImageX.

В S1004 произвести согласование с моделью.

В S1005 записать размещение каждого лица в кадре по FA1, FA2,…, FaN, где N – количество лиц в кадре.

В S1006 присвоить К=1. К – означает размещение каждого лица и предназначается для размещения каждого лица в кадре по блокам данных.

В S1007 провести считывание блока данных, содержащего изображение, по адресу Fak из ImageX.

В S1008 спроецировать ImageX.

В S1009 определить, есть ли проекция глаза, соответствующая проекции изображения. Переходить на S1010, если ДА, и переходить на S1014, если НЕТ.

В S1010 определить, есть ли проекция рта, соответствующая проекции изображения. Переходить на S1011, если ДА, и переходить на S1014, если НЕТ.

В S1011 выявить необходимость определения состояния открытого рта. Переходить на S1012, если ДА, и переходить на S1013, если НЕТ.

B S1012 определить состояние открытого рта. Переходить на S1013, если ДА, и переходить на S1014, если НЕТ.

В S1013 увеличить количество отобранных кадров с лицами на 1.

В S1014 определить, превышает ли количество распознанных лиц в текущих отобранных изображениях, распознанных ранее. Переходить на S1015, если ДА, и переходить на S1016, если НЕТ.

В S1016 определить, обработаны ли все лица в текущем изображении. Переходить на S1017, если ДА, и переходить на S1018, если НЕТ.

В S1017 определить, достаточное ли число кадров обработано. Переходить на S1020, если ДА, и переходить на S1019, если НЕТ.

В S1020 извлечь из памяти лучшие кадры с изображением лиц.

В S1021 выдать инструкцию по съемке для завершения вышеупомянутого процесса и фиксирования выбранного положения для съемки.

Формула изобретения

1. Цифровой фотоаппарат с выбором оптимального момента для съемки, содержащий головку для штатива (1), запоминающую схему (2) и процессор по обработке сигналов (3), включающий прогрессивный модуль по распознаванию лица (3-1), модуль по позиционированию глаз и рта (3-2), модуль по определению состояния моргания глаз и открытого рта (3-3) и управляющую цепь (4), при этом модуль по распознаванию лица (3-1) служит для считывания изображения с запоминающей схемы и передачи обработанных данных в модуль по позиционированию глаз и рта (3-2) после распознавания лица; модуль по позиционированию глаз и рта (3-2) служит для передачи обработанных данных в модуль по определению состояния моргания глаз и открытого рта (3-3) после позиционирования глаз и рта; модуль по определению состояния моргания глаз и открытого рта (3-3) служит для выдачи окончательного результата; управляющая цепь (4) служит для выдачи инструкций по съемке в случае соответствия полученного от модуля по определению состояния моргания глаз и открытого рта (3-3) окончательного результата оптимальным условиям момента для съемки и, соответственно, не выдачи при окончательном не соответствии результата условиям оптимального момента для съемки.

2. Фотоаппарат по п.1, в котором вышеупомянутый модуль по распознаванию лица (3-1) включает многомерный шаблон (3-1-1), изображение в режиме ожидания съемки (3-1-2) и устройство с шаблоном по расчету арифметического соответствия (3-1-3), устройство с шаблоном по расчету арифметического соответствия записывает в память (2) многомерный шаблон (3-1-1) и изображение в режиме ожидания съемки (3-1-2) и передает арифметический результат в качестве позиционированного изображения лица (3-1-4), при этом вышеупомянутый многомерный шаблон (3-1-1), изображение в режиме ожидания съемки (3-1-2) и позиционированное изображение лица (3-1-4) хранятся на различных адресах ячеек памяти (2), соответственно.

3. Фотоаппарат по п.1, в котором вышеупомянутый модуль по позиционированию глаз и рта (3-2) включает в себя изображение в режиме ожидания съемки (3-1-2), позиционированное изображение лица (3-1-4) и устройство по горизонтально-вертикальному проецированию (3-2-1), записывающее в память (2) изображение в режиме ожидания съемки (3-1-2) и позиционированное изображение лица (3-1-4) и передающее арифметический результат в качестве позиционированного изображения глаз и рта (3-2-2), при этом вышеупомянутое изображение в режиме ожидания съемки (3-1-2), позиционированное изображение лица (3-1-4) и позиционированное изображение глаз и рта (3-2-2) хранятся на различных адресах ячеек памяти (2), соответственно.

4. Фотоаппарат по п.1, в котором вышеупомянутый модуль по определению состояния моргания глаз и открытого рта (3-3) состоит из изображения в режиме ожидания съемки (3-1-2), позиционированного изображения глаз и рта (3-2-2) и устройства по определению состояния моргания глаз и открытого рта (3-3-1), записывающего в память (2) изображение в режиме ожидания съемки (3-1-2) и позиционированное изображение глаз и рта (3-2-2), и получающего обработанные результаты по каждому лицу человека в кадре и выдающего инструкцию управляющей цепи (4), при этом вышеупомянутое изображение в режиме ожидания съемки (3-1-2) и позиционированное изображение глаз и рта (3-2-2) хранятся на различных адресах ячеек памяти (2), соответственно.

РИСУНКИ

MM4A – Досрочное прекращение действия патента СССР или патента Российской Федерации на изобретение из-за неуплаты в установленный срок пошлины за поддержание патента в силе

Дата прекращения действия патента: 10.09.2008

Извещение опубликовано: 20.08.2010 БИ: 23/2010