Патент на изобретение №2292839

(54) СПОСОБЫ И УСТРОЙСТВО ДЛЯ АНАЛИЗА ПОВЕДЕНИЯ ЧЕЛОВЕКА

(57) Реферат:

Раскрыт способ для анализа поведения человека, включающий следующие этапы: осуществление одного или более измерений или наблюдений за человеком; кодирование измерений или наблюдений с образованием множества каналов; и анализ каналов с использованием искусственного интеллекта, чтобы вывести информацию, относящуюся к психологии человека. Приведено устройство для автоматического анализа поведения человека. Изобретения позволяют быстро получить объективную информацию по анализу поведения человека. 2 н. и 34 з.п. ф-лы, 3 ил.

Настоящее изобретение относится к способам и устройству для анализа поведения человека с использованием искусственного интеллекта и, в частности, касается, но это не означает, что исключительно, анализа несловесного видимого поведения человека с использованием искусственных нейронных сетей.

Проявляется большой интерес к способам выявления психологических характеристик человека с целью получения информации о человеке, которую человек либо не желает, либо искренне не может разгласить. Основной пример этого относится к области обнаружения обмана.

Существуют разнообразные устройства для обнаружения обмана (так называемые “детекторы лжи”), которые используют для этой цели. Эти устройства способны обнаруживать некоторую ключевую информацию, которая может указывать на обман, но обычно они не пригодны для оценки умственного, поведенческого и/или физического состояния.

В патенте США №5507291 раскрыт способ для дистанционного обнаружения информации, относящейся к эмоциональному состоянию человека, в котором волновую энергию излучают беспроводным способом к находящемуся на расстоянии человеку. Волновая энергия, излученная от человека, обнаруживается и автоматически анализируется путем сравнения измеренных значений с опорными значениями, и из результатов сравнения выводится информация, относящаяся к эмоциональному состоянию индивидуума.

Одним хорошо известным устройством, первоначально созданным в 1920 г., является полиграф. В США это устройство можно использовать на собеседованиях по приему на работу или при страховых исках, а в штате Нью-Мексико результаты опроса принимаются в качестве доказательства в суде, действующем по нормам статутного и общего права. Обычно посредством полиграфа регистрируют частоту сердечных сокращений, частоту дыхания и потливость: к груди прикрепляют трубки для мониторинга частоты дыхания; с помощью манжеты для измерения кровяного давления на одной руке осуществляют мониторинг частоты сердечных сокращений; с помощью гальванического датчика реакции кожи на кончике пальца осуществляют мониторинг потливости. В течение опроса оператор комментирует диаграмму считанных данных, так что реакции тела могут быть связаны с конкретными фразами или вопросами. Для компетентного читателя очевидно, что испытание связано с физическим вмешательством.

Степень правдоподобия испытания в значительной мере зависит от уровня квалификации оператора, который проводит испытание, и профессионального мастерства экспертов при интерпретации диаграмм, хотя делалось несколько попыток автоматизировать анализ диаграмм. Кроме того, результаты зависят от испытуемого человека, поскольку некоторые люди способны контролировать свои реакции и тем самым искажать результаты испытания.

Испытание на полиграфе основано всего лишь на трех измерениях (каналах), которые являются показателями стресса. Вполне вероятно, что невиновный человек может ощущать напряжение или приходить в замешательство, когда его, например, обвиняют в преступлении. Любое ощущение нервозности, замешательства, страха, гнева или необоснованно возложенной вины может вызвать стрессовую реакцию. Поэтому вполне вероятно, что реакции невиновного человека могут быть неправильно интерпретированы как обман. Другая проблема заключается в том, что лживый (или правдивый) человек, который знает несколько простых приемов, может контролировать свои стрессовые реакции и, следовательно, может обманывать оператора полиграфа. Следствием этого является то, что машина относится с предубеждением к правдивому человеку.

Другим обнаружителем обмана является звуковой анализатор, в котором сделана попытка обнаруживать обман в реальном времени путем регистрации и измерения изменений основной частоты голоса. Когда человек находится в стрессовом состоянии, количество крови в голосовых связках уменьшается. Невольное влияние нервной системы вынуждает голосовые связки формировать искаженную звуковую волну несколько иной частоты. И опять, поскольку это измерение (или канал) связано со стрессом, человек может управлять своей стрессовой реакцией, особенно в случае, если он знает, что подвергается контролю. Следует отметить, что оценка правдивости человека производится только на основании измерений в стрессовой ситуации, осуществляемых таким прибором.

Известно, что несловесное видимое поведение может указывать на психологические личностные характеристики человека. Под несловесным “видимым” поведением имеются в виду внешние отличительные черты человека, которые могут быть замечены наблюдателем, например, движения человека. Оно противоположно невидимому поведению, проявляющемуся в таком виде, как частота сердечных сокращений и голос.

Возможно, что Чарльз Дарвин был первым ученым, систематически исследовавшим картины несловесного видимого поведения людей и животных. Методика анализа несловесного поведения с использованием “последовательных кадров” была подробно изложена Эфроном в его классической работе (Efron D., Gesture and environment, 1941, Kings Crown, Нью-Йорк). Согласно методике последовательных кадров создается фильм или видеозапись поведения человека, а человек-эксперт наблюдает и вручную кодирует “канальные” данные из каждого кадра в фильме. Термин “канал” является вполне понятным в области психологического анализа и отражает один аспект общего поведения, демонстрируемого человеком. Например, канал может содержать факты о контактах глаз, информацию о пристальном взгляде или движениях тела. Кодирование может просто включать в себя регистрацию того, наблюдалось ли конкретное поведение, или может включать в себя оценку длительности канала (в течение ряда кадров), или может включать в себя некоторое субъективное мнение со стороны эксперта.

Обычно для конкретного исследования выбирают большое количество каналов (многоканальную систему), так что способ последовательных кадров реализуется в течение ряда временных интервалов, по одному для каждого канала. Это может сделать один человек-эксперт, воспроизводя видеоизображение много раз, или видеоизображение могут просматривать несколько экспертов, при этом каждый воспринимает информацию для одного или двух каналов.

Затем канальные данные могут быть сгруппированы на фиксированных временных интервалах или на временных интервалах, которые совпадают с некоторым событием, например с ответом на вопрос. Далее сгруппированные данные анализирует человек, который имеет опыт работы по анализу несловесного поведения и имеет опыт работы по анализу конкретного набора каналов. Существует надежда, что в данных будут обнаружены образы, которые покажут какое-либо умственное, поведенческое или физическое состояние.

Имеются несколько проблем и недостатков, связанных со способом ручной обработки “последовательных кадров”, которые рассмотрены ниже.

Во-первых, в способе “последовательных кадров” человек-эксперт вручную кодирует каждый кадр для каждого канала. Необходимое для этого время возрастает, по меньшей мере, линейно с увеличением числа каналов, и кроме того, требуется дополнительное время для стадии анализа. Конечный результат будет получен в лучшем случае через несколько часов после испытания. Наиболее вероятно, что пройдет несколько дней или даже недель.

Во-вторых, использование в течение длительного времени одного или нескольких высококвалифицированных экспертов и специалистов-аналитиков является дорогостоящим мероприятием.

В-третьих, для конкретного психологического исследования является неизвестной относительная значимость различных каналов. В ручном способе число каналов, фактически собираемых и анализируемых, ограничивают из соображения снижения затрат. Каналы могут быть выбраны на основании существующей осведомленности исследователя, на основании информации, полученной из вторых рук или из литературных источников. Исследователь может задать каналам одинаковые уровни значимости или может придать одному каналу дополнительный вес.

В дополнение к элементу субъективности люди-эксперты могут различным образом кодировать каналы, могут быть непоследовательными или совершать ошибки, например вследствие утомления. Различные исследователи могут выбирать разные каналы, способы кодирования или способы анализа и, следовательно, получать разные результаты при использовании одной и той же последовательности кадров. Поэтому анализ по своей сущности является случайным.

В-четвертых, в случае, когда анализируют большое количество каналов, группируя многочисленные каналы, анализ является особенно сложным вследствие многомерности данных. С увеличением числа каналов повышается вероятность пропуска важных образов. Поскольку люди могут полностью концентрировать внимание на ограниченном числе каналов, становится вероятным, что значимые каналы невольно могут быть совершенно проигнорированы.

Из вышесказанного очевидно, что традиционный способ кодирования каналов по последовательным кадрам и последующий анализ требуют больших затрат времени, являются дорогостоящими и сложными, и этому способу присущи ошибки.

Кроме того, несомненно, что в течение длительного времени ощущается необходимость в усовершенствованных способах и устройствах для анализа поведения, например обмана.

Настоящее изобретение направлено на удовлетворение этих потребностей, разрешение проблем и устранение недостатков.

Для исключения неясности под “несловесным поведением” понимается термин, относящийся ко всякому поведению, демонстрируемому человеком, исключая значение слов, произносимых человеком. Под “несловесным видимым поведением” имеются в виду внешние отличительные черты человека, которые может видеть наблюдатель, например, движения человека. Оно противоположно “несловесному невидимому поведению”, выражающемуся в таком виде, как частота сердечных сокращений и высота голоса.

В соответствии с первым аспектом изобретения разработан автоматический способ для анализа поведения человека, содержащий следующие этапы:

осуществление одного или более измерений или наблюдений за человеком;

кодирование измерений или наблюдений с образованием множества каналов; и

анализ каналов с использованием способа автоматической машинной классификации для того, чтобы вывести информацию, относящуюся к психологии человека.

Имеются многочисленные преимущества, связанные со способом настоящего изобретения. Способ является автоматическим и весьма быстрым, с его помощью можно проанализировать человека и получить выходную информацию в реальном или близком к реальному времени. Под “автоматическим” имеется в виду то, что способ осуществляется машиной без вмешательства человека. Способ является высокоэффективным с точки зрения затрат, объективным, состоятельным и надежным. Существенно, что при использовании настоящего изобретения можно получать и анализировать большое число каналов без пристрастного отношения и без утраты важной поведенческой информации, содержащейся даже временно в любом определенном канале. Среди прочего эта возможность повышает точность и надежность, поскольку несмотря на то, что человек, который является, например, вводящим в заблуждение, может контролировать некоторые поведенческие каналы, но весьма маловероятно, что человек может согласованно контролировать все каналы в течение промежутка времени.

В предпочтительных вариантах осуществления способ автоматической машинной классификации включает в себя искусственный интеллект. Однако могут быть использованы другие машинные способы, например способы статистической классификации. Такие статистические способы являются по сущности чисто математическими и не включают в себя искусственный интеллект. Способы классификации могут быть реализованы при использовании компьютера или микропроцессоров иного вида. Использование способов машинной автоматической классификации исключает недостатки, связанные с работой человека-эксперта.

Искусственный интеллект, используемый для анализа каналов, может включать в себя искусственную нейронную сеть, генетический алгоритм, дерево решений, нечеткую логику, символьные правила, обучение машины и интеллектуальные средства других видов. Можно использовать некоторые из указанных выше объектов и/или сочетания из них.

Могут быть выполнены измерения несловесного поведения человека, которые могут быть измерениями несловесного видимого поведения человека и/или несловесного невидимого поведения человека. Более конкретно, могут быть осуществлены наблюдения движений человека. Такие наблюдения являются визуальными по своей сущности и поэтому обеспечивают преимущество, заключающееся в том, что для человека не являются физическим вмешательством. Другое преимущество заключается в том, что значительная часть важной информации обнаруживается при движениях человека. Еще одно преимущество заключается в том, что большое число каналов можно кодировать на основании информации о движениях человека. Дополнительное преимущество заключается в том, что большое количество каналов можно кодировать на основании информации из одного множества наблюдений, например из последовательности кадров, полученных при использовании одной видеокамеры.

Наблюдения движений человека могут включать в себя получение большого количества изображений человека; а кодирование наблюдений с образованием большого количества каналов может включать в себя выделение признаков из изображений.

Каналы могут включать в себя движения глаз (например, моргание, взгляд в желаемом направлении), перемещения лица (например вертикальное, горизонтальное перемещение или наклон головы и перемещение кожи лица) или движения рук, ног или туловища человека. Все это примеры движений человека.

Могут быть осуществлены измерения или наблюдения другого несловесного поведения, в дополнение или вместо движений человека. Примерами таких других измерений являются частота сердечных сокращений, потливость, частота дыхания, особенности электроэнцефалограммы, тепловое изображение, обнаружение любого “ерзанья” на стуле, на котором человек может сидеть, и паралингвистические измерения (Zuckerman M., Driver R. E., “Telling lies: Verbal and nonverbal correlates of deception, in mathematical integrations of nonverbal behaviour”, Eds: A.W. Siegman, S. Feldstein, 1985). Выбор измерений или наблюдений и числа отдельных каналов должен быть таким, чтобы (в противоположность способам из уровня техники, например испытаниям на полиграфе, рассмотренным выше) люди не могли контролировать свои реакции и, таким образом, “обманывать” предложенный способ.

Измерения или наблюдения словесного поведения, то есть смысла произносимых слов, могут быть сделаны в дополнение или вместо измерений или наблюдений несловесного поведения.

Каналы можно анализировать для того, чтобы установить, не является ли поведение человека вводящим в заблуждение. Вероятно, это самое трудное для обнаружения психологического поведения. Однако с помощью настоящего изобретения можно с высокой точностью обнаруживать вводящее в заблуждение поведение.

В альтернативных применениях каналы можно анализировать для того, чтобы устанавливать умственное, поведенческое и/или физическое состояние человека, примеры которых включают в себя эмоциональные характерные черты, такие как стресс, виновность, счастье, испуг, уверенность; характерные черты личности, такие как интроверсия, экстраверсия, способность к соглашению, добросовестность, непредубежденность к эксперименту, эмоциональный ум, хорошие манеры, угодливое поведение; и медицинские особенности, такие как чувство настоящей боли или психопатическое состояние.

Согласно второму аспекту изобретения разработано устройство для автоматического анализа поведения человека, содержащее:

средство обнаружения для осуществления одного или более измерений или наблюдений за человеком;

кодирующее средство для кодирования измерений или наблюдений с образованием множества каналов; и

средство автоматической машинной классификации, выполненное с возможностью анализа каналов и выходной информации, относящейся к психологии человека.

Средство обнаружения может осуществлять измерения или наблюдения несловесного поведения человека, которые могут быть измерениями или наблюдениями несловесного видимого поведения человека. Средство обнаружения может осуществлять наблюдение движений человека. Это средство обнаружения может формировать множество изображений человека; а кодирующее средство может содержать выделительное средство для выделения признаков из изображений.

Кодирующее средство может кодировать наблюдения с образованием одного или более каналов, относящихся к движениям глаз.

Кодирующее средство может кодировать наблюдения с образованием одного или более каналов, относящихся к перемещениям лица.

Кодирующее средство может кодировать наблюдения с образованием одного или более каналов, относящихся к движениям рук, ног или туловища человека.

В общем случае кодирующее средство может кодировать измерения или наблюдения с образованием одного или более каналов, относящихся к несловесному видимому поведению, несловесному невидимому поведению и/или словесному поведению.

Средство обнаружения может содержать одну или более камер или иных фиксирующих изображения средств. Таким образом, кодирующее средство может кодировать изменения или наблюдения несловесного невидимого поведения человека с образованием одного или более каналов.

Средство обнаружения может содержать микрофон.

Предпочтительно, чтобы средство автоматической машинной классификации содержало средство искусственного интеллекта, которое может включать в себя искусственную нейронную сеть, генетический алгоритм, дерево решений, нечеткую логику, символьные правила, обучение машины и интеллектуальные средства других видов. Можно использовать совокупность и/или сочетания их перечисленных выше объектов. Можно использовать средства автоматической машинной классификации иных видов, такие как средства статистической классификации. Средства статистической классификации могут содержать микропроцессор, выполненный с возможностью программной реализации статистических способов.

Средство искусственного интеллекта может быть выполнено с возможностью установления того, является ли поведение человека вводящим в заблуждение.

Средство искусственного интеллекта может быть выполнено с возможностью установления умственного, поведенческого и/или физического состояния человека, примеры которых включают в себя эмоциональные характерные черты, такие как стресс, виновность, счастье, испуг, уверенность; характерных черт личности, таких как интроверсия, экстраверсия, способность к соглашению, добросовестность, непредубежденность к эксперименту (интеллект), эмоциональный интеллект, хорошие манеры и угодливое поведение; и медицинских особенностей, таких как чувство настоящей боли или психопатическое состояние.

Средство искусственного интеллекта может быть выполнено с возможностью вывода информации, касающейся характерных черт личности человека.

Теперь варианты осуществления способа и устройства согласно изобретению будут описаны со ссылками на сопровождающие чертежи, на которых:

Фигура 1 – структурная схема устройства согласно изобретению;

Фигура 2 – структурная схема устройства для анализа несловесного видимого поведения; и

Фигура 3 – структурная схема, иллюстрирующая локатор объектов, детектор образов, канальное кодирующее устройство, кодирующее устройство сгруппированных каналов и классификаторы, представленные на фигуре 2.

В настоящем изобретении искусственный интеллект использован для анализа каналов, относящихся к поведению человека. В предпочтительном, но не в ограничивающем варианте осуществления используются искусственные нейронные сети.

В широком понятии нейронная сеть представляет собой параллельную сеть, состоящую из простых процессоров или “нейронов”, которые обладают способностью накапливать эмпирические знания. Знания приобретаются путем обучения, а не программирования, и сохраняются в соединительных связях между нейронами в сети (см. например, Hassoun M.H., “Fundamentals of artificial networks”, 1995, MIT Press).

Для такой машинной системы не важна относительная значимость каналов, поскольку нейронная сеть воспринимает все обеспечиваемые каналы и сама решает, какие каналы являются значимыми, незначимыми или избыточными. В начале обучения все каналы по существу имеют одну и ту же значимость, по мере хода обучения машина сама принимает решение об уровне значимости каждого канала. В общем случае, чем больше людей и каналов, используемых для обучения, тем будет выше точность последующих результатов при применении нейронной сети для оценивания людей, ранее не проходивших испытаний. Нейронная сеть способна обнаруживать образы в данных, относящихся к поведению человека, даже в том случае, когда имеются многомерные входные данные, то есть при использовании многих каналов. Во время обучения каналам автоматически приписываются веса. После обучения вновь представленные образы данных, включающие в себя поведение человека, классифицируются быстро, а важные образы не пропускаются.

На фигуре 1 представлен основной вариант осуществления устройства согласно настоящему изобретению, предназначенного для анализа поведения человека. Устройство содержит:

средство 12 обнаружения для осуществления одного или нескольких измерений или наблюдений за человеком;

кодирующие средства 14, 16, 18, 20, предназначенные для кодирования измерений или наблюдений с образованием множества каналов; и

средство 22 искусственного интеллекта, выполненное с возможностью анализа каналов и выходной информации, относящейся к психологии человека.

На фигуре 2 представлен конкретный вариант осуществления устройства согласно настоящему изобретению, предназначенного для анализа несловесного видимого поведения.

В конкретном варианте осуществления средство 12 обнаружения представляет собой камеру, например видеокамеру, или записанную последовательность кадров, из которой можно получать изображения движущегося человека в виде множества кадров.

“Локаторы объектов” 14 обнаруживают объекты на изображении, такие как лицо, глаз, нос и т.д. “Детекторы образов” 16 обнаруживают образы в пределах участков объектов, например закрытый глаз, прищуренный глаз или глазное яблоко, обращенное влево. В конкретном варианте осуществления в этих локаторах объектов и детекторах образов используются обученные нейронные сети 14а/16а. В канальных кодирующих устройствах 18 данные от детекторов 16 образов и локаторов 14 объектов используются для автоматического кодирования канальных данных. В кодирующих устройствах 20 сгруппированных каналов данные объединяются на протяжении фиксированного или переменного интервала времени с целью получения масштабированного результата.

В конкретном варианте осуществления в классификаторе 22, который содержит нейронные сети 22а, используются данные от кодирующих устройств 20 сгруппированных каналов с целью получения конечного решения, относящегося к психологии человека.

На фигуре 3 более подробно показана иерархия кодирующих средств 14, 16, 18, 20 и средства 22 искусственного интеллекта. Те же номера, что и на фигуре 2, использованы для обозначения таких элементов, как локаторы 14 объектов, детекторы 16 образов, канальные кодирующие устройства 18, кодирующие устройства 20 сгруппированных каналов и классификаторы 22. На фигуре 3 этими номерами обозначены основные места расположения этих компонентов. Элементы, принадлежащие компоненту, расположены в виде вертикального столбца над соответствующим номером на фигуре 3. Поэтому, например, локатор 14 объектов содержит ряд индивидуальных элементов, таких как локатор 24 лица, локатор 26 глаз и локатор 28 бровей, которые в свою очередь имеют ассоциированные нейронную сеть 24а локатора лица, нейронную сеть 26а локатора глаз и нейронную сеть 28а локатора бровей. С учетом уровня сложности обработки перечень конкретных элементов, показанных на фигуре 3, не является исчерпывающим: можно обнаруживать другие признаки и можно кодировать другие каналы. Показанные пунктирными линиями элементы 30 на фигуре 3 обозначают такие дополнительные обрабатывающие элементы. Канальные данные с кодирующих устройств 20 сгруппированных каналов подаются на классификатор 32 виновности и классификатор 34 обмана. Каждый классификатор имеет ассоциированную нейронную сеть 32а, 34а. Поведение, связанное с виновностью, может проявляться аналогично поведению, связанному с обманом, и такое сходство снижает точность некоторых систем обнаружения обмана из уровня техники, поскольку поведение виновного может приводить к “ошибочной достоверности” применительно к обманчивому поведению. Однако при использовании ряда каналов (например, каналов, описанных в настоящей заявке) выявляются все различия между поведением виновного и поведением обманывающего. Путем введения классификатора 32, который специально обучен для распознавания поведения при виновности, и отдельного классификатора 34, который специально обучен для распознавания поведения при обмане, достигается отделение поведения при виновности от поведения при обмане. Между прочим следует отметить, что человек может быть виновным и обманывающим.

Для компетентного читателя очевидно, что в этом конкретном варианте осуществления нейронные сети используются тремя основными способами. Они используются для обнаружения объектов, распознавания образов объектов и для классификации данных сгруппированных каналов. Нейронные сети 14а, 16а обнаружения объектов и распознавания образов объектов применяются для образования канальных данных за один кадр и, следовательно, данных сгруппированных каналов в течение ряда кадров. В нейронной сети 22а классификатора данные сгруппированных каналов используются для принятия решения относительно умственного, поведенческого и/или физического состояния человека.

Использование нейронных сетей представляет собой чрезвычайно эффективный, гибкий и быстрый способ выполнения кодирования и анализа кодированных каналов. Однако другие способы осуществления этой функции могут быть найдены специалистом в области техники, к которой относится изобретение, и поэтому использование для этой цели нейронных сетей (или других методик искусственного интеллекта) не должно рассматриваться как ограничивающий аспект изобретения.

Ниже будет описан более подробно не создающий ограничений вариант осуществления.

Подробное описание конкретного варианта осуществления устройства

В случае несловесного видимого поведения наиболее вероятным средством 12 обнаружения является видеокамера. Данные в виде последовательности кадров поступают на локаторы объектов.

Локаторы объектов

В локаторах объектов из последовательности кадров выделяются заранее заданные признаки. Важным объектом, который необходимо обнаруживать, является лицо. После обнаружения лица могут быть сделаны предположения относительно примерных мест нахождения характерных признаков лица и других частей тела.

Обнаружение лица в изображении представляет собой сложную задачу. Изображения содержат очень большое количество данных, которые необходимо обработать. Лицо может появляться в любом месте изображения, в любом масштабе и под любым углом. Человек может использовать косметику, носить очки, иметь бороду или усы или иметь закрывающую лицо шляпу или прическу. Направление и уровень освещенности могут быть различными, а фон может быть разноплановым. Кроме того, требование, заключающееся в необходимости канального кодирования и анализа в реальном времени, означает, что основные объекты должны быть обнаружены быстро. Существуют разнообразные способы обнаружения лица.

В настоящем рассматриваемом устройстве две обучающиеся под надзором нейронные сети используются для распознавания различия между изображением с лицом и без лица. Одна сеть предназначена для сжатия данных элементов изображения, а другая предназначена для классификации сжатых данных. Для обучения сетей используют наборы собранных вручную изображений: набор векторов при наличии лица и набор векторов при отсутствии лица. После обучения сети могут классифицировать отдельный участок из кадра как “лицо” или как “не лицо”.

Другие объекты, такие как нос, рот, брови, руки и т.д., могут быть обнаружены аналогичным образом. Увеличение числа объектов повышает ошибкоустойчивость системы. Например, сведения о глазах позволяют точно настроиться на место расположения лица. Каждый обнаруженный объект вносит вклад в точную настройку на места расположения других объектов, поскольку, например, характерные признаки лица связаны с относительно хорошо определенными позиционными соотношениями, и существуют простые правила, которым можно следовать, например глаза находятся выше носа.

Если один объект расположен неправильно, то результаты от других объектов все же могут дать приемлемый ответ. Нейронные сети допускают небольшие изменения образов. Если имеется много каналов, в основу которых положены многочисленные объекты, то ошибки всего лишь в одном или двух каналах будут иметь небольшое значение.

Детекторы образов

Детекторы образов распознают образы известных объектов. Например, нейронная сеть, которая специально обучена распознавать “закрытый глаз”, формирует “1” в случае закрытого глаза и “-1” в случае открытого глаза. Уже имеющиеся объектные данные относительно глаза используются в сжатом виде в качестве входных данных для каждого детектора образа глаза, так что каждая сеть получается небольшой, в результате чего обеспечивается выигрыш в быстродействии.

Детекторы образов обучают, используя набор данных, которые отражают значительные изменения образов для конкретного объекта. В конкретном варианте осуществления, рассматриваемом в настоящей заявке, для каждого образа объекта используется способ кодирования “с несколькими вариантами”. В этом способе формируются несложные коды, а использование способа обеспечивает преимущество, заключающееся в том, что кодирующие устройства не должны обучаться и нет необходимости в том, чтобы объекты имели отношение к лицу. Однако использование более современных способов, реализуемых, например системой Экмана для кодирования поведения лица (СЭКПЛ, FACS) [Ekman P., Friesen W.V. (1978), Consulting Psychologists Press, Пало-Альто, Калифорния, США], находится в рамках объема изобретения. Система Экмана для кодирования поведения лица представляет собой совершенную систему кодирования, которая относится к движению групп мышц лица, для нее требуется обучаемое кодирующее устройство.

Выделение канальных данных и данных сгруппированных каналов

Следующая стадия заключается в выделении канальной информации за кадр. В основу таких каналов положена информация об одном или нескольких местах расположения объектов или данные с детекторов образов. Для каждого канала статистические результаты, полученные из данных сгруппированных каналов, дают больше информации. Канальные данные могут собираться в двоичной цифровой или в аналоговой форме. Канал может содержать информацию текущего кадра или может содержать взаимосвязь между текущим кадром и одним или несколькими предыдущими кадрами. Примером последнего случая является моргание глазом. По своей сущности сигнал конкретного канала может быть двоичным, например “0” или “1” или “аналоговым”, имеющим один из диапазонов значений, например действительных чисел между “-1” и “1”. Кроме того, один канал можно представить набором двоичных или аналоговых данных, например небольшим участком элементов растрового изображения (пикселей). Для выделения видеоизображений существуют каналы трех основных типов, впредь называемые основными, простыми и сложными.

Основной канал

В основу канала этого типа либо положены относительные положения объекта, изменения положений объекта, либо основные функции, оперирующие с пикселями объекта. Например, в основу канала “перемещения головы” как раз может быть положено местоположение лица в каждом кадре. Поскольку расстояние от каждого человека до камеры может изменяться в промежутках между видеосъемкой и в течение видеосъемки, позиционные измерения основаны на общем измерении. Ширина и высота лица используются для определения относительных расстояний или перемещений. Значения нормируются к числам между “-1” и “1”.

Для простых расстояний между объектами (например, для руки и лица) “-1” относится к минимальному выбранному расстоянию (например, 0 ширин лица), а “1” относится к максимальному выбранному расстоянию (например, 10 ширин лица). Рука, закрывающая рот или нос или приближенная к лицу, может быть сигналом “утаивания”.

В качестве альтернативы между объектами может быть измерено как вертикальное, так и горизонтальное расстояние. Отрицательное значение по вертикали может свидетельствовать о том, что объект “а” находится выше объекта “b”, тогда как положительное значение свидетельствует о том, что объект “b” находится выше объекта “а”. Отрицательные числа могут указывать на перемещение в одном направлении, а положительные числа могут указывать на перемещение в противоположном направлении.

Примером основной функции является определение степени красноты лица. Можно брать красную составляющую лицевого объекта и сравнивать ее с предыдущим кадром, чтобы увидеть, имеется ли какое-нибудь покраснение или побеление. Результат, находящийся между “-1” и “1”, представляют на проверку в соответствии с некоторыми минимальным и максимальным критериями.

При группировании данных статистические результаты одного или нескольких каналов могут быть получены для отдельного канала. Например, из достоверных данных могут быть получены среднее, медианное и наиболее вероятное значения. В качестве альтернативы из достоверных данных можно получить одну статистическую величину, например процентное содержание единиц, нормированное к диапазону от “-1” до “1”. Для кодирования данных могут быть использованы другие преобразования.

Простой канал

В канале этого типа используются данные детекторов образов, а для каждого кадра принимается простое решение. Например, в основу канала “закрытых глаз” могут быть положены четыре результата: левый глаз закрыт, правый глаз закрыт, левый глаз полностью или наполовину закрыт, правый глаз полностью или наполовину закрыт. Каждая сеть формирует выходной сигнал в диапазоне от “-1” до “1”. В канале может содержаться усреднение откликов сети или может использоваться логическое решение некоторого вида. При группировании результатов на каждый канал может быть образована одна или несколько статистических величин, например процентное содержание единиц, нормированное к диапазону от “-1” до “1”.

Сложный канал

В канале этого типа данные детекторов образов используются более сложным способом. Например, моргание глазом может считаться происходящим в случае, когда глаз закрывается и вслед за этим сразу же открывается. Это сведение можно использовать для исключения очень похожего на моргание глазом взгляда человека на пол или ошибки нейронной сети, обусловленной использованием одного кадра.

Получение статистических результатов также усложняется из-за времени, необходимого для учета минимального и максимального значений. В случае простого канала стандартный минимум составляет 0 за секунду, а стандартный максимум выражается числом кадров за секунду. В сложном канале обычно имеются нестандартные минимум и максимум. Например, минимум для моргания глазами может быть установлен 0 за секунду, а максимум установлен всего лишь 2 за секунду.

Статистические данные сгруппированных каналов

Сигналы каналов накапливаются в течение ряда кадров. Для конкретного канала можно накопить одну или несколько статистических величин, например процентное содержание единиц, нормированное к диапазону от -1 до 1, средние значения, массивы усредненных пикселей и число единиц, связанных с выбранными максимумом и минимумом.

Статистические величины могут быть вычислены для фиксированных промежутков времени или для переменных промежутков времени, например для промежутка времени, который соответствует конкретному ответу на вопрос. В каждом случае достоверные статистические величины каналов вычисляют только в случае, если количество собранных достоверных данных превышает установленное процентное содержание.

Если в отдельном кадре конкретный объект не обнаружен, то положение объекта считается “ложным”, результаты детекторов образов, основанные на этом объекте, являются “несостоятельными”, а выходные сигналы каналов, в основу которых положен этот объект, считаются “недостоверными”. Однако статистические величины сгруппированных каналов могут быть “достоверными” или “недостоверными” в зависимости от ряда полученных ранее результатов для данных каналов. В одном варианте осуществления количество собранных достоверных данных должно превышать 95%.

Объединение канальных статистических величин

Статистические величины (в диапазоне от -1 до 1), полученные от каждого канала, связывают для получения вектора, который представляет статистические данные всех каналов в течение рассматриваемого промежутка времени. Некоторые векторы сохраняют для обучения и тестирования. Полезно классифицировать другие, ранее “незамеченные” векторы.

Поскольку некоторые реакции создают медленно меняющийся образ, а другие являются мимолетными (например, микроэкспрессии), то с достижением преимущества для получения вектора можно объединять канальные статистические данные за один или несколько временных интервалов. Для каждого канала может быть свой оптимальный интервал измерений.

Анализ объединенных канальных статистических данных

Образованные объединением канальные статистические векторы используют для обучения нейронных сетей, чтобы получить выходную информацию, касающуюся психологии человека, в случае, когда имеется ранее незамеченный вектор.

После обучения и тестирования сеть обеспечивает возможность получения аналогичных результатов для сходных групп людей, находящихся в одинаковой ситуации. При более крупном обучающем наборе, в который включено большее количество людей, ситуаций и поведений, будет возрастать общность сети. Для конкретной области исследования (например, для различения психопатов/непсихопатов мужского населения Кавказа) “тонко настроенный” обучающий и тестовый набор может обеспечить улучшенные результаты.

Выходные данные одной или нескольких классифицирующих сетей могут подаваться в качестве дополнительных входных данных на другую классифицирующую сеть. Например, если классифицируются “вводящий в заблуждение ответ”, “вводящее в заблуждение поведение” и “виновность”, то выходные данные с сети, формирующей сигнал “вводящее в заблуждение поведение”, и с сети, формирующей сигнал “виновность”, могут подаваться в качестве дополнительных входных данных на сеть, формирующую сигнал “вводящий в заблуждение ответ”, чтобы попытаться улучшить эффективность последней.

Рассмотренный выше вариант осуществления является всего лишь примером; компетентный читатель легко поймет, что существуют многочисленные возможности. Фактически возможности описанного выше способа отчасти определяются имеющимися вычислительными средствами. Могут использоваться другие алгоритмы выделения признаков и/или нейронные сети. Выгодна более быстрая обработка, возможно, параллельная обработка. Может использоваться поддерживающее аппаратное обеспечение, такое как цифровые процессоры сигналов, ускорители нейронных сетей и устройства аналоговой обработки. Можно использовать системы с различным видом доступа, например системы дистанционного доступа через Интернет, или расширить используемые в способе наблюдения, или заменить их данными от различных датчиков, таких как датчики напряжения голоса или высоты тона, микрофон для восприятия паралингвистических или словесных реакций, тепловая видеокамера, ультразвуковые устройства, тензодатчики, микроволновые обнаружители возмущений и биологические мониторы, например монитор для измерения сопротивления кожи, монитор сердечного ритма, измеритель кровяного давления, монитор частоты дыхания и/или электроэнцефалографический монитор. Словесное поведение, то есть значение произносимых слов, может подвергаться интеллектуальному анализу. Например, можно анализировать число слов, выражающих отрицание, таких как “нет”, “никогда”, и число притяжательных местоимений, таких как “мне”, “мой” и “я”. В литературе предполагается, что число слов, выражающих отрицание, может быть связано с повышением степени обмана, тогда как притяжательные местоимения могут быть связаны с ее снижением. Каналы можно обеспечивать данными в двоичном или в аналоговом формате через интерфейс, такой как устройство регистрации данных. Взаимодействие с человеком можно изменять, сочетая способ с соответствующими методиками, такими как “диалоговый агент” (например “The Zen of Scripting Verbots” (RTM), Virtual Personalities Inc., VPI, Лос-Анжелес, США). Дополнительная возможность заключается в том, чтобы исследовать сразу более чем одного человека. Информация может быть собрана в результате того, что люди взаимодействуют друг с другом, а не в результате внешних побудительных причин, или в сочетании с ними.

Вместо искусственных нейронных сетей могут быть использованы другие искусственные парадигмы, например парадигмы, обучаемые без надзора. Кроме того, компетентному читателю должно быть понятно, что на различных стадиях описанных разнообразных вариантов осуществления устройства и других вариантов осуществления можно использовать нейронные сети различной архитектуры. Можно анализировать различные каналы и больше частей тела человека, возможно, все тело необходимо регистрировать одной или несколькими камерами, чтобы образовать такие каналы.

Изобретение может быть использовано для решения многих задач и никоим образом не ограничено обнаружением обмана или виновности. Например, изобретение может быть использовано для определения того, подвергается ли человек стрессу во время работы, или для оценки пригодности человека для решения конкретных задач или выполнения определенных функций.

Конкретный пример

При конфиденциальном исследовании добровольцы в количестве 41 человека из числа людей различного этнического происхождения выполняли небольшие задания и опрашивались в связи с этими заданиями. Стратегия сбора данных была заимствована из литературы по несловесному поведению.

По прибытии каждому добровольцу был выдан информационный лист. Он содержал не только перечень оснований для проведения исследования, но также и некоторую информацию, рассчитанную на усиление его мотивации ко лжи. Например, было установлено, что лживость может осознаваться как искусство, и иногда мы наблюдаем сознательно вводящего в заблуждения человека в своей роли. Добровольцам было также сообщено, что их поведение будет тщательно исследовано опрашивающим, членами их группы и компьютером. Затем их просили вытянуть случайный номер из коробки и просили пройти в опросную комнату и прочитать инструктивный лист.

В инструктивном листе человеку предлагалось взять коробку из-под стула, заглянуть внутрь коробки и извлечь/изучить содержимое коробки. В коробке находились очки и десятифунтовая купюра. Если человек имел нечетный номер, то человеку следовало положить деньги в свой карман (первое задание). Если человек имел четный номер, то человеку следовало заменить деньги в коробке (второе задание). Коробку надо было положить обратно под стул. Людям сообщали о том, что они будут опрашиваться относительно места нахождения денег и что их обвинят в изъятии денег. Людям, имевшим деньги в карманах, было предписано, что они не должны это признавать. Людям было предписано пытаться отвечать на вопросы с осуждением и возвратить инструктивные листы.

Через пять минут приходил опрашивающий. После краткого приветствия опрашивающий задавал в определенном порядке десять вопросов. Во время опросов опрашивающий не знал, является ли доброволец лживым или сообщает правду при индивидуальном опросе.

Затем опрашиваемый выполнял задание, которое он/она не выполнял ранее, и начинался второй опрос. Снова задавались те же самые вопросы, что и при первом опросе. При этом получали 78 пригодных к использованию видеоизображений.

Опросы записывались тремя видеокамерами с микрофонами. Одной камерой записывались голова и плечи опрашиваемого, второй записывались все тело опрашиваемого, а третьей регистрировались движения опрашиваемого. Как изображения, так и звук обеспечивали несловесные каналы. При каждом опросе оператор камер входил в комнату непосредственно перед появлением опрашивающего для включения камер. После ухода опрашивающие из комнаты камеры выключались, а оператор камер покидал комнату.

В данном примере для анализа использовались видеоизображения только головы и плеч человека; звук был полностью исключен из анализа. Использование дополнительной информации, содержащейся в иных видеоизображениях и звуковых записях, находится в рамках объема изобретения.

При использовании недорогой карты видеозахвата каждое видеоизображение преобразовывалось в цифровой вид с образованием фильма, имеющего 15 кадров в секунду, в формате AVI (формате для хранения и воспроизведения видео, синхронизированного со звуком). Из-за большого количества обрабатываемых данных использованные характеристики захвата были результатом компромисса между качеством и емкостью запоминающего устройства. Видеокадры имели 384 пиксела по ширине и 288 пикселей по высоте. Из каждого видеоизображения головы и плеч получали по 10 кадров шкалы уровней серого, что давало 780 статических кадров. Кадры выбирали таким образом, чтобы между изображениями имелись заметные изменения.

Из каждого кадра верхнюю часть лицевой области (глаза и нос) выделяли вручную так, чтобы линия, соединяющая глаза, была горизонтальной, а расстояние между глазами было приведено к масштабу. Полученное в результате изображение фрагментировали. В литературе показано, что глаза и нос можно использовать для обнаружения лица. Фрагментированные изображения сжимали до 12 пикселей по ширине и 10 пикселей по высоте, при этом 8 пикселей находились между центрами глаз. При небольшом размере повышается скорость анализа, имеется устойчивость к ошибкам позиционирования и все же обеспечивается получение достоверного решения “лицо/не лицо”. Сжатые изображения были подвергнуты гистограммному нормированию, сглажены, скопированы и зеркально отображены так, что был получен набор данных лица из 1560 элементов. Случайным образом из всех кадров, относящихся преимущественно к области головы, были выделены 7800 изображений “не лица”. Эти изображения также сжимались, подвергались гистограммному нормированию и сглаживались.

Изображения были преобразованы в 120-элементные векторы с нормированными элементами в диапазоне от -1 до 1 путем конкатенации каждого ряда матрицы пикселей и путем использования простой функции F(x)=(x*2/255)-1.

Одна нейронная сеть была обучена для получения маломерного представления лица; другая была обучена для классификации маломерных представлений как “лица” и “не лица”. Обе сети были полносвязными трехуровневыми сетями, при этом каждая с системной ошибкой, и были обучены при непосредственном использовании прямого алгоритма с обратным распространением ошибки обучения с биполярной сигмоидальной сжимающей функцией. Сети с обратным распространением ошибки обучения представляют собой сети обычного вида, хорошо известные специалистам в рассматриваемой области техники, к которой относится изобретение (см., например, Hassoun M.H., там же).

Одна из сетей была сетью типа “сжатие”, имеющей одинаковое число (120) выходов и входов, но небольшое число (14) нейронов на скрытом уровне. Весовые коэффициенты сети инициализировали малыми случайными значениями, а путем использования градиентного спуска для регулирования весовых коэффициентов по мере хода обучения сеть сжатия стимулировали к восстановлению изображения на выходном уровне. Алгоритм с обратным распространением ошибки при обучении реализует попытки выделить регулярности (существенные признаки) из входных векторов, чтобы обеспечить возможность успешного восстановления изображения на выходном уровне. Скрытый уровень развивает маломерное распределенное представление из обучающих данных, относящихся к лицу.

Функция сжатия имеет двойное значение. Во-первых, использование сжатых представлений уменьшает число входов, и, следовательно, соединений в сети для обнаружения лица, позволяя осуществлять более быстрое обучение и повторное обучение обнаружению лица с различными поднаборами “лицо/не лицо”. Кроме того, хотя простые уровни серого могут адекватно отражать изменения на изображениях лица в случае одного лица при постоянном освещении, представления многочисленных лиц позволяют получать выгоду от предварительной обработки, обеспечивая возможность выделения важных свойств.

После того как сеть сжатия была обучена, через сеть пропускали изображения лица и “не лица”, а на скрытом уровне регистрировали 14-элементные векторы. Затем эти векторы, которые также имеют элементы в диапазоне между “-1” и “1”, использовали для обучения и тестирования сети для обнаружения лица. Сеть для обнаружения лица содержала 6 нейронов на скрытом уровне и всего лишь один выходной нейрон. Сеть стимулировали к формированию “1” в случае лица и “-1” в случае “не лица”.

После обучения сетей можно было начинать обнаруживать лицо в видеокадре. Области перемещения, края или области высокого контраста идентифицировались как области начального поиска. При различных масштабах окно продвигалось по области начального поиска, начиная от центра и по спирали к внешней стороне. Путем сжатия, гистограммного нормирования, сглаживания и ранжирования содержимого окна получался 120-элементный вектор для каждого положения окна. Этот вектор представляли обученной сжатой сети для формирования 14-элементного вектора. В свою очередь его представляли сети для обнаружения лица. Если выходной сигнал превышал предельное значение (0,997 в конкретном варианте осуществления), лицо считалось обнаруженным, и поиск прекращался. Обнаруженные лица, имеющие несколько различающиеся размеры, анализировались, и выбиралось лицо, обладающее наилучшими качествами.

Для следующего кадра определялась новая область поиска на основе области лица и масштаба, найденных в предыдущем кадре, а также границ, определяемых пользователем. Поиск снова осуществлялся по спирали, начиная от центра. Высокая частота кадров и интеллектуальная оценка скорости и направления перемещения лица повышают производительность при отслеживании лица.

В случае, когда лицо не обнаруживалось, область поиска оставлялась той же самой, и анализировался следующий кадр. Если лицо не обнаруживается на небольшом числе кадров, то это не влияет на общий результат. Это происходит потому, что канальные статистические величины зависят от результатов, полученных на многих кадрах. Это особенно справедливо при наличии не словесных не визуальных и словесных каналов. Если лицо не обнаруживается на большом числе кадров, то процентное содержание достоверных данных становится небольшим, и основной классификатор выдает результат, из которого вытекает, что “объект неизвестен”.

После обнаружения лица можно сделать предположения об относительных размерах и местоположении характерных признаков лица и примерном местоположении туловища.

Например, местоположение глаз может быть определено во многом таким же способом, как и лица. В этом случае 4680 обучающих изображений глаз с разрешением 16×12 были выделены вручную из статических изображений лица более высокого разрешения 48×40.

Поскольку лицо уже обнаружено, то с известной степенью точности уже известно местоположение каждого глаза. Местоположение лица определялось при использовании окна размером 12×10. Более высокая точность локатора глаз обеспечивалась увеличенным до 16×12 окном для обнаружения глаза. Оценивалось начальное положение и осуществлялся поиск по спирали. Область поиска была в значительной степени ограниченной. Когда делался вывод об обнаружении глаза, например при выходном значении сети 0,99, поиск прекращался. В другом случае можно по усмотрению использовать три возможных варианта. В первом варианте по усмотрению выбирается “наилучший” глаз в пределах области, например в этом случае выходной сигнал сети может иметь значение 0,8. Вероятно, это будет глаз, но с низким доверительным уровнем. Однако, поскольку он возник из области, содержащей лицо, и близок к месту, где ожидался глаз, то, вероятно, он будет глазом. Во втором варианте по усмотрению выбирается положение глаза, определенное локатором лица. В третьем варианте по усмотрению положение глаза считается недостоверным.

Кроме того, в конкретном эксперименте объектные локаторы бровей и объектный локатор носа использовались для содействия определению достоверности обнаружения глаз. Правый глаз и правая бровь были обнаружены путем зеркального отображения пикселей и передачи их к объектным локаторам левого глаза и левой брови.

Вначале на детекторы образов представлялись образы глаз. Для каждого глаза формулировались три вопроса с множественным выбором:

Q1 – Открытость глаза?

Глаз открыт широко

Глаз открыт слегка

Глаз открыт нормально

Глаз частично закрыт

Глаз полностью закрыт

Глаз частично прищурен

Глаз полностью прищурен

Q2 – Горизонтальный взгляд?

Глаз полностью направлен вправо

Глаз частично направлен вправо

Глаз находится по горизонтали в центре

Глаз частично направлен влево

Глаз полностью направлен влево

Нет данных (N/A) (глаз полностью закрыт/прищурен)

Q3 – Вертикальный взгляд?

Глаз полностью поднят

Глаз частично поднят

Глаз находится по вертикали в центре

Глаз частично опущен

Глаз полностью опущен

Нет данных (N/A) (глаз полностью закрыт/прищурен)

Для глаза, который был обращен кверху и влево, получен следующий “ответ”:

Q1: глаз нормально открыт; Q2: глаз полностью направлен влево; Q3: глаз полностью поднят.

На основании вопросов с множественным выбором для глаз были образованы 17 классификационных групп. Было выполнено обучение и тестирование 17 различных базовых сетей при использовании результатов для 4680 проклассифицированных вручную глаз. Например, сеть для “глаза, полностью направленного вправо”, была обучена так, что взгляд, полностью направленный вправо, давал в результате “1”, а все другие глаза в наборе данных, то есть глаз, частично направленный вправо, глаз, находящийся по горизонтали в центре, глаз, частично направленный влево, глаз, полностью направленный влево, и глаз N/A давали в результате “-1”. При такой схеме, если сеть обучена распознавать глаз, глядящий вправо, это охватывает случаи глаз, глядящих вниз/вправо и вверх/вправо. Кроме того, были обучены другие сети, например сеть “полностью и частично вправо”, что способствует повышению ошибкоустойчивости на следующей стадии. Сети обучались в значительной степени тем же самым способом, как сеть “глаз/не глаз”.

В этом эксперименте были выбраны следующие каналы:

Перемещениям и расстояниям просто присваивали значения 1, если они превышали определенный уровень, и -1 в случае, если они были ниже него. При группировании данных процентное содержание единиц нормировали к диапазону от -1 до 1. Для простых каналов, например для канала закрытого глаза, логическое решение принималось на основе числа детекторов образов. И опять в случае, когда данные группировали, процентное содержание единиц нормировали к диапазону от -1 до 1. В сложных каналах “моргания” использовались выходные сигналы детекторов образов, полученные из текущего и предыдущих кадров, наряду со сведениями о частоте моргания глазом, свойственной человеку.

Статистические данные собирали по всей длительности каждого из ответов, даваемых человеком, и по фиксированным перекрывающимся 3-секундным временным интервалам. Ответом считался интервал от момента за 1 с до того, как человек начинал двигать ртом, до момента спустя 2 с после прекращения движения рта. Для каждого канала создавали большую многоэлементную область памяти, достаточную для указанного интервала. В каждом одном элементе сохранялись канальные данные для одного кадра. Каждая ячейка в области памяти, одна на кадр, первоначально устанавливалась в “неверное” состояние путем запоминания значения “88” в каждой ячейке. При каждом новом обрабатываемом кадре в случае, если для канала обнаруживались нужные объекты, канальные данные добавлялись в следующую ячейку памяти, в противном случае значение “88” добавлялось в следующую ячейку памяти.

После того как каждая ячейка памяти была адресована, вычислялись статистические данные для элементов. Канальные статистические данные вычислялись всякий раз при появлении нового кадра, если объем достоверных данных в области памяти был больше 95%. В случае 3-секундного временного интервала в области памяти хранились данные для 45 кадров, поскольку частота видеокадров была 15 кадров в секунду. Статистические данные формировались только в случае, когда 95% или больше данных были достоверными (то есть между 43 и 45 достоверными кадрами).

40% объединенных канальных статистических данных использовали для обучения трех полносвязных трехуровневых классификационных сетей с обратным распространением ошибки на обучении. 20% объединенных канальных статистических данных использовали для проверки достоверности, остальные 40% использовали для тестирования. Классификационные сети обучали обнаружению интервалов обмана, ощущения виновности и тому, не является ли опрашиваемый в целом вводящим в заблуждение. Каждая сеть имела в качестве входных данных 14-элементный входной вектор, около 8 нейронов на скрытом уровне и 1 нейрон на выходном уровне.

После накопления канальных статистических данных в течение длительности ответа четкая классификация становилась известной для большей части ответов: ответ был либо правдивым, либо лживым.

При накоплении канальных статистических данных в течение 3-секундных интервалов принимались во внимание три соображения. Во-первых, некоторые временные интервалы относятся к моментам, когда человек обманывал, и поэтому желательным выходным сигналом является “1”. Другие представленные интервалы относятся к случаям, когда человек был правдивым (-1). Однако некоторые интервалы находятся в переходной области. Поскольку желаемый выходной сигнал находится в диапазоне от “-1” до “1”, то в случае, если в течение 1,5 с поведение было правдивым, а в течение 1,5 с – вводящим в заблуждение, желательным выходным сигналом является “0”.

Второе соображение касается “пауз” между ответами. Такие векторы игнорировали, но в альтернативной стратегии задавали “желательный выходной сигнал” в виде 0. Возможны и иные стратегии.

Третье соображение связано с тем, что, поскольку ответом считался интервал от момента за 1 с до того, как человек начинал говорить, до момента спустя 2 с после того, как он прекращал говорить, то два ответа иногда перекрывались. Если один ответ был правдивым, а другой – вводящим в заблуждение, то в течение одного и того же временного интервала формировались два вектора, но один вектор определялся как “правдивый”, а другой определялся как “лживый”. Это допускалось, поскольку обычно создавалось небольшое количество таких векторов. При более строгом подходе к этой ситуации можно улучшить результаты как обучения, так и тестирования.

Получаемые результаты обычно были значительно выше уровня вероятности случайного обнаружения. Предшествующие эксперименты с набором таких каналов и несколько расширенным набором обеспечивали обнаружение вводящего в заблуждение поведения с точностью 75-85%.

Формула изобретения

1. Автоматический способ анализа поведения человека, содержащий этап, на котором осуществляют одно или более измерений или наблюдений за человеком, отличающийся тем, что дополнительно содержит этапы, на которых кодируют измерения или наблюдения с образованием множества каналов и анализируют каналы с использованием технологии автоматической машинной классификации для того, чтобы вывести информацию, относящуюся к психологии человека, при этом технология автоматической машинной классификации включает в себя методы искусственного интеллекта или статистические методы.

2. Способ по п.1, отличающийся тем, что осуществляют измерения или наблюдения несловесного поведения человека.

3. Способ по п.2, отличающийся тем, что осуществляют измерения или наблюдения несловесного видимого поведения человека.

4. Способ по п.3, отличающийся тем, что осуществляют наблюдения движений человека.

5. Способ по п.4, отличающийся тем, что наблюдения движений человека включают в себя получение множества изображений человека, а кодирование наблюдений с образованием множества каналов включает в себя выделение признаков из изображений.

6. Способ по п.4, отличающийся тем, что каналы включают в себя движения глаз.

7. Способ по п.4, отличающийся тем, что каналы включают в себя перемещения лица.

8. Способ по п.4, отличающийся тем, что каналы включают в себя движения рук, ног или туловища человека.

9. Способ по п.2, отличающийся тем, что осуществляют измерения или наблюдения несловесного невидимого поведения человека.

10. Способ по п.1, отличающийся тем, что осуществляют измерения или наблюдения словесного поведения человека.

11. Способ по п.1, отличающийся тем, что методы искусственного интеллекта содержат метод, использующий искусственную нейронную сеть.

12. Способ по п.1, отличающийся тем, что методы искусственного интеллекта включает в себя обучение машины, генетический алгоритм, дерево решений, нечеткую логику и/или символьные правила, или сочетания вышеперечисленного.

13. Способ по п.1, отличающийся тем, что каналы анализируют для установления умственного, поведенческого и/или физического состояния человека.

14. Способ по п.13, отличающийся тем, что каналы анализируют для того, чтобы установить, является ли поведение человека вводящим в заблуждение.

15. Способ по п.13, отличающийся тем, что каналы анализируют для того, чтобы установить, находится ли человек в состоянии стресса, ощущает ли себя виновным, счастливым, испуганным, уверенным или испытывающим настоящую боль, или является психопатом.

16. Способ по п.13, отличающийся тем, что каналы анализируют для того, чтобы изучить характерные черты личности человека.

17. Способ по п.16, отличающийся тем, что характерными чертами личности являются интроверсия, экстраверсия, уверенность, способность к соглашению, добросовестность, непредубежденность к эксперименту и/или эмоциональный ум, хорошие манеры и/или угодливое поведение.

18. Устройство для автоматического анализа поведения человека, содержащее средство обнаружения для осуществления одного или более измерений или наблюдений за человеком, отличающееся тем, что дополнительно содержит кодирующее средство для кодирования измерений или наблюдений с образованием множества каналов, и средство автоматической машинной классификации, выполненное с возможностью анализа каналов и выходной информации, относящейся к психологии человека, при этом средство автоматической машинной классификации содержит средство искусственного интеллекта или средство статистической классификации.

19. Устройство по п.18, отличающееся тем, что средство обнаружения выполнено с возможностью осуществления измерений или наблюдений несловесного поведения человека.

20. Устройство по п.19, отличающееся тем, что средство обнаружения выполнено с возможностью осуществления измерений или наблюдений несловесного видимого поведения человека.

21. Устройство по п.20, отличающееся тем, что средство обнаружения выполнено с возможностью осуществления наблюдений движений человека.

22. Устройство по п.21, отличающееся тем, что средство обнаружения выполнено с возможностью обеспечения множества изображений человека, а кодирующее средство содержит выделительное средство для выделения признаков из изображений.

23. Устройство по п.21, отличающееся тем, что кодирующее средство выполнено с возможностью кодирования наблюдений с образованием одного или более каналов, относящихся к движениям глаз.

24. Устройство по п.21, отличающееся тем, что кодирующее средство выполнено с возможностью кодирования наблюдений с образованием одного или более каналов, относящихся к перемещениям лица.

25. Устройство по п.21, отличающееся тем, что кодирующее средство выполнено с возможностью кодирования наблюдений с образованием одного или более каналов, относящихся к движениям рук, ног или туловища человека.

26. Устройство по п.19, отличающееся тем, что кодирующее средство выполнено с возможностью кодирования измерений или наблюдений несловесного невидимого поведения человека с образованием одного или более каналов.

27. Устройство по п.18, отличающееся тем, что средство обнаружения выполнено с возможностью осуществления измерений или наблюдений словесного поведения человека.

28. Устройство по п.18, отличающееся тем, что средство обнаружения содержит камеру.

29. Устройство по п.18, отличающееся тем, что средство обнаружения содержит микрофон.

30. Устройство по п.18, отличающееся тем, что средство искусственного интеллекта содержит искусственную нейронную сеть.

31. Устройство по п.18, отличающееся тем, что средство искусственного интеллекта включает в себя средство обучения машины, генетический алгоритм, дерево решений, средство нечеткой логики и/или средство символьных правил, или сочетания вышеперечисленного.

32. Устройство по п.18, отличающееся тем, что средство автоматической машинной классификации выполнено с возможностью установления умственного, поведенческого и/или физического состояния человека.

33. Устройство по п.32, отличающееся тем, что средство автоматической машинной классификации выполнено с возможностью установления того, является ли поведение человека входящим в заблуждение.

34. Устройство по п.32, отличающееся тем, что средство автоматической машинной классификации выполнено с возможностью установления того, находится ли человек в состоянии стресса, ощущает ли себя виновным, счастливым, испуганным, уверенным или испытывающим настоящую боль, или является психопатом.

35. Устройство по п.32, отличающееся тем, что средство автоматической машинной классификации выполнено с возможностью вывода информации, касающейся характерных черт личности человека.

36. Устройство по п.35, отличающееся тем, что характерными чертами личности являются интроверсия, экстраверсия, способность к соглашению, добросовестность, непредубежденность к эксперименту, эмоциональный ум, хорошие манеры и/или угодливое поведение.

РИСУНКИ