Патент на изобретение №2316821

(54) АВТОМАТИЧЕСКОЕ АСИММЕТРИЧНОЕ ОБНАРУЖЕНИЕ УГРОЗЫ С ИСПОЛЬЗОВАНИЕМ ОТСЛЕЖИВАНИЯ В ОБРАТНОМ НАПРАВЛЕНИИ И ПОВЕДЕНЧЕСКОГО АНАЛИЗА

(57) Реферат:

Предлагаемые способ и система прогнозирующего обнаружения угрозы относятся к области тревожной сигнализации и защиты от терроризма и используют данные, собранные посредством сети повсеместно расположенных датчиков, распределенной по множеству мест в городской среде. Способ включает в себя этапы, на которых: инициируют запрос, касающийся подозрительного объекта, находящегося в текущем месте, в ответ на совершение подозрительным объектом инициирующего действия; в ответ на запрос составляют данные, соответствующие тем местам, в которых этот подозрительный объект был обнаружен сетью датчиков; и анализируют эти данные для того, чтобы определить статус угрозы, относящийся к подозрительному объекту. 3 н. и 17 з.п. ф-лы, 7 ил.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Настоящее изобретение, в целом, относится к системам наблюдения, а более конкретно к прогнозирующей системе обнаружения угрозы, которая функционирует таким образом, чтобы в автоматическом режиме на основе полученных в текущий момент данных осуществлять повторный анализ и повторную интерпретацию относящихся к прошлому изображений и видеоданных, полученных посредством сети датчиков.

Эффективная защита от преступлений и терроризма является страстным стремлением почти всех государств. Действительно, использование наблюдения для повышения безопасности становится во все возрастающей степени популярным среди частных лиц, правительственных организаций и предприятий. В современном обществе в высшей степени распространенной является ситуация, при которой лицо при посещении бизнес-учреждения или при входе в правительственное здание, присмотревшись, осознает, что оно находится под прицелом линз, по меньшей мере, одной камеры. Технология, на которой основано это наблюдение, развивалась последние годы стремительными темпами, способствуя соразмерному увеличению в использовании оборудования охранного наблюдения в новых местах его расположения и с новыми преследуемыми целями.

Охранное наблюдение, хотя и используется разнообразными лицами и организациями, имеет перед собой общую цель: обнаружение потенциальных угроз и защиту от этих угроз. В настоящий момент не очевидно, чтобы эта цель была достигнута при помощи современной технологии. В самом деле, движение по направлению к этой цели велось небольшими шагами. Первоначальным шагом по направлению к этой цели было осуществление наблюдения в виде охранников службы безопасности, то есть наблюдение, осуществляемое человеком. Наблюдение, осуществляемое человеком, использовалось в течение многих лет для защиты жизни и собственности; однако оно имеет свойственные ему пространственные и временные ограничения. Например, охранник службы безопасности может воспринимать лишь ограниченное количество фактически происходящих событий в момент, когда они случаются, охранник службы безопасности имеет ограниченную память, и часто охранник службы безопасности не понимает взаимосвязь событий, людей или инструментальных средств при наличии угрозы. Таким образом, преступник или враждебная сила, смешавшись с группой, могут остаться необнаруженными.

В целях устранения некоторых из ограничений наблюдения, осуществляемого человеком, было разработано и внедрено электронное наблюдение. В начале 1960-х годов технология наблюдения эволюционировала таким образом, что включила в себя использование видеокамер. (Смотри архив CNN, доступный по адресу

По мере того, как совершенствовалась технология электронного наблюдения, ее использование становилось все более повсеместным. Правительства начали в широких масштабах внедрять эту технологию для того, чтобы лучше защищать своих граждан. Например, благодаря своей выдающейся системе наблюдения Англия была признана мировым лидером в области электронного наблюдения. Согласно данным Центра информации по конфиденциальности в области электронных средств Англия установила свыше 1,5 миллионов камер наблюдения, в результате чего среднего лондонца записывают на видеопленку более чем 300 раз в день. Смотри на том же сайте. На самом деле, и здесь, в Соединенных штатах, крупные города, такие как Бостон, Чикаго и Балтимор, вынашивают планы внедрить электронное наблюдение с тем, чтобы обуздать преступность, проблемы дорожного движения и враждебные действия. Смотри статью Джека Левина (Jack Levin) «Наблюдение и видеонаблюдение за студентами колледжей» («Keeping An Eye And A Camera On College Students»), газета «The Boston Globe», 5 февраля 2005 г., страница А11. В самом деле, в дополнение к осознанию того факта, что электронное наблюдение теперь укоренилось в нашей жизни, также очевидно, что оно будет только становиться более эффективным в противодействии преступности и терроризму.

В настоящий момент во многих системах электронного наблюдения развивают независимость от взаимодействия с человеком при осуществлении мониторинга и анализа видеоданных, представляемых на мониторах. Хотя электронное наблюдение и становится повсеместно распространенным, его опора на суждение, выносимое человеком, представляет собой проблему, что объясняется ограничениями и стоимостью людских ресурсов. Развитие независимости электронного наблюдения требует устранения этих недостатков. На самом деле сейчас разрабатываются такие способы и технологии наблюдения, которые используют программное обеспечение визуального слежения и обработки изображений, не требующее суждения, выносимого человеком. Например, имеющиеся в наличии технологии, такие как датчики идентификации и распознавания лиц, способны измерять глубину и размеры лиц и мест. Эта технология может быть использована для идентификации пользователя автомобиля, предоставления доступа авторизованному лицу в зоны с ограниченным доступом (и включения сигнала тревоги в случае неавторизованных лиц) и для мониторинга трехмерных помещений, мест и перемещений различных лиц и транспортных средств. (Смотри, например, веб-сайт 3DV доступный по адресу:

Однако, аналогично ранее описанным системам, эти системы электронного наблюдения имеют тот же недостаток наблюдения, осуществляемого человеком: они используют подход, «основанный на отсчете времени в прямом направлении», и только архивируют данные, поступающие в реальном масштабе времени, для их просмотра пользователем после события. В ситуациях, при которых враждебные элементы проводят операции в городской среде, одевшись как гражданские лица, управляя гражданскими транспортными средствами и ведя себя как гражданские лица, враждебные элементы могут безнаказанно перемещаться с места на место, поскольку даже самые современные системы мониторинга и наблюдения не обнаружат ничего подозрительного. Когда они наносят удар, это обычно бывает внезапно. Хуже того, когда они наносят удар, бывает уже слишком поздно для того, чтобы свести воедино сведения о том, как они подготавливали нападение, поскольку записи событий, которые ведут к нападению, могут отсутствовать, или может иметься разрозненная информация, которая требует длительное время для того, чтобы собрать ее воедино в некую связную картину.

Хотя размещение густых сетей датчиков в городской среде стало осуществимым, обработка данных со всех датчиков и отслеживание всех объектов в реальном масштабе времени не может быть осуществлено. Прогнозирование подмножества данных, которое будет релевантным в будущем, оказалось чрезвычайно сложной задачей, однако без записи последних событий и отслеживания объектов полезность этих сетей датчиков серьезно ограничена. Следовательно, вместо предотвращения преступления эти сети, «основанные на отсчете времени в прямом направлении», могут в лучшем случае оказаться полезными для помощи в последующем расследовании в том, что касается идентификации и причины этого преступления.

Таким образом, по-видимому, у этого подхода, основанного на отсчете времени в прямом направлении, имеется несколько недостатков, включая то, что: (а) враждебные элементы могут маскироваться таким образом, чтобы выглядеть и действовать нейтрально до тех пор, пока они не решат предпринять нападение, что позволяет им использовать элемент внезапности и подобраться близко к своей цели при малом сопротивлении; и (b) даже если имеются поведенческие или физические ключи, которые дают некоторое раннее предупреждение об угрозе, любая возможность обнаружения того, откуда происходит угроза, трудно воссоздается и даже может быть утрачена. Недостатки подхода, основанного на отсчете времени в прямом направлении, общие как для осуществляемого человеком, так и для электронного наблюдения, были продемонстрированы даже совсем недавно при проведении боевых действий и вражеских нападений под штатским прикрытием, наблюдавшихся в ходе недавних событий.

В частности, наблюдение, основанное на отсчете времени в прямом направлении, по-видимому, неспособно предотвратить вражеские нападения, использующие обман. Традиционная оценка угрозы при ведении военных действий представляла собой сравнительно простую задачу для солдата с надлежащей подготовкой. Однако современная тенденция в ведении военных действий, направленная в сторону терроризма, который имеет своим корнем обман, предполагает использование городской среды для маскировки и проведения враждебных операций. Таким образом, даже если проведенное в реальном масштабе времени распознавание одежды, лиц, типов военного снаряжения или подозрительного приближающегося транспортного средства и должно было обеспечить предупреждение дружественных сил (с использованием подхода, основанного на отсчете времени в прямом направлении), предупреждение часто дается слишком поздно для того, чтобы предотвратить нападение. В самом деле, хотя общество иногда и может посредством оценки угроз, основанной на отсчете времени в прямом направлении, помешать исполнению вражеских нападений, использующих обман, этот способ неадекватен. Современный опыт показывает, что враждебные силы используют в своих целях этот подход, основанный на отсчете времени в прямом направлении, для проведения своих нападений.

Следовательно, в данной области техники имеется потребность в системе обнаружения угрозы, которая являлась бы прогнозирующей и упреждающей. В данной области техники имеется потребность в системе обнаружения угрозы, которая способна обрабатывать и архивировать изображения, видеоданные и другие данные посредством сети датчиков и которая может анализировать эти заархивированные данные на основе текущих данных. В данной области техники имеется потребность в системе обнаружения угрозы, которая использует банк краткосрочного хранения данных от датчиков для выборочного отслеживания объектов в обратном направлении во времени, и особенно в такой системе, которая выборочно резервирует использование более эффективных, но более затратных, способов обработки данных до тех пор, пока их использование не является оправданным. Кроме того, в данной области техники имеется потребность в системе обнаружения угрозы, которая функционирует таким образом, чтобы собирать полезную информацию о враждебном элементе, такую как место расположения основного опорного пункта, соотечественники, и то, какие общие стратегии и модели нападений они используют. Наконец, в данной области техники имеется потребность в автоматизированной прогнозирующей системе обнаружения угрозы, которая функционирует таким образом, чтобы в ответ на текущие важные события осуществлять повторный анализ и повторную интерпретацию заархивированных и относящихся к прошлому данных и обеспечивать соответствующий анализ того, что обнаружено, и угрозы, которую представляет собой то, что обнаружено.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Машина времени могла бы стать очень мощным военным инструментом, особенно в городской среде, в которой видимость часто ограничена окружающими строениями и последствия поведения непонятны до тех пор, пока событие не свершится. Даже если бы путешествие в прошлое было ограничено часами или днями и прошлое нельзя было бы изменить, но только наблюдать, одно только содержимое этой информации было бы бесценным. Например, эта невинно выглядящая автомашина с пассажирами, приближающаяся к охраняемым воротам, не казалась бы такой невинной, если бы была возможность переместиться в прошлое и увидеть, что она прибыла из квартала, сильно подозреваемого в том, что там укрываются мятежники. В качестве другого примера, этот отгрузочный склад вызвал бы очень большие подозрения, если можно было бы увидеть, что все автомашины, задействованные в недавних взрывах начиненных взрывчаткой автомашин, останавливались на этом складе незадолго до взрывов.

Машины времени в общепринятом значении этого термина пока технически невозможны (и возможно никогда не будут возможны). Однако при наличии достаточного количества сетей датчиков, запоминающего устройства для данных, технологий анализа изображений и технологий выявления пространственно/временных связей и при объединении всех этих компонентов в соответствующую систему извлечения информации вышеописанные возможности по сбору информации могут быть реализованы уже сегодня.

Согласно варианту осуществления настоящего изобретения предлагается способ прогнозирующего обнаружения угрозы. Способ использует данные, собранные посредством сети повсеместно расположенных датчиков, распределенной по множеству мест в городской среде, причем эти места классифицированы в соответствии с уровнем угрозы мест. Способность наблюдать прошлые события стала возможной благодаря данным от датчиков, которые накапливаются с течением времени от множества датчиков, распределенных в сети датчиков по городской среде. Самые старые данные могут непрерывно обновляться последними данными от датчиков, и интервал времени между самыми старыми данными и последними данными показывает, как далеко в прошлом может быть проведено обнаружение.

Способ включает в себя этапы, на которых: (а) инициируют запрос, касающийся подозрительного объекта, находящегося в текущем месте, в ответ на совершение подозрительным объектом инициирующего действия; (b) в ответ на запрос осуществляют обратное отслеживание подозрительного объекта, собирая данные из каждого места, в котором этот подозрительный объект был обнаружен сетью датчиков; (с) составляют набор данных, включающий в себя список тех мест, в которых был обнаружен подозрительный объект, и соответствующие им данные; и (d) сравнивают список мест, включенный в состав набора данных, с соответствующим уровнем угрозы места, для того чтобы определить статус угрозы, относящийся к подозрительному объекту.

Способ может дополнительно включать в себя этапы, на которых: (а) анализируют данные в наборе данных по подозрительному объекту, для того чтобы определить, имело ли место взаимодействие между подозрительным объектом и последующим объектом; и (b) после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы обратного отслеживания, составления и сравнения для последующего объекта, для того чтобы определить статус угрозы, относящийся к последующему объекту.

Для каждого последующего объекта способ может дополнительно включать в себя повторение этапов, на которых: (а) анализируют данные в наборе данных по последующему объекту, для того чтобы определить, имело ли место взаимодействие между последующим объектом и дополнительным последующим объектом; и (b) после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы обратного отслеживания, составления и сравнения для дополнительного последующего объекта, для того чтобы определить статус угрозы, относящийся к дополнительному последующему объекту.

Помимо этого, способ может дополнительно включать в себя этап, на котором: производят повторную оценку статуса угрозы, по меньшей мере, одного объекта в ответ на, по меньшей мере, одно из следующего: статуса угрозы дополнительного последующего объекта и набора данных, относящихся к дополнительному последующему объекту.

Согласно другому варианту реализации настоящего изобретения взаимодействие может включать в себя, по меньшей мере, одно из следующего: физическую передачу, «ментальную» передачу и физическое движение. В связи с этим способ может дополнительно включать в себя этапы, на которых: (а) повторно анализируют данные, соответствующие взаимодействию, для того чтобы определить дополнительную информацию, касающуюся, по меньшей мере, одного из следующего: физической передачи, «ментальной» передачи и физического движения; и (b) повторно оценивают статус угрозы, по меньшей мере, одного объекта на основе этой дополнительной информации.

Согласно другому аспекту настоящего изобретения после сбора данных сетью датчиков эти данные могут быть первоначально обработаны с использованием, по меньшей мере, одной из следующих технологий: вычитания фона и временного различения, разделения множества накладывающихся друг на друга предметов, классификации предметов, отслеживания предметов, анализа предметов и сопоставления с образцом. Кроме того, обработанные данные могут быть использованы для получения одного или более из следующего: изображения, фильма, предмета, следа, действия и эпизода.

Согласно дополнительному аспекту настоящего изобретения для обработки данных в ответ на запрос, касающийся подозрительного объекта, могут быть выделены дополнительные системные ресурсы.

Согласно другому варианту осуществления настоящего изобретения предлагается способ прогнозирующего обнаружения угрозы, который использует данные, собранные посредством сети повсеместно расположенных датчиков, распределенной по множеству мест в городской среде. Способ включает в себя этапы, на которых: (а) инициируют запрос, касающийся подозрительного объекта, находящегося в текущем месте, в ответ на совершение подозрительным объектом инициирующего действия; (b) в ответ на запрос составляют (компилируют) данные, соответствующие тем местам, в которых этот подозрительный объект был обнаружен сетью датчиков; и (с) анализируют эти данные для того, чтобы определить статус угрозы, относящийся к подозрительному объекту.

Способ может дополнительно включать в себя этапы, на которых: (а) анализируют эти данные для того, чтобы определить, имело ли место взаимодействие между подозрительным объектом и последующим объектом; и (b) после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы составления и анализа для последующего объекта, для того чтобы определить статус угрозы, относящийся к последующему объекту. Помимо этого, способ может дополнительно включать в себя этап, на котором производят повторную оценку статуса угрозы подозрительного объекта в ответ на, по меньшей мере, одно из следующего: статуса угрозы последующего объекта и набора данных по последующему объекту.

Согласно другому варианту реализации настоящего изобретения для каждого последующего объекта способ может дополнительно включать в себя повторение этапов, на которых: (а) анализируют данные по последующему объекту для того, чтобы определить, имело ли место взаимодействие между последующим объектом и дополнительным последующим объектом; и (b) после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы составления и анализа для дополнительного последующего объекта для того, чтобы определить статус угрозы, относящийся к дополнительному последующему объекту. Кроме того, способ может дополнительно включать в себя этап, на котором производят повторную оценку статуса угрозы, по меньшей мере, одного объекта в ответ на, по меньшей мере, одно из следующего: статуса угрозы дополнительного последующего объекта и набора данных по дополнительному последующему объекту.

В дополнительном варианте реализации настоящего изобретения этап анализа может дополнительно включать в себя этап, на котором идентифицируют на основе этих данных модель (шаблон) поведения объекта. В связи с этим проводят переоценку статуса угрозы объекта на основе этой модели поведения.

Согласно еще одному варианту реализации изобретения способ может дополнительно включать в себя этап, на котором обновляют уровень угрозы места каждого из соответствующих мест, в которых был обнаружен подозрительный объект, в соответствии с уровнем угрозы подозрительного объекта.

Согласно другому варианту осуществления настоящего изобретения предлагается система для автоматического обнаружения угрозы в городской среде. Система использует данные, собранные посредством сети повсеместно расположенных датчиков, распределенной по множеству мест в городской среде. Система содержит: (а) блок мониторинга угрозы, функционирующий таким образом, чтобы обнаруживать подозрительный объект в ответ на инициирующее действие подозрительного объекта, используя прямую (в реальном времени) передачу данных, причем блок мониторинга угрозы функционирует таким образом, чтобы генерировать запрос, касающийся подозрительного объекта; и (b) модуль знаний, включающий в себя базу данных и блок рассуждений, при этом база данных функционирует таким образом, чтобы архивировать данные из сети датчиков и предоставлять эти данные блоку рассуждений, при этом блок рассуждений поддерживает связь с блоком мониторинга угрозы и базой данных, при этом блок рассуждений функционирует таким образом, чтобы в ответ на запрос, сгенерированный блоком мониторинга угрозы, осуществлять анализ данных, соответствующих подозрительному объекту, и выдавать статус угрозы, относящийся к подозрительному объекту.

Система может также включать в себя процессор. Процессор может функционировать таким образом, чтобы обрабатывать данные перед их архивированием в базе данных. Обработанные данные могут быть классифицированы в соответствии с, по меньшей мере, одним уровнем представления данных.

Согласно дополнительному варианту реализации настоящего изобретения блок рассуждений может включать в себя модуль обратного отслеживания, который может функционировать таким образом, чтобы создавать набор данных из данных, соответствующих подозрительному объекту. Этот набор данных может быть использован блоком рассуждений для оценки статуса угрозы.

Короче говоря, реализация настоящего изобретения дополняет современные подходы к отслеживанию, основанные на отсчете времени в прямом направлении, подходом, основанным на отсчете времени в обратном направлении, предназначенным для того, чтобы отслеживать объект – транспортное средство или лицо – «в обратном направлении во времени» и выносить суждение о его наблюдавшихся предыдущих местах расположения и поведении. Процесс отслеживания в обратном направлении фокусируется на том подмножестве данных в базе данных, которое показывает интересующий объект в последовательно более ранние моменты времени.

Вообще говоря, имеется, по меньшей мере, два направления, в которых может разворачиваться отслеживание с отсчетом времени в обратном направлении. Прежде чем станет понятно, представляет ли объект угрозу или нет, производят оценку того, представляет ли объект потенциальную угрозу, основываясь на его вызывающем подозрения предыдущем поведении. Это является важным по той причине, что раннее обнаружение угроз позволяет их нейтрализовать или свести к минимуму ущерб, который они причиняют. Этот режим функционирования может быть назван прогнозирующим режимом.

Во-вторых, после того, как объект был идентифицирован как представляющий угрозу, его предыдущее поведение может быть проанализировано с целью получения полезной информации, такой как информация о других объектах, связанных с этой угрозой или о «модусе операнди» (образе действия) враждебного элемента. Этот режим функционирования может быть назван следственным (судебным) режимом.

Прогнозирующий режим может начать отслеживание в обратном направлении, когда объект обнаруживает намерение проникнуть в расположение дружественных (то есть «своих» для системы) сил или уязвимого имущества, обычно, приближаясь к нему, но без явно угрожающих действий. Результирующая последовательность относящихся к прошлому кадров, показывающих этот объект, может быть проанализирована для того, чтобы оценить его прошлое поведение и сравнить его с шаблонами угрожающего поведения с целью определить, может ли он представлять угрозу. Например, в случае транспортного средства, приближающегося к расположению дружественных сил, нижеследующие примеры прошлого поведения предоставили бы доказательство того, что это транспортное средство может представлять угрозу: (а) транспортное средство прибыло из находящегося под подозрением враждебного места; (b) транспортное средство было угнано; (c) на транспортное средство была произведена передача громоздкого материала; (d) картина (шаблон) управления транспортным средством была странной; (e) транспортное средство прибыло с вызывающей подозрения встречи; и/или (f) транспортное средство замечено часто проезжающим мимо.

Для прогнозирующего режима может потребоваться, чтобы была разработана и поддерживалась база данных о местах, предназначенная для того, чтобы обеспечить классификацию мест, расположенных в различных точках города, так чтобы, например, было возможно сказать, прибыл ли объект из известного или подозрительного враждебного места или посещал ли объект это место.

Следственный режим может начать отслеживание в обратном направлении после того, как объект предпринимает явно угрожающие действия, и система или пользователь в результате этого инициирует расследование. Результаты отслеживания в обратном направлении могут быть использованы для того, чтобы: (а) идентифицировать потенциально враждебное место, включая определение мест расположения тайных складов оружия и путей инфильтрации, что имело бы своим результатом внесение изменений в базу данных о местах, используемую в прогнозирующем режиме; (b) идентифицировать других участников сопротивления, а возможно и того, кто несет политическую ответственность за нападение; (с) выводить информацию на основе образцов, например, используя метод исключений после того, как анализ нескольких нападений даст некоторую общую нить, можно идентифицировать снайпера; и/или (d) изучать тактику врага и его операционные процедуры, причем эта информация затем может быть приспособлена для использования в прогнозирующем режиме.

Варианты реализации настоящего изобретения могут позволить рассматривать городскую территорию как относящуюся к прошлому последовательность изменяющихся во времени моментальных снимков. Позволяя отслеживать подозрительные объекты как в обратном, так и в прямом направлении в рамках этой временной последовательности, стандартный подход к слежению, основанный на отсчете времени в прямом направлении, усилен таким образом, чтобы идентифицировать релевантные модели поведения, места в городе, представляющие интерес, и может оказать дополнительную помощь в прогнозировании и локализации угрозы. Таким образом, варианты реализации настоящего изобретения могут обеспечить значительные выгоды, выходящие за рамки тех, которые предоставляются подходами текущего уровня развития данной области техники.

Также для вариантов реализации настоящего изобретения критически важным является продуманное использование вычислительных ресурсов. Хотя активный мониторинг может осуществляться по нескольким объектам, таким как подозрительные объекты, объекты, с ними связанные, другим лицам или особо ценным местам, большое количество данных может быть заархивировано таким образом, что может быть обработано в том случае и в тот момент, когда это потребуется в ходе расследования. Таким образом, использование ресурсов сокращается, и системные ресурсы могут быть распределены эффективным образом. Внутренняя цель может включать в себя оптимальное управление системными ресурсами для концентрации их на потенциально важных событиях и объектах, в то время как внешняя цель может включать в себя поддержание информированности пользователя.

Согласно дополнительным вариантам реализации настоящего изобретения система может быть расширена таким образом, чтобы выносить суждения о зданиях и других объектах в дополнение к транспортным средствам и лицам. Здания могут представлять собой кандидаты в угрозы, поскольку они могут быть оборудованы минами-ловушками, подготовлены для засады или могут предоставлять базу для операции враждебных элементов. Для оценки вызывающих подозрения последовательностей прошлых действий, имевших место поблизости от здания, могут быть проанализированы поступившие с датчиков данные, относящиеся к прошлому. Например, если обнаружено, что здание оборудовано миной-ловушкой, то поиск недавних посетителей этого здания может идентифицировать транспортное средство, которое остановилось и доставило в здание пакет. Это транспортное средство затем могло бы быть отслежено в обратном направлении и в прямом направлении по поступившим с датчиков данным, относящимся к прошлому, для того чтобы идентифицировать другие здания, которые оно также посещало, а отслеживание его вплоть до текущего момента времени могло бы дать его текущее местонахождение. Если им посещались и другие здания и они оказались аналогичным образом оборудованы минами-ловушками, то может быть получено подтверждение того, что это транспортное средство/водитель представляют угрозу. В ином случае оно будет рассматриваться как вероятная угроза и будет активно отслеживаться и/или станет объектом запросов.

ПЕРЕЧЕНЬ ЧЕРТЕЖЕЙ

Эти и другие признаки и преимущества различных вариантов осуществления изобретения, раскрытых в данной заявке, будут более понятны при рассмотрении совместно с нижеследующими описанием и чертежами, на которых подобные номера относятся к подобным элементам на всех чертежах и на которых:

фиг.1 – блок-схема последовательности операций способа обнаружения угрозы в соответствии с вариантом осуществления настоящего изобретения;

фиг.2 – блок-схема последовательности операций способа обнаружения угрозы в соответствии с другим вариантом осуществления настоящего изобретения;

фиг.3 – блок-схема системы обнаружения угрозы в соответствии с другим вариантом осуществления настоящего изобретения;

фиг.4 – блок-схема уровней представления данных в соответствии с другим вариантом осуществления настоящего изобретения;

фиг.5а – 5d – иллюстрации одного аспекта системы и способа в соответствии с другим вариантом осуществления настоящего изобретения;

фиг.6 – блок-схема последовательности операций способа обнаружения угрозы в соответствии с другим вариантом осуществления настоящего изобретения;

фиг.7 – перечень элементов.

ПОДРОБНОЕ ОПИСАНИЕ

Ниже с целью дать общее понимание описаны некоторые иллюстративные варианты осуществления изобретения; однако специалисту обычного уровня квалификации в данной области техники должно быть понятно, что описанные системы и способы могут быть приспособлены и модифицированы таким образом, чтобы предоставить системы и способы для других подходящих вариантов применения, и что могут быть внесены и другие дополнения и изменения, и это не выходит за рамки объема описанных здесь систем и способов.

Обратимся теперь к чертежам, где изображения приводятся исключительно в целях иллюстрации предпочтительного варианта осуществления настоящего изобретения, а не в целях его ограничения, и где фиг. 1 представляет собой вид, показывающий блок-схему последовательности операций способа (10) обнаружения угрозы, который использует данные, собранные посредством системы (12), включающей в себя сеть (14) повсеместно расположенных датчиков, распределенную по множеству мест в городской среде. Городская среда может представлять собой любой данный город или место в пределах города, такое как торговый пассаж, аэропорт или военное сооружение, которые применяют охранные мероприятия. Сеть (14) датчиков, используемая в связи с различными вариантами осуществления настоящего изобретения, может состоять из множества чувствительных приборов, таких как видеокамеры, устройства формирования тепловизионных изображений, устройства формирования инфракрасных изображений и другие датчики, известные в данной области техники. В данном месте городской среды может быть установлен, по меньшей мере, один из датчиков. Конкретная географическая и физическая конфигурация сети (14) датчиков может быть определена в соответствии с целями системы, соображениями безопасности и другими факторами, релевантными по отношению к варианту реализации системы. В частности, предусматривается, что для того, чтобы повысить продуктивность и эффективность системы, сеть (14) датчиков должна быть распределена таким образом, чтобы объект, передвигающийся по городской среде, мог быть обнаружен во все моменты времени, по меньшей мере, одним из датчиков в данном месте сети (14) датчиков.

Согласно аспекту настоящего изобретения система (12) и способ (10) прогнозирующего обнаружения угрозы функционируют таким образом, чтобы в ответ на текущие данные, полученные от сети (14) датчиков, осуществлять повторный анализ и повторную интерпретацию данных, собранных из сети (14) датчиков. Как показано на фиг. 2, другой вариант осуществления способа (10) может включать в себя разнообразные этапы для определения статуса угрозы по разнообразным объектам. Поэтому сеть (14) датчиков может использовать архивированные данные, собранные из сети (14) датчиков, для обеспечения более полного понимания в отношении происхождения объекта, его цели, маршрута передвижения и/или другой информации, которая может быть полезной для оценки того, должен или нет данный объект рассматриваться как угроза безопасности. В дополнение к этому, система (12), в ответ на обнаружение вызывающего подозрение объекта, может выделять дополнительные системные ресурсы.

Способы и системы в том виде, в котором они описаны в данном документе, могут обнаруживать, отслеживать и классифицировать движущиеся объекты в видеопоследовательности. Такие объекты могут включать в себя транспортные средства, людей, группы людей и/или животных. Обратимся теперь к фиг. 3, согласно которой система (12) может включать в себя воспринимающий модуль (16), модуль (18) знаний, автономный модуль (20) и модуль (22) пользователя. В соответствии с приводимым в качестве примера вариантом осуществления настоящего изобретения воспринимающий модуль (16) может включать в себя сеть (14) датчиков и может быть пространственно отделен от модуля (18) знаний, автономного модуля (20) и модуля (22) пользователя. Воспринимающий модуль (16) может также включать в себя базу (24) данных для необработанных данных и может функционировать таким образом, чтобы выполнять воспринимающие процессы (26). Как также показано на фиг. 3, модуль (18) знаний может включать в себя блок (28) рассуждений и главную базу (30) данных.

Блок (28) рассуждений может позволить системе выносить суждение о данных, которые уже содержатся в главной базе (30) данных, и делать на их основе новые выводы, равно как делать запросы о новой информации или повторном анализе от воспринимающего модуля.

Автономный модуль (20) может включать в себя блок (32) мониторинга угрозы. Автономный модуль (20) может позволить системе (12) функционировать в автоматическом режиме, для которого может требоваться малое взаимодействие с человеком или вообще не требоваться такого взаимодействия. Таким образом, способы и системы обратного отслеживания, классификации и обнаружения угрозы, описанные в данном документе, могут выполняться и использоваться в автоматическом режиме. Блок (32) мониторинга угрозы может позволить пользователю выдать системе (12) команду на осуществление автономного мониторинга главной базы (30) данных на предмет данных, могущих представлять интерес для пользователя (36). Блок (32) мониторинга угрозы может дополнительно позволить пользователю (36) выдать системе (12) команду о том, какие действия предпринять в случае, если такие данные найдены, особенно, о том, какие автономные способы действий должны предприниматься при отсутствии вмешательства со стороны пользователя.

Далее, к модулю (22) пользователя может осуществлять доступ пользователь (36) системы. Сеть (14) датчиков может включать в себя видеокамеры, функционирующие таким образом, чтобы собирать данные из городской среды в каждом из мест. Видеокамеры могут получать данные из каждого места с частотой, соответствующей уровню угрозы места. Таким образом, данные могут включать в себя видеоизображения, полученные от этих видеокамер. Однако, в качестве дополнения, данные могут также включать в себя звуковые записи, полученные посредством других датчиков. Предполагается, что в данном месте сеть (14) датчиков может быть сконфигурирована таким образом, чтобы включать в себя как аудио-, так и визуальные датчики, такие как камеры и записывающие устройства, равно как и другие типы датчиков, формирующих изображение, тепловых датчиков и датчиков сбора данных. Например, сеть (14) датчиков может быть модифицирована таким образом, чтобы включать в себя разнообразные датчики, упомянутые выше, расположенные в местах, где безопасность поддерживается на высоком уровне, таких как военные сооружения и государственные учреждения.

Согласно предпочтительному варианту осуществления настоящего изобретения способ (10) инициализируется на начальном этапе, то есть на этапе (38) инициирования. Способ (10) включает в себя этапы, на которых: (а) инициируют запрос, касающийся подозрительного объекта, находящегося в текущем месте, в ответ на совершение подозрительным объектом инициирующего действия (то есть этап (40) запроса); (b) в ответ на запрос осуществляют обратное отслеживание подозрительного объекта, собирая данные из каждого места, в котором этот подозрительный объект был обнаружен сетью датчиков (то есть этап (42) обратного отслеживания); (с) составляют набор данных, включающий в себя список тех мест, в которых был обнаружен подозрительный объект, и соответствующие им данные (то есть этап (44) составления); и (d) сравнивают список мест, включенный в состав набора данных, с соответствующим уровнем угрозы места для того, чтобы определить статус угрозы, относящийся к подозрительному объекту (то есть этап (46) сравнения).

Этап инициации может включать в себя обнаружение событий, таких как вход в учреждение, приближение к охраняемым воротам и некоторые поведенческие модели, причем все это приводится в целях иллюстрации инициирующих действий, а не в целях их ограничения.

Как было сказано выше, в противоположность подходу, основанному на отсчете времени в прямом направлении, варианты осуществления данного изобретения используют подход, основанный на отсчете времени в обратном направлении, для того чтобы отслеживать объект «в обратном направлении во времени» и выносить суждения о его наблюдавшихся предыдущих местах расположения и поведении. Например, если объект совершает инициирующее действие в текущем месте (этап (38) инициирования), то объект может быть признан «подозрительным объектом», и может быть положено начало запросу, касающемуся подозрительного объекта (этап (40) запроса). Этап (42) обратного отслеживания может включать в себя получение данных, собранных в отношении подозрительного объекта, начиная с текущего места и продолжая в обратном направлении во времени. Доступ к данным, соответствующим подозрительному объекту, может быть осуществлен из модуля (18) знаний, в котором эти данные были сохранены. Для составления (компилирования) набора данных (этап (44) составления) система (12) может проанализировать данные из каждого места, расположенного по соседству с текущим местом, с целью отслеживания вызывающего подозрения объекта. Как упоминалось выше и как известно в данной области техники, сеть (14) датчиков может способствовать этому процессу посредством классификации и идентификации подозрительного объекта по мере его перемещения от одного места к другому в рамках сети (14) датчиков. В связи с этим отслеживание в обратном направлении подозрительного объекта может быть выполнено системой (12) с использованием предметной классификации подозрительного объекта, обнаруженного сетью (14) датчиков. Предполагается, что после завершения набора данных этот набор данных может включать в себя список мест, в которых был обнаружен этот подозрительный объект. Этот список мест затем может быть использован для определения дополнительной информации, касающейся подозрительного объекта. Например, список мест может сравниваться (этап (46) сравнения) с соответствующим уровнем угрозы места по каждому месту для того, чтобы определить статус угрозы подозрительного объекта. В дополнение к этому, набор данных может включать в себя видеоданные, данные, представляющие собой изображения, звуковые записи и другие формы данных, собранных посредством сети (14) датчиков, каковые данные могут быть использованы для дальнейшего определения уровня угрозы подозрительного объекта. Поэтому набор данных может включать в себя последовательность относящихся к прошлому кадров, показывающих подозрительный объект при его движении от одного места к другому. Эта информация может быть проанализирована для того, чтобы оценить прошлое поведение подозрительного объекта и сравнить его с шаблонами угрожающего поведения с целью оценки того, может ли подозрительный объект представлять угрозу безопасности.

Например, в случае транспортного средства, приближающегося к охраняемым воротам, нижеследующие примеры прошлого поведения могут предоставить доказательство того, что это транспортное средство может представлять угрозу: транспортное средство прибыло из находящегося под подозрением враждебного места; транспортное средство было угнано; на транспортное средство была произведена некоторая передача громоздкого материала; картина (манера) управления транспортным средством была странной; транспортное средство прибыло с вызывающей подозрения встречи; или транспортное средство замечено часто проезжающим мимо. Поэтому оценка набора данных позволяет системе (12) перейти в прогнозирующий режим обнаружения угрозы. Таким образом, сеть (14) датчиков может непрерывно обновлять модуль (18) знаний, рассматривая новые данные, и может затем предоставлять обновленные классификации уровня угрозы места по каждому месту в пределах городской среды. Таким образом, может быть осуществлен мониторинг городской среды, и подозрительный объект может быть надлежащим образом идентифицирован в соответствии со своим уровнем угрозы.

Согласно другому варианту реализации изобретения способ (10) может дополнительно включать в себя этапы, на которых: анализируют данные в наборе данных о подозрительном объекте для того, чтобы определить, имело ли место взаимодействие между подозрительным объектом и последующим объектом (то есть этап (48) взаимодействия); и после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы обратного отслеживания, составления и сравнения для последующего объекта для того, чтобы определить статус угрозы, относящийся к последующему объекту (то есть этап (50) повторения). Обратное отслеживание подозрительного объекта, как уже упоминалось выше, обеспечивает набор данных о местах и данных, связанных с подозрительным объектом. Эти данные могут быть затем проанализированы для того, чтобы определить, вступал ли подозрительный объект в какие-либо взаимодействия с другими объектами и каким может быть результат или скрытый смысл таких взаимодействий.

Согласно варианту реализации настоящего изобретения взаимодействие может представлять собой физическую передачу, «ментальную» передачу, и/или физическое движение. Таким образом, если подозрительный объект виден на кадре видеоданных расположенным по соседству с последующим объектом в течение продолжительного периода времени, то система (12) может сделать вывод, что имела место «ментальная» передача. «Ментальная» передача может включать в себя простой разговор или обмен информацией. Если видеоданные показывают, что подозрительный объект принял от последующего объекта или передал ему другой предмет, то эта физическая передача также может быть интерпретирована системой. Таким образом, в варианте реализации настоящего изобретения такие видеоданные, показывающие физическую передачу и/или «ментальную» передачу, могут быть предоставлены в набор данных для дальнейшей интерпретации их системой. При получении этих данных система (12) может идентифицировать последующий объект и осуществить отслеживание последующего объекта в обратном направлении во времени для того, чтобы определить, должна ли эта физическая и/или «ментальная» передача оказать влияние на уровень угрозы подозрительного объекта или последующего объекта. Например, если отслеживание последующего объекта в обратном направлении обнаруживает, что последующий объект прибыл из враждебного места, то любая физическая передача или «ментальная» передача подозрительному объекту может оказать влияние на уровень угрозы подозрительного объекта.

В дополнение к этому, при обнаружении того, что подозрительный объект взаимодействовал с последующим объектом и что последующий объект происходил из враждебного места или иным образом связан с этим местом, данные в наборе данных по подозрительному объекту могут быть соответствующим образом обновлены. Например, любая классификация мест для мест, в которых был обнаружен подозрительный объект, может быть обновлена таким образом, чтобы отразить возросший уровень угрозы подозрительного объекта. Соответственно, любая физическая или «ментальная» передача, произведенная подозрительным объектом, которая имела место после физической или «ментальной» передачи с участием последующего объекта, также может рассматриваться как имеющая повышенный уровень угрозы. Как может понять специалист в данной области техники, разнообразные другие варианты логического вывода и сценарии предполагаются не выходящими за рамки объема вариантов реализации настоящего изобретения.

Согласно другому аспекту настоящего изобретения способ (10) может дополнительно включать в себя этапы, на которых: анализируют данные в наборе данных о последующем объекте для того, чтобы определить, имело ли место взаимодействие между последующим объектом и дополнительным последующим объектом (то есть этап (50) определения); и после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы обратного отслеживания, составления и сравнения для дополнительного последующего объекта для того, чтобы определить статус угрозы, относящийся к дополнительному последующему объекту (этап (50) определения). Этап (50) определения может включать в себя повторение этапов (40), (42) и (44) для каждого дополнительного последующего объекта и других объектов, идентифицированных посредством выполнения этих этапов. Поэтому система (12) может быть соответствующим образом модифицирована так, чтобы включать в себя онтологический анализ объектов в том, как они корреспондируют друг другу. В рамках этого онтологического подхода предполагается, что все до единого объекты могут быть отслежены в обратном направлении, в процессе того, как система (12) переключается между различными взаимодействиями. Новые данные, составленные (скомпилированные) в соответствующие наборы данных по каждому из соответствующих объектов, могут быть проанализированы для того, чтобы оценить статус угрозы каждого объекта. В дополнение к этому, данные в этих наборах данных также могут быть использованы для обновления уровня угрозы места для соответствующих мест, в которых были обнаружены эти объекты или в которых имели место физические передачи, «ментальные» передачи и/или физические движения (то есть этап (56) обновления).

В соответствии с еще одним вариантом осуществления настоящего изобретения способ (10) может дополнительно включать в себя этап, на котором производят повторную оценку статуса угрозы, по меньшей мере, одного объекта в ответ на, по меньшей мере, одно из следующего: статуса угрозы дополнительного последующего объекта и набора данных по дополнительному последующему объекту (то есть этап (58) повторной оценки статуса угрозы). Способ (10) может включать в себя этап, на котором производят повторную оценку статуса угрозы подозрительного объекта в ответ на, по меньшей мере, одно из следующего: статуса угрозы последующего объекта и набора данных по последующему объекту. В связи с этим способ (10) может включать в себя этап, на котором производят повторную оценку статуса угрозы данного объекта в ответ на, по меньшей мере, одно из следующего: статуса угрозы другого данного объекта и набора данных по другому данному объекту. Кроме того, способ (10) может также включать в себя этапы, на которых: повторно анализируют данные, соответствующие взаимодействию, для того чтобы определить дополнительную информацию, касающуюся, по меньшей мере, одного из следующего: физической передачи, «ментальной» передачи и физического движения; и повторно оценивают статус угрозы, по меньшей мере, одного объекта на основе этой дополнительной информации.

В качестве дополнительного аспекта настоящего изобретения, после сбора данных сетью (14) датчиков данные могут быть первоначально сохранены в базе (24) данных для необработанных данных и обработаны с использованием, по меньшей мере, одной из разнообразных технологий, известных в данной области техники. Эта обработка может иметь место в воспринимающем модуле (16) с использованием воспринимающих процессов (26). Такие воспринимающие процессы (26) и технологии могут включать в себя: вычитание фона и временное различение, разделение множества накладывающихся друг на друга предметов, классификацию предметов, отслеживание предметов, методы анализа предметов и сопоставление с образцом. Таким образом, датчики сети датчиков могут быть сконфигурированы так, чтобы обрабатывать данные, полученные с каждого места, с той целью, чтобы индексировать и архивировать данные в модуле (18) знаний в более удобном виде. Предполагается, что доступность массового запоминающего устройства и вычислительной мощности может продолжить повышаться в будущем, равно как сложность и возможности отдельных датчиков.

Таким образом, по мере того, как будут разработаны более совершенные, более мощные процессоры, данные, полученные посредством сети датчиков, могут быть проанализированы более быстро и с меньшей нагрузкой на системные ресурсы. Эта тенденция возрастающей вычислительной мощности вызывает увеличение набора алгоритмов, которые могут быть применены ко всем данным при их сборе. Однако всегда будут иметься более сложные алгоритмы, которые могут переполнить системные ресурсы, если будут применяться ко всем данным. Такие интенсивно потребляющие ресурсы алгоритмы могут быть разработаны для противодействия все более сложным контрмерам, используемым противниками. Использование этих более эффективных, но с вычислительной точки зрения более затратных способов обработки данных откладывается системой (12) до тех пор, пока их использование не является оправданным, и в этом случае обработка производится в отношении прошлого. Без этой отложенной способности анализ изображений ограничивается теми способами, которые могут производиться над всеми предметами в реальном масштабе времени. В связи с этим предполагается, что система (12) может осуществлять повторный анализ относящихся к прошлому данных от датчиков в свете того, что обнаружено системой (12) и что заслуживает более пристального внимания или повторной интерпретации. Это позволяет системе (12) использовать способы обнаружения, которые могут потребовать ресурсы сверх того, что возможно использовать для всех предметов, в тех случаях, когда осознано, что такой способ полезен.

При современном состоянии данной области техники непрерывное обновление и сбор данных посредством сети (14) повсеместно расположенных датчиков требует огромных возможностей по хранению данных и обработке данных. Вследствие этого для того, чтобы способствовать этому процессу, данные могут быть упрощены, сжаты или иным образом изменены с целью снижения нагрузки на систему от такого рода хранения и обработки данных. В связи с этим предполагается, что обработка данных посредством классификации, отслеживания, анализа и других способов с использованием воспринимающего модуля (16) способна обеспечить более быстрое обратное отслеживание, обновление и другие функциональные возможности системы (12). В связи с этим предполагается, что данные могут храниться в главной базе (30) данных, входящей в состав модуля (18) знаний, в течение определенного интервала времени. Главная база (30) данных может сохранять данные после того, как данные были обработаны воспринимающим модулем (16). Этот интервал времени может соответствовать различным факторам, таким как: уровень угрозы места, присвоенный тому месту, откуда были получены эти данные; доступные системные ресурсы и тому подобное.

Таким образом, согласно варианту осуществления настоящего изобретения система (12) осуществляет анализ ввода изображений и использование данных из сети (14) датчиков в городской среде, где большое количество, возможно, сотни или тысячи камер и других датчиков с фиксированным расположением предоставляют обширные потоки данных. Данные, собранные посредством сети (14) датчиков, могут храниться в качестве необработанного потока данных в течение значительного периода времени, например часов или дней. При обработке данных система (12) может обрабатывать и сохранять данные в соответствии с различными уровнями представления данных. Как показано на фиг. 4, уровни представления данных могут включать в себя: изображения и фильмы (60), предметы (62), следы (64), действия (66) и/или эпизоды (68). В модуле (18) знаний может присутствовать каждый из уровней представления данных. Однако предполагается, что набор данных по некоторому данному объекту может включать в себя единственный или множественные уровни представления данных в зависимости от того, что требуется системе.

Согласно сказанному здесь, изображения и фильмы (60) могут включать в себя необработанный поток данных, собранный сетью (14) датчиков, плюс результаты любой обработки данных, выполненной при первоначальном сборе данных. Уровень представления данных «изображение и фильм» (60) может включать в себя простую временную последовательность изображений от связанных датчиков и может представлять собой наименее информативную и наименее интересную коллекцию данных в системе. Как можно понять, уровень представления данных «изображение и фильм» (60) также может быть самым большим, причем намного превышая в этом другие уровни, и для эффективного хранения этих данных могут быть использованы технологии сжатия. Предполагается, что в целях повышения эффективности и результативности системы (12) во время обратного отслеживания уровень представления данных «изображение и фильм» (60) может не обрабатываться.

Однако для того, чтобы минимизировать объем вычислительной нагрузки, требующейся для извлечения предмета и отслеживания его в обратном направлении, для данных при их сборе с использованием воспринимающего модуля (16) должен проводиться столь большой объем обработки, сколь возможно. Как упоминалось выше, технологии обработки данных могут включать в себя: обнаружение движущегося предмета; обнаружение краев или другие технологии для разделения множества накладывающихся друг на друга предметов; и простую классификацию движущихся предметов. В связи с этим предусматривается, что сеть (14) датчиков может быть сконфигурирована таким образом, чтобы включать в себя выделенный процессор для каждого датчика или небольшой группы датчиков для выполнения этой начальной обработки данных. Объем обработки изображений в реальном масштабе времени, выполняемый при сборе данных, может определяться количеством доступных для системы (12) ресурсов, а это, в свою очередь, может зависеть от ситуации. Зависящая от ситуации обработка данных может быть выполнена в ответ на инициирующие события, объекты, транзакции и другие стимулы. В дополнение к этому, при возникновении соответствующих ситуаций системные ресурсы могут выделяться для выполнения обработки данных, имеющей высокий приоритет, при этом приоритеты могут определяться типом инициирующего события, которое имело место.

Согласно другому аспекту настоящего изобретения данные могут быть классифицированы как предметы (62) в соответствии с этим уровнем представления данных. Предметы (62) могут включать в себя объекты в окружении, такие как люди, транспортные средства, здания и другие предметы, которые можно переносить. Как упоминалось выше, данные видеоизображений могут быть проанализированы классификатором для того, чтобы идентифицировать и обозначить предметы (62), имеющиеся в данных. Классификатор как имя подразумевает его название, может попытаться обозначить каждый предмет (62) его категорией, например транспортным средством или, если имеется больше информации, автомобилем. В этом отношении классификатор может пытаться присвоить каждому предмету (62) наиболее конкретное обозначение, которое позволяют присвоить данные. Однако классификатору может быть запрещено нестрогое рассуждение с использованием догадок, поскольку ошибки в категории предметов (62) могут подорвать эффективность системы.

В приводимом в качестве примера варианте осуществления изобретения предметы (62) могут быть разделены на две категории: неподвижные и подвижные. Неподвижный предмет (62), такой как здание или телефонная будка, всегда может быть частью изображения, сформированного конкретным стационарным датчиком. При установке стационарного датчика данные, представляющие собой изображение, могут быть просмотрены и может быть дана правильная классификация неподвижных предметов (62), такая как классификация здания как магазина, каковая классификация не могла быть получена иным образом из изображения. Подвижные предметы (62) могут представлять собой транспортные средства, людей, тележки торговцев фруктами и тому подобное. Такие подвижные предметы (62) могут передвигаться в пределах зоны обслуживания отдельного датчика или могут даже пересекать границы между датчиками. Как известно в данной области техники, система (14) датчиков может использовать передачу слежения за предметом от одной камеры другой, используя для этого сценарии многокамерной работы. Таким образом, как уже говорилось ранее, подвижный предмет (62) может получить тег и отслеживаться по всей системе (14) датчиков. По этой причине каждый из числа неподвижных и подвижных предметов (62) должен быть классифицирован и обозначен тегом настолько точно, насколько это возможно. В этом отношении следует отметить, что классификационная информация или тег предмета (62) могут включать в себя и другую информацию, такую как данные о том, является ли предмет (62) дружественным или вызывает подозрения. Таким образом, лицо или транспортное средство могут быть обозначены как дружественные или вызывающие подозрения. Парковочная площадка и офисное здание могут также иметь свойство, такое как «остановка», которое указывает на то, что ожидаемой составляющей их функции являются частые приезды и отъезды посетителей, приезжающих однократно и на короткий срок, в чем они противоположны жилым зданиям. Эти типы свойств могут выводиться системой (12) или могут присваиваться человеком-пользователем. Конкретность свойств предмета может изменяться по мере того, как система (12) выделяет дополнительные ресурсы для обработки данных по предмету. При этом даже возможно, что свойство может полностью поменять свое значение. Например, нейтральный предмет (62) может стать «вызывающим подозрения», а затем позже быть идентифицирован как дружественная сила. Эта способность системы (12) к автономному изменению свойств позволяет системе (12) отслеживать объекты и другие предметы (62) посредством сети датчиков и вносить соответствующие обновления в их классификации с тем, чтобы обеспечить точное прогнозирующее обнаружение.

Вновь обратимся к фиг. 4, согласно которой уровень представления данных «след» (64) может включать в себя временную организацию данных, собранных с различных датчиков, с целью определения того, является ли предмет (62), обнаруженный различными датчиками, на самом деле одним и тем же предметом. След (64) может избирательно определяться системой в отношении предмета (62), тем самым производится выделение дополнительных системных ресурсов, для того чтобы задействовать след (64) предмета (62). Такое отслеживание может позволить системе (12) определить свойства предмета (62). Например, если замечено, что скорость превышает 20 миль в час, то система (12) может сделать вывод, что предмет (62) моторизован или оснащен двигателем. В соответствии с требованиями системы (12) могут быть осуществлены и другие разнообразные модификации и варианты реализации следа (64).

Уровень представления данных «действие» (66), показанный на фиг. 4, может включать в себя физическую передачу, «ментальную» передачу и/или физическое движение, упоминавшиеся ранее. Таким образом, действие может представлять собой ассоциацию или отношение между предметами (62) и следами (64). Предполагается, что суждение о действии может быть или не быть вынесено с уверенностью, что объясняется ограничениями, присущими датчикам и обработке данных. Однако предполагается, что действие может быть логически выведено системой и что данные могут интерпретироваться блоком (28) рассуждений в соответствии с некоторым действием, таким как физическая передача, «ментальная» передача и/или физическое движение. Другие действия (66) могут включать в себя «вход» или «выход», которые могут связывать подвижный предмет (62) с неподвижным предметом (62), таким как здание, военное сооружение или торговый центр. Таким образом, при отслеживании предмета (62) система (12) может распознать, что объект вошел в здание или вышел из него. Как упоминалось выше, поскольку технологии обработки данных и классификации данных совершенствуются, предполагается, что суждения о действиях (66) могут выноситься с более высокой степенью уверенности, позволяя таким образом системе (12) более точно интерпретировать и анализировать движение и поведение объекта. Такие усовершенствования в технологии могут включать в себя, например, искусственный интеллект и распознавание лиц.

Уровень представления данных «эпизод» (68), показанный на фиг. 4, может представлять агрегацию предметов (62) и действий (66), которые удовлетворяют заранее определенной модели отношений между предметами (62) и действиями (66), объединенными в эпизод (68), такой, например, модели, как поведенческая модель. Эти отношения могут носить временный или пространственный характер и могут требовать, чтобы конкретные роли, состоящие из множественных действий (66), были идентичны. Эпизоды (68) могут быть использованы для указания того, когда должны быть выделены системные ресурсы, например, чтобы положить начало запросу о подозрительном объекте, находящемся в текущем месте, как это было описано выше. Например, при приближении объекта к охраняемым воротам уровень представления данных «эпизод» (68) может позволить системе инициировать запрос и начать обратное отслеживание объекта.

Таким образом, используя вышеупомянутые уровни представления данных, система (12) может анализировать и интерпретировать взаимодействия между объектами в пределах городской среды. На фиг. 5а-5d приводится пример. В нижеследующем примере городская среда может включать в себя небольшой городской район (70), окружающий дружественную военную базу (72). Сеть (14) датчиков может состоять из трех датчиков, один из которых осуществляет мониторинг въезда на базу (датчик А (74)), другой осуществляет мониторинг дороги к северу от въезда на базу (датчик В (76)), и другой осуществляет мониторинг дороги к югу от въезда на базу (датчик С (78)). Система (12) может получить команду осуществлять обратное отслеживание всех транспортных средств, прибывающих на базу, проводя отслеживание в обратном направлении по набору данных по этому транспортному средству с целью определения любых взаимодействий. Согласно примеру, как показано на фиг. 5а, первое транспортное средство (80) покидает свое исходное место (82) и прибывает на парковочную площадку (84), где ждет второе транспортное средство (84), что и записывается датчиком В (76). Согласно фиг. 5b, второе транспортное средство (86) покидает известное враждебное место (88) и прибывает на парковочную площадку (84), что и записывается датчиками В и С. Первое и второе транспортные средства (80) и (86) участвуют в вызывающей подозрения встрече на парковочной площадке (84), что и записывается датчиком В (76). Согласно фиг. 5с, после этой встречи второе транспортное средство (86) покидает парковочную площадку (84) и прибывает во враждебное место (88). Согласно фиг. 5d, первое транспортное средство (80) позднее покидает парковочную площадку (84) и пытается въехать на базу. При его приближении к воротам базы система (12) инициирует запрос и начинает последовательность обратного отслеживания по первому транспортному средству (80). Обратное отслеживание прослеживает первое транспортное средство (80) в обратном направлении до вызывающей подозрение встречи на парковочной площадке (84). Система (12) также может проследить первое транспортное средство (80) в обратном направлении до исходного места (82), которое может иметь или может не иметь уровень угрозы места со значением «враждебный» или «дружественный». В это время первому транспортному средству (80) может быть присвоен соответствующий статус угрозы. Однако система (12) может также распознать, что первое транспортное средство (80) участвовало во взаимодействии со вторым транспортным средством (86). В зависимости от данных, имеющихся в распоряжении системы, система (12) может идентифицировать это взаимодействие как одно из многих действий (66). В дополнение к этому система (12) может инициировать обратное отслеживание по второму транспортному средству (86) и предоставить любые данные и список мест, соответствующих второму транспортному средству (86). После этого система (12) может, вероятно, обнаружить, что второе транспортное средство (86) прибыло из враждебного места (88) и может после этого присвоить ему соответствующий статус угрозы. В дополнение к этому, система (12) может обновить статус угрозы первого транспортного средства (80) в ответ на статус угрозы или набор данных по второму транспортному средству (86). Наконец, система (12) может обновить уровень угрозы исходного места (82) в ответ на, по меньшей мере, статус угрозы первого или второго транспортных средств (80), (86). Таким образом, как здесь описано, система (12) может использовать данные, соответствующие каждому из этих транспортных средств и любым другим транспортным средствам или объектам, идентифицированным при обратном отслеживании первого и второго транспортных средств (80), (86), для того чтобы оценить статус угрозы первого транспортного средства (80) и уровень угрозы места по исходному месту (82).

Согласно другому варианту осуществления настоящего изобретения предполагается, что система (12), кроме того, может функционировать таким образом, чтобы идентифицировать поведенческие модели посредством анализа данных, соответствующих данному объекту. В связи с этим на начальном этапе, то есть на этапе (38) инициирования, может быть инициализирован способ (10) прогнозирующего обнаружения, который использует данные, собранные посредством сети повсеместно расположенных датчиков, распределенной по множеству мест в городской среде. Способ (10) может включать в себя этапы, на которых: а) инициируют запрос, касающийся подозрительного объекта, находящегося в текущем месте, в ответ на совершение подозрительным объектом инициирующего действия (то есть этап (40) запроса); b) в ответ на запрос составляют данные, соответствующие тому месту, в котором этот подозрительный объект был обнаружен сетью (14) датчиков (то есть этап (44) составления); и с) анализируют эти данные для того, чтобы определить статус угрозы, относящийся к подозрительному объекту (то есть этап (90) анализа данных). Этап (90) анализа данных может включать в себя анализ данных в рамках поведенческого анализа в связи с описанными здесь способами.

Данные, соответствующие данному объекту, могут быть использованы для определения статуса угрозы этого объекта. Как упоминалось выше, для прогнозирования статуса угрозы объекта может осуществляться мониторинг определенных мест и поведенческих типов. Способ (10) может дополнительно включать в себя этапы, на которых: анализируют эти данные, для того чтобы определить взаимодействие, имевшее место между подозрительным объектом и последующим объектом (этап (48) взаимодействия); и после определения имевшего место взаимодействия повторяют в автоматическом режиме этапы составления и анализа для последующего объекта, для того чтобы определить статус угрозы, относящийся к последующему объекту (этап (50) повторения). Помимо этого, способ (10) может дополнительно включать в себя этап, на котором производят повторную оценку статуса угрозы подозрительного объекта в ответ на, по меньшей мере, одно из следующего: статуса угрозы последующего объекта и данных, соответствующих последующему объекту (этап (58) повторной оценки статуса угрозы).

Для каждого последующего объекта способ (10) может дополнительно включать в себя этап, на котором: анализируют данные по последующему объекту, для того чтобы определить, имело ли место взаимодействие между последующим объектом и дополнительным последующим объектом (дополнительный этап (54) повторения); и после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы составления и анализа для дополнительного последующего объекта, для того чтобы определить статус угрозы, относящийся к дополнительному последующему объекту (дополнительный этап (54) повторения). Кроме того, способ (10) может также включать в себя этап, на котором производят повторную оценку статуса угрозы, по меньшей мере, одного объекта в ответ на, по меньшей мере, одно из следующего: статуса угрозы дополнительного последующего объекта и данных, соответствующих дополнительному последующему объекту (этап (58) повторной оценки статуса угрозы).

Согласно другому аспекту настоящего изобретения, который может быть использован в связи с этапом (90) анализа данных, пользователь (36) может осуществить доступ к данным, полученным посредством сети (14) датчиков, и может инициализировать обработку данных в соответствии с потребностями пользователя. Например, пользователь (36) может просмотреть, скорректировать и/или усовершенствовать первоначальные обнаружение, классификацию и спецификации свойств неподвижных предметов (62) в зоне обслуживания датчиков. В дополнение к этому, при определении места расположения устройства мониторинга пользователь (36) может определить, мониторинг какого места должен осуществляться и в отношении каких типов действий. Пользователь (36) может определять, какая информация запрашивается и принимается системой (12). Например, пользователь (36) может принимать представления данных, собранных сетью (14) датчиков, для того чтобы подготовить некоторое представление данных. В ходе этой подготовки пользователь (36) может запрашивать данные на различных уровнях представления данных в соответствии с потребностями пользователя. При просмотре данных пользователь (36) может отдавать системе (12) указания и заставлять ее давать данным другое обозначение, выбирать конкретные предметы (62) или действия для их дальнейшего анализа или запрашивать более низкие приоритеты для происходящих в текущий момент действий с тем, чтобы выделить дополнительные системные ресурсы для той обработки данных, которая требуется пользователю (36).

Как описано выше, варианты осуществления настоящего изобретения предлагают систему (12) и способ (10) прогнозирующего обнаружения угрозы, при котором места, взаимодействия и поведенческие модели объекта могут быть отслежены в обратном направлении, интерпретированы и проанализированы в ответ на полученные в текущий момент данные с целью определения статуса угрозы этого объекта. В дополнение к прогнозирующему анализу данных предполагается, что дополнительные варианты осуществления настоящего изобретения могут быть использованы в следственном режиме. В связи с этим предполагается, что данные во всех формах уровней представления данных могут быть использованы системой (12) для повторной оценки статуса угрозы объекта или уровня угрозы места по любому данному месту в пределах сети (14) датчиков. Например, в сценарии, изображенном на фиг. 5а-5d, любые из данных, полученных посредством обратного отслеживания, анализа и интерпретации наборов данных, соответствующих первому и второму транспортным средствам (80), (86), могут также быть использованы для обновления уровня угрозы места любого из данных мест, в которых первое и второе транспортные средства (80), (86) могли быть обнаружены. Конечно, в реальных ситуациях, в которых имеется множество взаимодействий и множество мест, обновление и обратное отслеживание могут быть весьма сложными. Система (12) может быть способна обнаруживать другие представляющие интерес места в ответ на модели поведения объектов. Этот режим системы (12) может функционировать во взаимодействии или отдельно от прогнозирующего режима определения угрозы, имеющегося в данной системе. Однако предполагается, что информация, полученная посредством повторного анализа и повторной интерпретации данных, соответствующих некоторому объекту, может быть использована для изменения классификаций предметов, уровней угрозы мест и уровней представления других данных.

В дополнение к этому, как упоминалось ранее, система (12) может быть сконфигурирована таким образом, чтобы предусматривать технологии моделирования, основанные на онтологии, с тем чтобы включать в себя критические параметры, варианты поведения, ограничивающие условия и другие свойства, которые необходимы системе. Например, система (12) может быть сконфигурирована таким образом, чтобы включать в себя интерфейсы уровня компонентов и пользователя, посредством которых могут быть сделаны запросы в систему (12). Например, пользователь (36) может запросить систему (12) «идентифицировать субъектов, которые взаимодействовали с пешеходом Х». Таким образом, система (12) может выполнить этот запрос и определить соответствующий уровень представления данных для каждого из «субъектов» и «пешехода Х», равно как действие (66), которое представляет собой «взаимодействие». Посредством этого запроса, основанного на онтологии, пользователь (36) может осуществить доступ к данным, релевантным по отношению к разнообразным объектам или расследованиям. Этот процесс может предоставить пользователю (36) возможность предлагать классификацию предметов (62), конфигурировать классификации сети (14) датчиков, изменять уровни угрозы мест и другие функциональные возможности. В связи с этим точность и эффективность системы (12) могут быть повышены.

Если не указано иное, иллюстративные варианты осуществления изобретения могут пониматься как приведение иллюстративных признаков изменяющейся подробности определенных вариантов осуществления изобретения и по этой причине, если не указано иное, признаки, компоненты, модули и/или аспекты этих иллюстраций могут быть иным образом объединены, разделены, переставлены и/или переделаны, что не выходит за рамки описанных систем или способов. В дополнение к этому формы и размеры компонентов также являются иллюстративными и, если не указано иное, могут быть изменены, не затрагивая объема описанных и иллюстративных систем или способов, приведенных в настоящем описании.

Формула изобретения

1. Способ прогнозирующего обнаружения угрозы, который использует данные о местах и объектах, собранные посредством сети повсеместно расположенных датчиков обнаружения различного типа, распределенных по множеству мест в городской среде, причем эти места классифицированы в соответствии с уровнем угрозы мест, при этом способ включает в себя этапы, на которых а) инициируют запрос, касающийся объекта, находящегося в текущем месте, в ответ на совершение этим объектом инициирующего действия; b) в ответ на запрос осуществляют обратное отслеживание во времени упомянутого объекта, собирая данные из каждого места, в котором этот объект был ранее обнаружен сетью датчиков наблюдения; с) составляют набор данных, включающий в себя список тех мест, в которых был обнаружен упомянутый объект, и характеризующие эти места данные, в том числе уровень угрозы этих мест; d) сравнивают данные о каждом содержащемся в упомянутом списке месте, в котором был обнаружен упомянутый объект, с данными о местах, классифицированных по уровню угрозы, чтобы определить статус угрозы, связанной с упомянутым объектом.

2. Способ по п.1, дополнительно включающий в себя этапы, на которых а) анализируют данные в наборе данных об упомянутом объекте для того, чтобы определить, имело ли место взаимодействие между упомянутым объектом и последующим объектом; b) после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы обратного отслеживания во времени, составления и сравнения для последующего объекта для того, чтобы определить статус угрозы, относящийся к последующему объекту.

3. Способ по п.2, дополнительно включающий в себя для каждого последующего объекта повторение этапов, на которых а) анализируют данные в наборе данных о последующем объекте для того, чтобы определить, имело ли место взаимодействие между последующим объектом и дополнительным последующим объектом; b) после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы обратного отслеживания во времени, составления и сравнения для дополнительного последующего объекта для того, чтобы определить статус угрозы, относящийся к дополнительному последующему объекту.

4. Способ по п.2, дополнительно включающий в себя этап, на котором производят повторную оценку статуса угрозы, по меньшей мере, одного объекта в ответ на, по меньшей мере, одно из следующих: статус угрозы дополнительного последующего объекта и набор данных о дополнительном последующем объекте.

5. Способ по п.2, в котором взаимодействие включает в себя, по меньшей мере, одно из следующего: физическую передачу, «ментальную» передачу и физическое движение.

6. Способ по п.5, дополнительно включающий в себя этапы, на которых а) повторно анализируют данные, соответствующие взаимодействию, для того, чтобы определить дополнительную информацию, касающуюся,по меньшей мере, одного из следующих: физическая передача, «ментальная» передача и физическое движение; b) повторно оценивают статус угрозы, по меньшей мере, одного объекта на основе этой дополнительной информации.

7. Способ по п.1, в котором после сбора данных сетью датчиков обнаружения эти данные первоначально обрабатывают с использованием, по меньшей мере, одной из следующих технологий: вычитание фона и временное различение, разделение множества накладывающихся друг на друга предметов, классификация предметов, отслеживание предметов, анализ предметов и сопоставление с образцом.

8. Способ по п.7, в котором обработанные данные используют для получения одного или более из следующих: изображение, фильм, предмет, след, действие и эпизод.

9. Способ по п.1, в котором для обработки данных в ответ на запрос, касающийся упомянутого объекта, выделяют дополнительные системные ресурсы.

10. Способ по п.1, дополнительно включающий в себя этап, на котором обновляют уровень угрозы места каждого из соответствующих мест, в которых был обнаружен упомянутый объект, в соответствии с уровнем угрозы упомянутого объекта.

11. Способ прогнозирующего обнаружения угрозы, который использует данные об объектах и местах, собранные посредством сети повсеместно расположенных датчиков обнаружения различного типа, распределенных по множеству мест в городской среде, причем способ включает в себя этапы, на которых а) инициируют запрос, касающийся объекта, находящегося в текущем месте, в ответ на совершение упомянутым объектом угрожающего действия; b) в ответ на запрос собирают данные, характеризующие те места, в которых подозреваемый объект был ранее обнаружен сетью датчиков обнаружения, причем упомянутые данные включают в себя также данные об уровне угрозы этих мест; с) анализируют эти данные посредством идентификации уровня угрозы упомянутых мест, чтобы определить статус угрозы, связанной с упомянутым объектом.

12. Способ по п.11, дополнительно включающий в себя этапы, на которых а) выполняют онтологический анализ этих данных, чтобы определить, имело ли место взаимодействие между упомянутым подозрительным объектом и последующим объектом; b) после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы составления и анализа для последующего объекта для того, чтобы определить статус угрозы, относящийся к последующему объекту.

13. Способ по п.12, дополнительно включающий в себя этап, на котором производят повторную оценку статуса угрозы подозрительного объекта в ответ на по меньшей мере одно из следующих: статус угрозы последующего объекта и набор данных о последующем объекте.

14. Способ по п.13, дополнительно включающий в себя для каждого последующего объекта повторение этапов, на которых а) анализируют данные о последующем объекте для того, чтобы определить, имело ли место взаимодействие между последующим объектом и дополнительным последующим объектом; и

b) после определения того, что взаимодействие имело место, повторяют в автоматическом режиме этапы составления и анализа для дополнительного последующего объекта для того, чтобы определить статус угрозы, связанный с дополнительным последующим объектом.

15. Способ по п.14, дополнительно включающий в себя этап, на котором производят повторную оценку статуса угрозы по меньшей мере одного объекта в ответ на по меньшей мере одно из следующих: статус угрозы дополнительного последующего объекта и набор данных о дополнительном последующем объекте.

16. Способ по п.11, в котором этап анализа дополнительно включает в себя этап, на котором идентифицируют на основе этих данных модель поведения объекта.

17. Способ по п.16, в котором проводят переоценку статуса угрозы объекта на основе этой модели поведения.

18. Система для автоматического обнаружения угрозы в городской среде, использующая данные об объектах и местах, связанных с подозреваемым объектом, собранные посредством сети повсеместно расположенных датчиков обнаружения, распределенных по множеству мест в городской среде, при этом система содержит а) блок мониторинга угрозы, функционирующий таким образом, чтобы обнаруживать подозреваемый объект в ответ на его инициирующее действие объекта, используя прямую передачу данных, причем блок мониторинга угрозы выполнен с возможностью генерировать запрос, касающийся упомянутого объекта; b) модуль знаний, включающий в себя базу данных и блок рассуждений, при этом база данных выполнена с возможностью архивировать данные от сети датчиков обнаружения и предоставлять эти данные блоку рассуждений, при этом блок рассуждений поддерживает связь с блоком мониторинга угрозы и базой данных, при этом блок рассуждений выполнен с возможностью в ответ на запрос, сгенерированный блоком мониторинга угрозы, осуществлять анализ данных, связанных с подозреваемым объектом, чтобы определять и выдавать статус угрозы, относящийся к подозрительному объекту.

19. Система по п.18, включающая в себя процессор, функционирующий таким образом, чтобы обрабатывать данные перед их архивированием в базе данных, причем обработанные данные классифицируются в соответствии с по меньшей мере одним уровнем представления данных.

20. Система по п.18, в которой блок рассуждений включает в себя модуль обратного отслеживания во времени, функционирующий таким образом, чтобы создавать набор данных из данных, характеризующих свойства и действия подозреваемого объекта, причем этот созданный набор данных используется блоком рассуждений для получения оценки статуса угрозы.

РИСУНКИ