Патент на изобретение №2387011

(54) ОСНОВАННОЕ НА АНАЛИЗЕ ИЗОБРАЖЕНИЙ ОТСЛЕЖИВАНИЕ ПЕРЕМЕЩЕНИЯ

(57) Реферат:

Изобретение относится к системам основанным на анализе изображений отслеживания перемещения множества объектов на определенной области. Техническим результатом является обеспечение надежного и эффективного способа отслеживания перемещений объектов в заданной области, основанного на анализе изображений. Указанный результат достигается тем, что множество средств регистрации изображения многократно записывает данные, относящиеся к множеству одновременных представлений событий, происходящих в пределах области. Более конкретно, по меньшей мере одна стереопара камер (101а, 101b) многократно записывает данные стереоизображения (D1′, D1”), основываясь на которых процессор (110) обработки данных многократно определяет соответствующее расположение каждого из объектов. Первая камера (101а) и вторая камера (101b) в стереопаре находятся друг от друга на базовом расстоянии. Кроме того, камеры (101а, 101b) по существу параллельны и направлены на область так, что первая плоскость изображения первой камеры (101а) регистрирует часть области, которая в значительной степени перекрывается с частью области, регистрируемой второй плоскостью изображения второй камеры (101b). 3 н. и 12 з.п. ф-лы, 9 ил.

Предшествующий уровень техники изобретения

Настоящее изобретение относится в общем случае к основанному на анализе изображений отслеживанию перемещения в сложных сценах. Более конкретно, данное изобретение относится к устройству согласно ограничительной части п.1 и соответствующему способу согласно ограничительной части п.13. Изобретение также относится к компьютерной программе по п.24 и машиночитаемому носителю по п.26.

Современная технология обработки изображений предоставляет возможность усовершенствованного извлечения в реальном времени данных из сложных сцен. Например, можно автоматически выделять и отслеживать различные виды транспортных средств, основываясь на изображениях, зарегистрированных видеокамерами. Международная патентная заявка WO96/13023 описывает устройство для идентификации транспортных средств на станции контроля, такой как дорожный пункт оплаты за проезд. В данном случае по меньшей мере одна видеокамера регистрирует профиль транспортного средства при свете определенного устройства освещения.

Также можно автоматически отслеживать людей посредством камер, связанных с соответствующим оборудованием обработки изображений. Документ US 6 359 647 раскрывает автоматизированную систему передачи обслуживания между камерами, которая способна отслеживать целевой объект между полями зрения различных камер в пределах многокамерной системы наблюдения. Соответственно вторая камера принимает ответственность за генерацию изображений, когда целевой объект оставляет поле зрения первой камеры и, как оценивают, входит в поле зрения второй камеры.

В других применениях может вместо этого быть уместно регистрировать изображения одной и той же сцены посредством более чем одной камеры. Спортивные события являются одним из таких примеров, потому что в данном случае могут интересовать различные ракурсы представления в зависимости от событий игры. Поэтому переключение с первой на вторую камеру может быть желательно даже при том, что первая камера также регистрирует определенное событие. Международная патентная заявка WO03/056809 описывает систему контроля в реальном времени перемещения атлетов, таких как футболисты, бегающие по футбольному полю. Эта система автоматически определяет, какая камера из множества камер лучше всего расположена для выполнения съемки определенного события на поле. Таким образом, система помогает режиссеру, ответственному за телевизионную запись/трансляцию футбольного матча или подобной игры.

Однако во многих видах спорта также может быть интересно генерировать различные виды статистической информации и систематических количественных сборников данных о действиях, предпринятых отдельными участниками спортивных игр. Например, в таких играх, как футбол, баскетбол, волейбол, хоккей и теннис, может быть желательно определять количество проходов по спортивной площадке, полную длину пробежки, максимальную скорость бега, среднюю скорость бега, время владения мячом, пространственное распределение определенных игроков относительно игровой площадки и/или относительно других игроков. Документ US 5 363 297 раскрывает автоматизированную систему отслеживания на основе камеры для создания таких записей данных. В данном случае предпочтительно используют две камеры, которые расположены примерно ортогонально друг другу (например, первая камера снимает вид поля сверху, а вторая камера снимает вид поля сбоку). Именно таким образом минимизируют риск затенения и ситуаций с появлением преград/накладывающимися силуэтами.

Однако во многих случаях просто невозможно или непрактично использовать камеру, устанавливаемую над объектом, например, при таких спортивных состязаниях на открытом воздухе, как футбол. Кроме того, игровая площадка на открытом воздухе может быть относительно большой, и/или в определенных случаях проблему могут создавать условия освещения. В результате две ортогонально расположенные камеры вида сбоку обычно не способны обеспечить разрешение или качество изображения, необходимое для отслеживания отдельных игроков со степенью точности, которая удовлетворяет требованиям. Требования к разрешению могут быть значительно снижены, если каждому игроку и мячу назначают определенные идентификаторы через ручной ввод информации оператором. Однако, из-за больших расстояний и, возможно, сложных условий освещения, система данного типа, вероятно, потеряет след одного или большего количества игроков и/или мяча относительно быстро в применении на открытом воздухе. Конечно, для помощи камерам могут использоваться различные виды независимых телеметрических систем, в которых участвуют размещенные на игроках передатчики/приемники. Однако такие решения, в свою очередь, связаны с другими проблемами, включающими в себя неудобства для игроков, и поэтому они не особенно желательны.

Сущность изобретения

Поэтому задачей настоящего изобретения является решение описанной выше проблемы, и таким образом обеспечение надежного и эффективного основанного на анализе изображений решения для отслеживания перемещений, которые выполняет каждый из множества объектов в заданной области.

Согласно одному из аспектов изобретения эту задачу решают с помощью устройства, которое первоначально описано, причем по меньшей мере одно из средств регистрации изображения включает в себя стереоскопическую пару (стереопару) камер (видеокамер), причем первая камера находится от второй камеры на базовом расстоянии. Первая и вторая камеры по существу параллельны и направлены на область так, что первая плоскость изображения первой камеры регистрирует часть области, которая в значительной степени перекрывается с частью области, которую регистрируют с помощью второй плоскости изображения второй камеры.

Важное преимущество, достигнутое в соответствии с данной стратегией разработки, состоит в том, что сравнительно высокое разрешение может быть достигнуто посредством разумного количества ресурсов. Кроме того, если используют множество стереопар камер, то может быть достигнуто надежное отслеживание, даже если объекты затеняют друг друга в течение коротких периодов времени.

Согласно предпочтительному варианту осуществления данного аспекта изобретения процессор обработки данных включает в себя стереомодуль, который выполнен с возможностью генерации стереоизображения, основываясь на данных от первого изображения, зарегистрированного первой камерой, и данных от второго изображения, зарегистрированного второй камерой. Предполагается, что и первое, и второе изображения регистрируют в определенный момент времени. Стереомодуль таким образом объединяет информацию от двух изображений в представление, подходящее для того, чтобы сделать выводы высокого уровня, такие как расположение определенных объектов. Предпочтительно стереоизображение представляет оценки изменяющейся во времени высоты над стационарной поверхностью области.

Согласно другому предпочтительному варианту осуществления данного аспекта изобретения процессор обработки данных включает в себя модуль инициализации сцены, который выполнен с возможностью генерации начальной модели заднего плана области, основываясь на данных от средств регистрации изображения, зарегистрированных в отсутствии объектов на области. Следовательно, посредством модели заднего плана движущиеся объекты, например людей и мячи, можно отличать от по существу неподвижных объектов, например игрового поля и различных трибун и платформ для зрителей.

Согласно еще одному предпочтительному варианту осуществления данного аспекта изобретения стереомодуль выполнен с возможностью генерации стереоизображения посредством процедуры, которая включает в себя преобразование одного из первого и второго изображений, чтобы оно соответствовало представлению другого из первого и второго изображений. Более конкретно, это преобразование приводит к тому, что на стереоизображении каждую точку изображения, которая основана на точке изображения, которая на первом изображении, оценивают для представления определенного сегмента поверхности, проектируют на ту же самую точку изображения, что и точку изображения на втором изображении, которая оценена для представления данного конкретного сегмента. Кроме того, преобразование приводит к тому, что на стереоизображении точки изображения на первом и втором изображениях, которые, как оценивают, представляют объекты над поверхностью, по меньшей мере горизонтально перемещают друг относительно друга. Степень перемещения в данном случае зависит от высоты объектов относительно поверхности. Такое представление выгодно, потому что оно дополнительно облегчает выделение движущихся объектов, например игроков и мяча.

Согласно еще одному предпочтительному варианту осуществления данного аспекта изобретения процессор обработки данных включает в себя первый модуль извлечения информации, выполненный с возможностью определения оценки точек изображения, которые представляют поверхность. Начальная модель заднего плана служит входными данными для этого определения.

Согласно другому предпочтительному варианту осуществления данного аспекта изобретения процессор обработки данных включает в себя модуль плотности, который выполнен с возможностью создания карты плотности, основываясь на стереоизображении. Карта плотности представляет соответствующие функции вероятности по расположениям-кандидатам объектов на области. Следовательно, с помощью изучения функции вероятности можно оценивать расположение каждого объекта. Предпочтительно эту операцию выполняет второй модуль извлечения информации в процессоре обработки данных, второй модуль выполнен с возможностью определять расположения объектов, основываясь на функциях вероятности.

Согласно еще одному предпочтительному варианту осуществления данного аспекта изобретения первый модуль извлечения информации выполнен с возможностью многократного (например, после каждого второго кадра изображения) определения обновленной модели заднего плана, основываясь на предыдущей модели заднего плана и определенном расположении объектов. Первый модуль извлечения информации также выполнен с возможностью многократного (например, после каждого второго кадра изображения) определения обновленной оценки точек изображения, которые представляют поверхность, основываясь на обновленной модели заднего плана. Такое обновление желательно потому, что таким образом поддерживают высокую надежность отслеживания. Обычно условия освещения и другие параметры внешней среды, которые по существу не коррелированы с событиями, происходящими на области, меняются с течением времени. Поэтому модель заднего плана необходимо обновлять для предоставления возможности непрерывного правильного выделения движущихся объектов.

Согласно другим предпочтительным вариантам осуществления данного аспекта изобретения областью является спортивное поле, и объекты включают в себя игроков, участвующих в спортивном событии, например в игре в мяч, которое проводится на спортивном поле. Объекты могут поэтому также включать в себя по меньшей мере один мяч. Следовательно, игроков и мяч можно отслеживать в течение игры, и в результате можно генерировать различные виды статистической информации и систематических количественных компиляций данных. Например, следующие параметры могут определяться относительно каждого игрока: количество проходов по спортивной площадке, полное расстояние, которое пробежал игрок, максимальная продолжительность пробежки, средняя продолжительность бега, время владения мячом, пространственное распределение на игровой площадке и/или относительно других игроков.

Согласно еще одному предпочтительному варианту осуществления данного аспекта изобретения процессор обработки данных выполнен с возможностью генерации в режиме реального времени по меньшей мере одного сигнала данных, который описывает по меньшей мере один вид статистической информации и/или систематической количественной информации, относящейся к множеству объектов. По меньшей мере один сигнал данных основывается на расположении объектов, которое было определено в течение интервала времени, предшествующего настоящему моменту времени. Таким образом, например, текущая статистическая информация по достижениям отдельных игроков в футбольном матче может быть представлена телевизионной аудитории во время прямой трансляции, т.е. во время продолжающейся игры.

Согласно другому аспекту изобретения данную задачу решают с помощью способа, описанного сначала, причем по меньшей мере часть данных регистрируют посредством пары стереоизображений области. Плоскости изображения этих изображений по существу параллельны, так что первая плоскость изображения регистрирует часть области, которая в значительной степени перекрывается с частью области, регистрируемой второй плоскостью изображения. Кроме того, первая и вторая плоскости изображения находятся друг от друга на базовом расстоянии.

Преимущества данного способа, а так же предпочтительных вариантов его осуществления очевидны из приведенного выше обсуждения в отношении предложенного устройства.

Согласно другому аспекту изобретения данную задачу решают с помощью компьютерной программы, непосредственно загружаемой во внутреннюю память компьютера, которая содержит программное обеспечение для управления описанным выше способом, когда указанную программу выполняют на компьютере.

Согласно еще одному аспекту изобретения данную задачу решают с помощью машиночитаемого носителя, на котором записана программа, причем данная программа должна побуждать компьютер выполнять описанный выше способ.

Дополнительные преимущества, полезные особенности и применения настоящего изобретения будут очевидны из последующего описания.

Краткое описание чертежей

Настоящее изобретение нужно теперь объяснить более подробно посредством предпочтительных вариантов осуществления, которые раскрыты как примеры, и в отношении прилагаемых чертежей.

Фиг.1 показывает первый пример того, как множество средств регистрации изображения могут располагаться относительно области согласно одному из вариантов осуществления изобретения,

фиг.2 показывает второй пример того, как множество средств регистрации изображения могут располагаться относительно области согласно одному из вариантов осуществления изобретения,

фиг.3 схематично показывает, как изображения физической точки проектируют на плоскости изображения стереопары камер согласно одному из вариантов осуществления изобретения,

фиг.4a-b показывают, посредством примера, первое и второе изображения, зарегистрированные стереопарой камер согласно одному из вариантов осуществления изобретения,

фиг.5 показывает, как генерируют стереоизображение, основываясь на первом и втором изображениях на фиг.4a и 4b согласно одному из вариантов осуществления изобретения,

фиг.6 показывает, как генерируют изображение плотности, основываясь на стереоизображении на фиг.5 согласно одному из вариантов осуществления изобретения,

фиг.7 показывает структурную схему устройства согласно одному из вариантов осуществления изобретения,

фиг.8 показывает последовательность операций общего способа согласно изобретению.

Описание предпочтительных вариантов осуществления изобретения

Фиг.1 показывает, согласно одному из вариантов осуществления изобретения, область 100 в форме футбольного поля, вокруг которой размещают множество средств регистрации изображения (которые предпочтительно включают в себя видеокамеры). Более конкретно, в этом случае используют восемь камер, которые организованы в четыре стереопары 101, 102, 103 и 104 соответственно. Первая стереопара 101 включает в себя первую камеру 101a и вторую камеру 101b, и она расположена вблизи первого угла области 100. При условии, что область 100 имеет размер обычного футбольного поля (т.е. длину приблизительно 90-120 м и ширину приблизительно 45-90 м), каждую стереопару 101, 102, 103, 104 камер предпочтительно размещают приблизительно в 30 м от области и приблизительно на 25 м выше земли. Кроме того, согласно изобретению камеры конкретной стереопары, например 101a и 101b, находятся друг от друга на определенном расстоянии. Это расстояние, на котором они находятся друг от друга, в общем случае упоминается как базовое расстояние, и оно предпочтительно равно приблизительно 10 м.

Первая и вторая камеры 101a и 101b по существу параллельны и направлены в угол области 100, так что они регистрируют в значительной степени перекрывающиеся части области 100. Как можно заметить на фиг.1, первая камера 101а в первой стереопаре имеет первое поле зрения V₁₁, охватывающее приблизительно половину области 100, и вторая камера 101b в первой стереопаре имеет второе поле зрения V₁₂, охватывающее почти ту же самую половину области 100. Однако конкретные ракурсы на каждый объект p_i, p_j и B на области 100 немного отличаются на изображении, зарегистрированном второй камерой 101b, чем на изображении, зарегистрированном первой камерой 101a. Соответственно отдельные камеры в стереопарах второго, третьего и четвертого средств 102, 103 и 104 регистрации изображения имеют поля зрения V₂₁, V₂₂; V₃₁, V₃₂ и V₄₁, V₄₂ соответственно, как схематично показано на фиг.1. В показанной конфигурации можно достигать требуемое перекрытие полей зрения V₁₁, V₁₂, V₂₁, V₂₂, V₃₁, V₃₂, V₄₁ и V₄₂, если камеры – обычные телевизионные камеры.

Средства 101, 102, 103 и 104 регистрации изображения многократно и синхронно записывают видеоинформацию D1, D2, D3 и D4 соответственно событий, которые происходят в пределах области 100. Таким образом, данные D1, D2, D3 и D4 составляют многочисленные одновременные представления этих событий. Данные D1, D2, D3 и D4 посылают к процессору 110 обработки данных, который выполнен с возможностью многократного определения соответствующего расположения каждого из объектов p_i, p_j и B. Например, первый набор p_i объектов может охватывать игроков команды, которые играют на своем поле, второй набор объектов p_j может охватывать игроков команды, которая играет на чужом поле, и третий объект B может быть мячом. В любом случае, согласно изобретению каждый объект p_i, p_j и B можно автоматически отслеживать, основываясь на данных D1, D2, D3 и D4.

Для уменьшения требований к разрешению изображения в выходных данных D1, D2, D3 и D4 (т.е. по существу – к количеству данных) от средств 101, 102, 103 и 104 регистрации изображения уникальный идентификатор предпочтительно вручную назначают каждому объекту p_i, p_j и B, например, перед началом матча. Это означает, что нет необходимости, чтобы система была способна различать номера (или другие характеристические особенности) одежды игроков (или внешнего вида). Вместо этого достаточно, если система сможет поддерживать непротиворечивое отслеживание каждого объекта. Теоретически разрешение изображения порядка одного пикселя на объект достаточно для достижения такого отслеживания. Однако практически более высокое разрешение часто желательно по причинам надежности. Конечно, назначение идентификаторов, возможно, также нужно будет иногда обновлять в течение игры, например, после так называемых «нагромождений», в связи с перерывами и когда одного или нескольких игроков заменяют одним или несколькими другими игроками.

Фиг.2 показывает другой пример того, как множество средств 101, 102, 103 и 104 регистрации изображения можно располагать относительно области 100 согласно одному из вариантов осуществления изобретения. В данном случае первое и второе средства 101 и 102 регистрации изображения (которые обычно включают в себя видеокамеры) соответственно располагают вблизи от первого угла области 100, так что поля зрения V₁₁, V₁₂ и V₂₁, V₂₂ двух стереопар камер накладываются веерообразно. Так как каждая камера в данном случае должна охватывать несколько большую часть области 100, чем в описанном выше первом примере, предпочтительно оборудовать камеры широкоугольными линзами. Однако для обеспечения достаточного охвата области и достижения той же самой надежности отслеживания, как в первом примере, третье и четвертое средства 103 и 104 регистрации изображения соответственно помещают вблизи угла области 100, который находится напротив первого угла. Поля зрения V₃₁, V₃₂ и V₄₁, V₄₂ этих двух стереопар также накладываются веерообразно, как показано на фиг.2. Предпочтительно средства регистрации изображения в каждой группе 101, 102 и 103, 104 камер соответственно размещают с чередованием стереопар (как показано на фиг.2) так, чтобы одна из камер в первой паре размещалась между камерами второй пары. Кроме того, различные стереопары в каждой группе имеют немного отличающиеся ракурсы на область 100 (для достижения веерообразной модели полей зрения).

Фиг.3 схематично показывает, как изображения физической точки p проектируют на плоскости 310 и 320 изображения стереопары камер согласно одному из вариантов осуществления изобретения. Это – пример стандартной конфигурации камер, в которой обе камеры имеют одно и то же фокусное расстояние, имеют плоскости изображения и оптические оси, которые параллельны друг другу, и плоскости изображения сдвинуты на базовое расстояние d_B друг относительно друга. Базовое расстояние d_B является относительно коротким, так что угол между камерами и зарегистрированными объектами сравнительно небольшой, и таким образом первая плоскость 310 изображения регистрирует часть области 100, которая в значительной степени перекрывается с частью области 100, регистрируемого второй плоскостью 320 изображения. Это означает, что физическую точку p области 100, которая расположена там, где ее можно видеть обеими камерами, проектируют на различные точки изображения ‘1 и p’2 на первой и второй плоскостях 310 и 320 изображения соответственно. Если предположить, что точка p имеет определенные физические координаты во внешней системе координат X_w, Y_w, Z_w относительно начала координат O_w, то ее можно спроектировать на первую точку изображения p’1 на первой плоскости 310 изображения, которая имеет координаты, выраженные относительно первой двухмерной системы координат, X_f1, Y_f1. Точно так же точку p проектируют на вторую точку изображения p’2 на второй плоскости изображения 320, которая имеет координаты, выраженные относительно второй двухмерной системы координат, X_f2, Y_f2. Первая плоскость 310 изображения, в свою очередь, имеет первую фокальную точку O_c1 в системе координат X_c1, Y_c1, Z_c1. Соответственно вторая плоскость изображения 320 имеет вторую фокальную точку O_c2 в системе координат X_c2, Y_c2, Z_c2. В показанной стандартной конфигурации базовое расстояние d_B представляет сдвиг исключительно по одной координатной оси Y_c1 и Y_c2 соответственно этим системам координат.

Фиг.4a показывает пример первого изображения I1, которое может регистрировать первая плоскость изображения стереопары изображений, такой как 310 на описанной выше фиг.3. Первое изображение I1 включает в себя пять различных людей p1, p2, p3, p4 и p5, расположенных относительно близко друг к другу на поверхности S, такой как футбольное поле или подобная поверхность. Можно отметить, что пятый человек p5 в данном случае почти полностью затенен четвертым человеком 4.

Фиг.4b показывает пример второго изображения I2, которое в иллюстративных целях в данном случае представляет немного преобразованное изображение изображения, зарегистрированного второй плоскостью изображения стереопары изображений, такой как 320 на описанной выше фиг.3. Преобразование, показанное на втором изображении I2 относительно фактической видеоинформации, зарегистрированной на плоскости 320 изображения, является линейным, и его выполняют так, что все точки изображения, предполагаемые для представления поверхности S, проектируют на те же самые координаты X_f1, Y_f1 и X_f2, Y_f2 на обоих изображениях и I1, и в I2 (т.е. X_f1=X_f1 и Y_f1=Y_f1). Однако, так как изображения I1 и I2 выполняют со слегка отличающихся ракурсов, точки изображения, предназначенные для представления объектов над поверхностью, по меньшей мере горизонтально перемещают на втором изображении I2 относительно первого изображения I1 из-за этого преобразования. Другими словами, люди p1, p2, p3, p4 и p5, кажется, «наклонены» по-другому на изображениях I1 и I2, однако их ноги размещаются в одинаковых местах. Это истинно при условии, что поле, на котором расположены люди, выбрано в качестве плоскости преобразования. Однако согласно изобретению можно также выбирать другие плоскости преобразования, например, которые проходят вертикально через каждого человека.

Как можно заметить на втором изображении I2, которое зарегистрировано в тот же самый момент времени, как первое изображение I1, пятый человек p5 намного менее затенен четвертым человеком p4, чем на первом изображении I1. Это подтверждает хорошие возможности отслеживания. При условии, что стереопары камер размещены должным образом относительно друг друга и относительно области 100, такое разъединение обычно возникает, т.е. одну или большее количество преград на первом изображении I1 устраняют на втором изображении I2, и наоборот.

Предпочтительно, согласно одному из вариантов осуществления изобретения, преобразование, описанное в отношении фиг.4b, фактически выполняют в связи с генерацией стереоизображения I_S, как будет описано ниже в отношении фиг.5b.

Стереоизображение создают, основываясь на данных от первого изображения, например, I1, зарегистрированного первой камерой, и на данных от второго изображения, например, I2, зарегистрированного второй камерой в стереопаре. Первое и второе изображения I1 и I2 регистрируют в определенный момент времени.

Стереоизображение I_S представляет оценки e1, e2, e3 и e4 точек изображения, которые описывают объекты, которые не являются частью стационарной поверхности S и чье расположение на области 100 изменяется в течение времени (т.е. движущиеся объекты). Более конкретно, создание стереоизображения I_S может включать в себя преобразование одного из первого и второго изображений I1 и I2 так, чтобы оно соответствовало представлению другого из первого и второго изображений I1 и I2, так что на стереоизображении I_S каждую точку изображения, которая основана на точке изображения, которая на первом изображении I1, как оценивают, представляет конкретный сегмент поверхности S, проектируют на ту же самую точку изображения, как точка изображения на втором изображении I2, которая, как оценивают, представляет конкретный сегмент. В качестве дополнительного результата этого преобразования точки изображения на первом и втором изображениях I1 и I2, которые, как оценивают, представляют объекты над поверхностью S, по меньшей мере горизонтально перемещают относительно друг друга. В данном случае степень перемещения зависит от высоты объектов относительно поверхности S. Следовательно, вертикально ориентированные объекты, имеющие по существу продольную протяженность (такие как вертикально стоящие футболисты), будут приблизительно представлены перевернутыми коническими фигурами на стереоизображении I_S.

Для того чтобы при построении изображения можно было точно оценивать точки изображения, которые представляют поверхность S, согласно предпочтительному варианту осуществления изобретения генерируют модель заднего плана. Начальная модель заднего плана области 100 основана на данных D1, D2, D3 и D4 от средств 101, 102, 103 и 104 регистрации изображения, которые зарегистрированы в отсутствие объектов p_i, p_j и B на области 100. Следовательно, первая оценка точек изображения, которые представляют поверхность S, основана на начальной модели заднего плана. После этого обновленную модель заднего плана многократно определяют, основываясь на предыдущей модели заднего плана в комбинации с определенным расположением объектов p_i, p_j и B. Основываясь на обновленной модели заднего плана, в свою очередь определяют обновленную оценку точек изображения, которые представляют поверхность S.

Фиг.6 показывает, как изображение плотности A генерируют, основываясь на стереоизображении I_S на фиг.5 согласно одному из вариантов осуществления изобретения. Карта плотности A представляет соответствующие функции вероятности P(1), P(p2), P(p3), P(p4) и P(p5) по расположениям-кандидатам объектов p1, p2, p3, p4 и p5 на области 100. Функции вероятности P(p1), P(2), P(p3), P(p4) и P(p5), в свою очередь, получают из оценок высоты e1, e2, e3 и e4 стереоизображения I_S. Согласно одному из вариантов осуществления изобретения расположение каждого объекта p1, p2, p3, p4 и p5 на области A определяют, основываясь на функциях вероятности P(p1), P(p2), P(p3), P(p4) и P(5).

Конечно, в общем случае, только часть всего множества объектов может быть видимой от конкретной стереопары камер. Поэтому информацию, полученную от двух или большего количества средств регистрации изображения, вероятно, придется объединять в процессоре 110 обработки данных (см. фиг.1) для определения расположения всех объектов, расположенных на области 100.

Фиг.7 показывает структурную схему устройства согласно одному из вариантов осуществления изобретения, которое выполнено с возможностью отслеживания перемещений, сделанных каждым из множества объектов на определенной области. Показанное устройство включает в себя средство регистрации изображения, которое включает в себя стереопару камер 101a и 101b, и процессор 110 обработки данных. Для понятного представления фиг.7 показывает только одну цепочку обработки видеоинформации. Однако согласно изобретению процессор 110 обработки данных предпочтительно выполняют с возможностью обработки видеоинформации от множества пар стереоизображения, например, как указано на фиг.1 и 2.

Первая камера 101a в средстве регистрации изображения многократно записывает данные D1′, относящиеся к представлениям событий, происходящих в пределах области, и вторая камера 101b в средстве регистрации изображения одновременно с этим записывает данные D1, относящиеся к этим событиям, однако с немного отличающегося ракурса (который задают с помощью базового расстояния от первой камеры 101a и расстояния до любых регистрируемых объектов). В любом случае, первая и вторая камеры 101a и 101b по существу параллельны и направлены на области так, что первая плоскость изображения первой камеры 101а регистрирует часть области, которая в значительной степени перекрывается с частью области, регистрируемой второй плоскостью изображения второй камеры 101b.

Процессор 110 обработки данных принимает данные D1′ и D1 от камер 101a и 101b соответственно. Более конкретно, согласно предпочтительному варианту осуществления изобретения, модуль 730 инициализации сцены в процессоре 110 обработки данных принимает данные D1′ и D1, зарегистрированные в отсутствие объектов на области. Основываясь на этих данных D1′ и D1, модуль 730 инициализации сцены генерирует начальную модель заднего плана M’_B области, которую посылают к средству 745 хранения, или непосредственно, или через первый модуль 740 извлечения информации.

При устойчивой работе устройства данные D1′ и D1 от камер 101a и 101b также посылают стереомодулю 710 в процессоре 110 обработки данных. Стереомодуль 710 создает стереоизображение I_S, основываясь на данных D1′ и D1. Как ранее указано, стереоизображение I_S представляет оценки изменяющейся во времени высоты над стационарной поверхностью S области.

Стереомодуль 710 создает стереоизображение I_S посредством процедуры, которая включает в себя преобразование одного из первого и второго изображений так, чтобы оно соответствовало представлению другого из первого и второго изображений, так что на стереоизображении I_S каждую точку изображения, которая основана на точке изображения, которая на первом изображении, как оценивают, представляет определенный сегмент поверхности S, проектируют на ту же самую точку изображения, как точка изображения на втором изображении, которое, как оценивают, представляет определенный сегмент.Кроме того, из-за преобразования, точки изображения на первом и втором изображениях, которые, как оценивают, представляют объекты выше поверхности S, по меньшей мере горизонтально перемещают друг относительно друга, причем степень перемещения зависит от высоты объектов относительно поверхности S.

При устойчивой работе устройства первый модуль 740 извлечения информации многократно определяет оценку точек изображения, которые представляют поверхность S, основываясь на предыдущей модели заднего плана, сохраненной в средстве 745 хранения. Следовательно, первая обновленная модель заднего плана M”_B основана на начальной модели заднего плана M’_B. Предпочтительно первый модуль 740 извлечения информации многократно определяет обновленную модель заднего плана M”_B, основываясь на предыдущей модели заднего плана M’_B (сохраненной в модуле 745 хранения) и определенном расположении p_i,j (x, y) движущихся объектов. Модуль 740 также многократно определяет обновленную оценку точек изображения, которые представляют поверхность S, основываясь на обновленной модели заднего плана M”_B.

Модуль 720 плотности в процессоре 110 обработки данных создает карту плотности, основываясь на стереоизображении I_S. Как описано выше в отношении фиг.5, карта плотности A представляет функции вероятности по расположениям-кандидатам перемещения объектов на области. Второй модуль 750 извлечения информации в процессоре 110 обработки данных определяет расположение p_i,j(x, y) движущихся объектов, основываясь на этих функциях вероятности.

Предпочтительно процессор 110 обработки данных также выполнен с возможностью накопления определенного расположения p_i,j(x, y) движущихся объектов в течение длительного времени. Именно таким образом модуль 110 может генерировать различные сигналы данных, которые описывают различные виды статистической информации и/или систематической количественной информации, относящейся к перемещению объектов. Дополнительно предпочтительно, чтобы процессор 110 обработки данных имел такую производительность обработки, чтобы эти сигналы данных можно было генерировать в режиме реального времени. Каждый сигнал данных основывается на расположении движущихся объектов, которое было определено в течение интервала времени, предшествующего настоящему моменту времени. Таким образом, например, текущая (и непрерывно обновляющаяся) статистическая информация по достижениям отдельных игроков в футбольном матче может быть представлена телевизионной аудитории при прямой трансляции, т.е. во время продолжающейся игры.

Чтобы подвести итог, общий способ для отслеживания перемещения множества объектов на определенной области согласно изобретению будет теперь описан в отношении фиг.8.

На первом этапе 810 записывают данные стереоизображения, относящиеся к многочисленным одновременным представлениям событий, происходящих в пределах области. Предпочтительно эти данные регистрируют более чем из одного места, например, из двух или из четырех мест, как показано на фиг.1 и 2 соответственно. На втором этапе 820 определяют соответствующее расположение каждого из объектов, основываясь на зарегистрированных данных стереоизображения. Процедура затем возвращается назад на этап 810 для регистрации обновленных данных стереоизображения.

Для получения надежного отслеживания спортивных событий и, таким образом, высокого качества данных данные стереоизображения должны обновляться относительно часто, например примерно 25-30 раз в секунду.

Этапами процесса, описанными выше в отношении фиг.8, можно управлять посредством программируемого компьютерного устройства. Кроме того, хотя варианты осуществления изобретения, описанного выше в отношении чертежей, содержат компьютерное устройство и процессы, выполняемые в компьютерном устройстве, изобретение таким образом также распространяется на компьютерные программы, особенно компьютерные программы на или в носителе, выполненном с возможностью воплощения данного изобретения. Программа может быть в форме исходного текста; объектного кода, кода промежуточного источника и объектного кода, например, в частично полной форме или в любой другой форме, подходящей для использования при выполнении процесса согласно изобретению. Носитель может быть любым объектом или устройством, способным содержать на себе программу. Например, носитель может содержать носитель данных, такой как флэш-память, ПЗУ (постоянное запоминающее устройство), например CD (компакт-диск) или полупроводниковое ПЗУ, СППЗУ (стираемое программируемое постоянное запоминающее устройство), ЭСППЗУ (электрически стираемое программируемое постоянное запоминающее устройство), или магнитный носитель записи, например гибкий диск или жесткий диск. Дополнительно, носитель может быть передаваемой несущей, такой как электрический или оптический сигнал, который можно передавать через электрический или оптический кабель, или по радиосвязи, или с помощью других средств. Когда программу внедряют в сигнал, который можно передавать непосредственно с помощью кабеля или с помощью другого устройства или средства, носитель может состоять из такого кабеля, или устройства, или средства. Альтернативно, носитель может быть интегральной схемой, в которую внедрена программа, причем данная интегральная схема выполнена с возможностью выполнения или использования при выполнении соответствующих процессов.

Термин «содержит/содержащий», который используется в данном описании, используется для определения присутствия заявленных признаков, этапов или компонентов. Однако термин не препятствует присутствию или добавлению одного или большего количества дополнительных признаков, этапов или компонентов или их групп.

Изобретение не ограничено описанными на фигурах вариантами осуществления, но может свободно изменяться в рамках формулы изобретения.

Формула изобретения

1. Устройство для отслеживания перемещений, которые осуществляет каждый из множества объектов (p_i, p_j, В) на определенной области (100), причем устройство содержит:
множество средств (101, 102, 103, 104) регистрации изображения, выполненных с возможностью многократной записи данных (D1, D2, D3, D4), относящихся к многочисленным одновременным представлениям событий, происходящих в пределах области (100), и
процессор (110) обработки данных, выполненный с возможностью приема данных (D1, D2, D3, D4), зарегистрированных средством (101, 102, 103, 104) регистрации изображения, и основываясь на них – многократного определения соответствующего расположения (p_i,j (x, y)) каждого из объектов (p_i, p_j, В),
отличающееся тем, что
по меньшей мере одно из средств (101, 102, 103, 104) регистрации изображения содержит стереопару камер, в которой первая камера (101а) находится от второй камеры (101b) на базовом расстоянии (d_B), и первая и вторая камеры, по существу, параллельны и направлены на область (100), так что первая плоскость (310) изображения первой камеры (101а) регистрирует часть области (100), которая в значительной степени перекрывается с частью области (100), регистрируемой второй плоскостью (320) изображения второй камеры (101b), причем процессор (110) обработки данных содержит стереомодуль (710), выполненный с возможностью создания стереоизображения (I_S), основываясь на данных (D1′) первого изображения (I1), зарегистрированного первой камерой (101а), и данных (D1”) второго изображения (I2), зарегистрированного второй камерой (101b), причем и первое и второе изображения (I1, I2) регистрируют в определенный момент времени, при этом стереоизображение (I_S) представляет изменяющиеся во времени оценки (е1, е2, е3, е4) высоты точек изображения над стационарной поверхностью (S) области (100),
и при этом процессор (110) обработки данных содержит модуль (730) инициализации сцены, выполненный с возможностью генерации начальной модели заднего плана (M’_B) области (100), основываясь на данных (D1, D2, D3, D4) от средства (101, 102, 103, 104) регистрации изображения, зарегистрированных при отсутствии объектов (p_i, p_j, В) в области (100),
при этом стереомодуль (710) выполнен с возможностью создания стереоизображения (I_S) посредством процедуры, которая включает в себя преобразование одного из первого и второго изображений (I1, I2) так, чтобы оно соответствовало представлению другого из первого и второго изображений (I1, I2), так что на стереоизображении (I_S):
каждую точку изображения, которая основана на точке изображения, которая на первом изображении (I1), оценивают для представления определенного сегмента поверхности (S), проектируют на ту же самую точку изображения, что и точку изображения на втором изображении (I2), которая оценена для представления определенного сегмента, и точки изображения на первом и втором изображениях (I1, I2), которые оценены как представляющие объекты выше поверхности (S), по меньшей мере горизонтально перемещают относительно друг друга, причем степень перемещения зависит от высоты объектов относительно поверхности (S), и
при этом процессор (110) обработки данных дополнительно содержит первый модуль (740) извлечения информации, выполненный с возможностью определения оценки тех точек изображения, которые представляют поверхность (S), основываясь на начальной модели заднего плана (M’_B).

2. Устройство по 1, отличающееся тем, что процессор (110) обработки данных содержит модуль (720) плотности, выполненный с возможностью создания карты плотности (А), основываясь на стереоизображении (I_S), причем карта плотности (А) представляет соответствующие функции вероятности (Р(р1), Р(р2), Р(р3), Р(р4), Р(р5)) по расположениям-кандидатам (х, y) объектов (p_i, p_j) в области (100).

3. Устройство по п.2, отличающееся тем, что процессор (110) обработки данных содержит второй модуль (750) извлечения информации, выполненный с возможностью различения расположения (p_i,j (х, y)) объектов (p_i, p_j), основываясь на функциях вероятности (Р(р1), Р(р2), Р(р3), Р(р4), Р(р5)).

4. Устройство по п.3, отличающееся тем, что первый модуль (740) извлечения информации выполнен с возможностью многократного определения обновленной модели заднего плана (M”_B), основываясь на предыдущей модели заднего плана (M’_B) и различенном расположении (p_i,j (х, y)) объектов (p_i, p_j, В), и определения обновленной оценки точек изображения, которые представляют поверхность (S), основываясь на обновленной модели заднего плана (M”_B).

5. Устройство по любому из пп.1-4, отличающееся тем, что область (100) является спортивным полем, и объекты (p_i, p_j, В) включают в себя игроков, участвующих в спортивном событии, проводимом на спортивном поле.

6. Устройство по п.5, отличающееся тем, что спортивное событие представляет собой игру в мяч, включающую в себя использование по меньшей мере одного мяча (В), и объекты (p_i, p_j, В) дополнительно включают в себя по меньшей мере один мяч (В).

7. Устройство по любому из пп.1-4, отличающееся тем, что процессор (110) обработки данных выполнен с возможностью генерации в режиме реального времени по меньшей мере одного сигнала данных, описывающего по меньшей мере один вид статистической информации и/или систематической количественной информации, относящейся к множеству объектов (p_i, p_j, В), и по меньшей мере одного сигнала данных, который основывается на расположении (p_i,j (х, у)) множества объектов (p_i, p_j, В), определенном в течение интервала времени, предшествующего настоящему моменту времени.

8. Способ отслеживания перемещений, осуществляемых каждым из множества объектов (p_i, p_j, В) в определенной области (100), причем способ содержит этапы, на которых:
многократно регистрируют данные (D1, D2, D3, D4), относящиеся к многочисленным одновременным представлениям событий, происходящих в пределах области (100), и
многократно определяют соответствующее расположение (p_i,j (x, y)) каждого из объектов (p_i, p_j, В), основываясь на зарегистрированных данных (D1, D2, D3, D4), отличающийся тем, что
регистрируют по меньшей мере часть данных (D1, D2, D3, D4) посредством стереопары изображений области (100), чьи плоскости (310, 320) изображения, по существу, параллельны, так что первая плоскость (310) изображения регистрирует часть области (100), которая в значительной степени перекрывается с частью области (100), регистрируемой второй плоскостью (320) изображения, причем и первая и вторая плоскости (310, 320) изображения находятся друг от друга на базовом расстоянии (d_B), и
создают стереоизображение (I_s), основываясь на данных (D1′) первого изображения (I1), зарегистрированных первой камерой (101а), и данных (D1”) второго изображения (I2), зарегистрированных второй камерой (101b), причем и первое и второе изображения (I1, I2) регистрируют в определенный момент времени, причем стереоизображение (I_S) представляет изменяющиеся во времени оценки (е1, е2, е3, е4) высоты точек изображения над стационарной поверхностью (S) области (100), и
генерируют начальную модель заднего плана (M’_B) области (100), основываясь на данных (D1, D2, D3, D4) от средств (101, 102, 103, 104) регистрации изображения, зарегистрированных при отсутствии объектов (p_i, p_j, В) в области (100), и
при этом создание стереоизображения (I_S) включает в себя преобразование одного из первого и второго изображений (I1, I2) так, чтобы оно соответствовало представлению другого из первого и второго изображений (I1; I2), так что на стереоизображении (I_S):
каждую точку изображения, которая основана на точке изображения, которая на первом изображении (I1), оценивают для представления определенного сегмента поверхности (S), проектируют на ту же самую точку изображения, что и точку изображения на втором изображении (I2), которая оценена для представления определенного сегмента, и
точки изображения на первом и втором изображениях (I1, I2), которые оценены как представляющие объекты выше поверхности (S), по меньшей мере горизонтально перемещают относительно друг друга, причем степень перемещения зависит от высоты объектов относительно поверхности (S), и
определяют оценку тех точек изображения, которые представляют поверхность (S), основываясь на начальной модели заднего плана (M’_B).

9. Способ по п.8, отличающийся тем, что создают карту плотности (А), основываясь на стереоизображении, причем карта плотности представляет соответствующие функции вероятности (Р(р1), Р(р2), Р(р3), Р(р4), Р(р5)) по расположениям-кандидатам (x, у) объектов (p_i, p_j) в области (100).

10. Способ по п.9, отличающийся тем, что различают расположение (p_i,j (x, y)) объектов (p_i, p_j), основываясь на функциях вероятности (Р(р1), Р(р2), Р(р3), Р(р4), Р(р5)).

11. Способ по п.10, отличающийся тем, что он содержит многократное определение обновленной модели заднего плана (M”_B), основываясь на предыдущей модели заднего плана (M’_B) и различенном расположении (p_i,j (x, y)) объектов (p_i, p_j, В), и определение обновленной оценки точек изображения, которые представляют поверхность (S), основываясь на обновленной модели заднего плана (M”_B).

12. Способ по любому из пп.8-11, отличающийся тем, что областью (100) является спортивное поле, а объекты (p_i, p_j, В) включают в себя игроков, участвующих в спортивном событии, проводимом на спортивном поле.

13. Способ по п.12, отличающийся тем, что спортивное событие представляет собой игру в мяч, включающую в себя использование по меньшей мере одного мяча (В), и объекты (p_i, p_j, В) включают в себя по меньшей мере один мяч (В).

14. Способ по любому из пп.8-11, отличающийся тем, что в режиме реального времени генерируют по меньшей мере один сигнал данных, описывающий по меньшей мере один вид статистической информации и/или систематической количественной информации, относящейся к множеству объектов (p_i, p_j, В), причем по меньшей мере один сигнал данных основывается на расположении (p_i,j (x, y)) множества объектов (p_i, p_j, В), определенном в течение интервала времени, предшествующего настоящему моменту времени.

15. Машиночитаемый носитель (560), на котором записана программа, причем данная программа вызывает выполнение компьютером этапов по любому из пп.8-14.

РИСУНКИ