Патент на изобретение №2355026

(54) СИСТЕМА ГРАФИЧЕСКОГО ИНТЕРФЕЙСА

(57) Реферат:

Изобретение относится к области имитации перемещений виртуального манекена. Технический результат – облегчение прямого управления кинематикой и контроля степеней свободы виртуального манекена. Предложена система графического интерфейса, позволяющая отобразить на экране два окна (10, 20). Первое окно (10) содержит общее изображение манекена (100), которое позволяет выбрать при помощи средства выбора (например, мыши) часть тела манекена непосредственно на экране. В результате этого выбранная часть тела появляется во втором окне (20) в увеличенном виде вместе с символами (120), указывающими все степени свободы, предусмотренные для данной части тела. Оператор может воздействовать непосредственно на символы (120) степеней свободы для их блокирования или разблокирования, а также для прямого управления кинематикой манекена. 9 з.п. ф-лы, 7 ил.

Область техники, к которой относится изобретение

Настоящее изобретение относится к области имитации ручных операций при помощи виртуального манекена (модели человеческого тела). Более конкретно изобретение касается подбора параметров и управления движениями частей тела виртуального манекена в процессе такой имитации.

Уровень техники

В настоящее время виртуальные образы разрабатываемых объектов используются во многих отраслях, например, в авиационной или аэрокосмической промышленности, с целью минимизации средств и сроков, затрачиваемых на разработки (изготовление экспериментальных образцов и испытания). Такое моделирование обладает тем преимуществом, что с ним связаны меньшие затраты средств и времени, чем с возможными возвратами к более ранним стадиям разработки. Моделирование объектов в виртуальной реальности позволяет также осуществлять разнообразные имитации, необходимые для проверки свойств разрабатываемых объектов.

Известны различные варианты построения графического интерфейса для управления в режиме реального времени различными модулируемыми объектами, помещенными в виртуальную окружающую среду, см., например, международную заявку WO 02/101713, МПК G09G 5/00, опубл. 19.12.2004, описывающую графический интерфейс, который может рассматриваться в качестве ближайшего аналога настоящего изобретения.

Моделирование и имитация не ограничиваются, однако, только техническими, финансовыми и т.п. объектами. Они также могут использоваться для имитации действий человека в заданных условиях с целью наглядного изображения перемещений и положений, необходимых специалисту для осуществления тех или иных действий. Это может быть полезно для проверки и оптимизации доступности некоторых деталей устройств, требующих регулярного осмотра и обслуживания, например авиационного двигателя. Таким образом, доступ к различным элементам устройства можно контролировать виртуально, используя модель этого устройства и имитацию с использованием виртуального манекена.

Известны примеры использования виртуального манекена в приложениях такого типа, как, например, в случае программного обеспечения “Catia” компании Dassault-Systèmes. Это программное обеспечение позволяет осуществлять имитации с использованием виртуального манекена, управляя движением частей его тела и воздействуя на степени свободы, связанные с каждой частью тела. Действительно, для получения реалистичной имитации с использованием виртуального манекена необходимо обеспечить соответствие движений каждой части его тела степеням свободы, связанным с соответствующей частью тела. Кроме того, в зависимости от внешних условий (препятствий, положения манекена, близости опасных для оператора факторов), эти степени свободы могут быть дополнительно ограничены. Поэтому для получения имитации, учитывающей внешние условия, необходимо иметь возможность блокирования/разблокирования частей тела или некоторых из их степеней свободы.

В известном решении управление степенями свободы каждой части тела или их блокирование/разблокирование осуществляется поочередно. Другими словами, для каждой степени свободы производится ее выбор или ввод ее номера, после чего принимается решение о ее блокировании или сообщении ей движения. Такая процедура относительно медленна и монотонна. Действительно, в каждый момент для прямого управления кинематикой может использоваться только одна степень свободы. Кроме того, степени свободы для каждого сочленения необходимо знать по номерам, что значительно затрудняет контроль параметров манекена.

Раскрытие изобретения

Задача, на решение которой направлено настоящее изобретение, заключается в устранении вышеописанных недостатков и в создании системы, облегчающей работу оператора при определении параметров манекена и кинематическом управлении им.

Для решения поставленной задачи предлагается система графического интерфейса для управления кинематикой степеней свободы виртуального манекена, содержащего части тела с сочленениями, соответствующими степеням свободы. Система по изобретению характеризуется тем, что содержит средство отображения, средство выбора для выделения точки на средстве отображения и воздействия на нее и средства обработки для управления изображением манекена в первом окне на средстве отображения. При этом средства обработки реагируют на сигналы средства выбора для управления отображаемой во втором окне выбранной частью тела манекена, изображенного в первом окне, а выбранная часть тела содержит символы, отображающие ее степени свободы.

Таким образом, благодаря использованию системы по изобретению операция выбора части тела и ее степеней свободы осуществляется непосредственно на экране с использованием графического изображения манекена. Оператору нет необходимости запоминать или искать коды управления, чтобы получить доступ к определенной степени свободы манекена.

Согласно первому аспекту изобретения средства обработки реагируют на сигналы средства выбора для блокирования или разблокирования степени свободы путем выбора во втором окне символа соответствующей степени свободы. Определение параметров степеней свободы производится непосредственно на экране при помощи средства выбора, что дополнительно облегчает работу оператора. Кроме того, символы заблокированных степеней свободы изображаются заранее определенным цветом, а символы разблокированных степеней свободы изображаются другим заранее определенным цветом.

Часть или части тела, по меньшей мере, одна из степеней свободы которой или которых заблокирована, изображаются в первом окне заранее определенным цветом, что позволяет отличать части тела, содержащие деактивированные степени свободы.

Одно из отличий изобретения заключается в том, что каждый символ степени свободы содержит первую и вторую стрелки, причем каждая из стрелок представляет одно направление вращения, соответствующего степени свободы. Средства обработки реагируют на сигналы средства выбора для блокировки одного направления вращения, соответствующего степени свободы путем выбора соответствующей стрелки, причем указанная стрелка тогда изображается заранее определенным цветом.

Согласно другому аспекту изобретения, соответствующему режиму управления движением, средства обработки реагируют на сигналы средства выбора для управления степенью свободы манекена во втором окне. Выбранная стрелка указывает в данном случае направление движения, соответствующего данной степени свободы. В этом режиме стрелка, указывающая направление движения, соответствующего данной степени свободы, изображается заранее определенным цветом в зависимости от того, осуществляется ли управление движением для этой степени свободы. При задании смещения в том или ином направлении на графическом интерфейсе часть тела, соответствующая управляемой степени свободы используемого виртуального манекена, смещается в соответствующем направлении с определенной скоростью.

Часть или части тела, по меньшей мере, одна из степеней свободы которой или которых подвергается операции управления движением, изображаются в первом окне заранее определенным цветом, что позволяет отличать части тела, содержащие степени свободы, подвергаемые операции управления движением.

Согласно следующему аспекту изобретения средства обработки реагируют на сигналы средства выбора для активации или деактивации в первом окне частей тела и изображения активных частей тела заранее определенным цветом, а деактивированных частей тела – другим заранее определенным цветом. Это первое окно также обеспечивает возможность выбора части тела, которая детально изображается во втором окне с указанием ее степеней свободы.

Краткое описание чертежей

Другие особенности и преимущества настоящего изобретения станут ясны из нижеследующего подробного описания, приводимого со ссылками на прилагаемые чертежи, на которых представлен один из возможных вариантов осуществления изобретения, не налагающий каких-либо ограничений. На чертежах:

– фиг.1 изображает в перспективе аппаратные средства, используемые в системе интерфейса по изобретению:

– фиг.2 изображает первый пример использования системы интерфейса по изобретению;

– фиг.3 изображает второй пример использования системы интерфейса по изобретению;

– фиг.4 изображает третий пример использования системы интерфейса по изобретению;

– на фиг.5А, 5В и 5С представлены изображенные на виртуальном манекене результаты действий, осуществленных в рамках третьего примера использования системы интерфейса, изображенной на фиг.4.

Осуществление изобретения

На фиг.1 изображена система по настоящему изобретению, содержащая устройство обработки, например, компьютер 1. Компьютер 1 может быть использован для выполнения программы имитации или подобной ей для отображения положений и перемещений манекена в виртуальной реальности. В целях упрощения описания сама программа имитации подробнее описана не будет, т.к. она не составляет предмета настоящего изобретения. Изобретение охватывает, по существу, средства изображения, выбора, определения параметров и управления частями тела виртуального манекена, которые могут быть использованы в программе имитации в виртуальной реальности. Другими словами, изобретение предлагает графический интерфейс, позволяющий пользователю управлять частями тела виртуального манекена или определять их параметры.

Компьютер 1 содержит обычные для устройств такого типа аппаратные средства. Более конкретно компьютер содержит средство отображения в виде экрана (монитора) 2, средство, позволяющее отметить точку на экране и воздействовать на нее, например, мышь 3, световое перо 5 или аналогичное устройство, и средства обработки в виде модуля 4 обработки, который управляет отображением на экране 2, в частности, в ответ на действия, производимые с мышью 3 или другим эквивалентным средством, как это описано ниже.

На фиг.2 изображен первый пример использования системы по изобретению. На этом чертеже представлено изображение, появляющееся на экране 2, содержащее манекен согласно изобретению и позволяющее пользователю управлять параметрами частей тела манекена. Для этого модуль 4 обработки прежде всего выводит на экран первое окно 10, в котором манекен 100 показан полностью. Каждая часть тела (в приведенном здесь примере: голова, корпус, руки, кисти рук и ноги), которую можно выбрать, окружена замкнутым контуром 101 заранее определенного цвета, например черного. Таким образом, отображение манекена в первом окне 10 соответствует общему виду манекена или виду всех частей его тела, которые можно выбрать.

Это первое изображение позволяет оператору при помощи мыши осуществлять действия непосредственно с манекеном, изображенным в окне 10. Средство выбора для выделения точки на средстве отображения (экране 2) и воздействия на нее представляет собой стрелку 30 (соответствующую указателю мыши). Оператор перемещает этот указатель по изображению манекена, указывая на часть тела, которую он хочет выбрать. После того, как стрелка 30 оказывается на нужной части тела (в данном случае на левой руке), оператор может выбрать эту часть тела, например, нажав на кнопку мыши. Чтобы показать оператору выбранную часть тела, цвет ее контура 101 может быть изменен на заранее определенный цвет 102 (на чертежах изображенный прерывистой линией), выделяя выбранную часть среди других частей тела. После выбора одной из частей тела оператор может предпринять одно из двух основных действий: активировать/деактивировать всю часть тела или выбрать часть тела для выбора и/или изменения некоторых из ее степеней свободы.

Первая операция, состоящая в активации/деактивации части тела, осуществляется непосредственно на манекене, изображенном в окне 10, при помощи соответствующей команды, которая может быть приписана программными средствами какой-либо клавише клавиатуры компьютера или содержаться в меню (не представлено), выводимом на экран одновременно с манекеном. Активированные части тела окрашиваются в заранее определенный цвет 104 (на чертежах представлен неплотной штриховкой), например зеленый, в то время как деактивированные части тела окрашиваются в другой заранее определенный цвет 105 (на чертежах представлен плотной штриховкой), например красный. В окне 10, изображенном на фиг.2, деактивированные ноги и кисти рук манекена окрашены в красный цвет (плотная штриховка), а активированные руки и голова окрашены в зеленый цвет (неплотная штриховка).

Выбранная часть тела изображается более подробно во втором окне 20, что позволяет оператору провести вторую вышеупомянутую операцию одним из двух возможных способов: способом задания параметров или способом управления некоторыми сочленениями выбранной части тела. Каждый из этих способов может быть задействован после выбора части тела при помощи, например, клавиши клавиатуры или выводимого на экран меню.

На фиг.2 иллюстрируется воздействие на степени свободы выбранной части тела способом изменения параметров. Во втором окне 20 выбранная часть тела 103, а именно левая рука, представлена в увеличенном виде с указанием всех степеней свободы сочленений выбранной части тела, которыми может управлять оператор. С этой целью степени свободы части тела изображены в виде символов (т.е. в виде оси 110, лежащей в плоскости или перпендикулярной ей, и двойной стрелки 120, изображающей вращение вокруг этой оси в двух возможных направлениях). Таким образом, при помощи стрелки 30 и мыши оператор устанавливает выбором двойной стрелки степень свободы, которую он хочет изменить, и щелкает на этой двойной стрелке, чтобы заблокировать (или, соответственно, разблокировать) данную степень свободы. Если оператор повторно щелкает на этой двойной стрелке, это отменяет операцию блокирования степени свободы. Таким образом, простое нажатие на кнопку мыши позволяет оператору блокировать и разблокировать любую степень свободы выбранной части тела прямо на ее графическом изображении на экране.

Как и в вышеописанном случае активации/деактивации частей тела манекена, для разделения в экранном изображении блокированных и неблокированных степеней свободы используются цветовые обозначения. Точнее, когда оператор блокирует одну из степеней свободы, соответствующая стрелка 120 становится красной (на чертежах изображена сплошной линией).

В общем случае в режиме изменения параметров степеней свободы двойные стрелки изображены по умолчанию зеленым цветом (на чертежах – прерывистыми линиями), т.е. все степени свободы исходно разблокированы.

Таким образом, двойные стрелки 120, соответствующие степеням свободы, исходно не заблокированным или впоследствии разблокированным оператором, изображены зеленым цветом (на чертежах – прерывистыми линиями). Например, из фиг.2 видно, что все степени свободы плеча заблокированы и изображены красным цветом (т.е. три двойные стрелки 120 плеча изображены сплошными линиями).

Наличие двух окон 10 и 20, одновременно выводимых на экран, дает оператору постоянный вид манекена целиком (в окне 10), на котором видны заблокированные и разблокированные части тела, а также выбранная часть тела, и подробное изображение выбранной части тела (в окне 20) со всеми степенями свободы, параметры которых оператор может изменять. Если, по меньшей мере, одна из степеней свободы части тела деактивирована, это отражается в окне 10, где части тела, содержащие деактивированные степени свободы, выделяются заранее определенным цветом.

На фиг.3 изображен другой пример использования графического интерфейса по изобретению для определения параметров степеней свободы левой ноги 106, увеличенное изображение которой представлено во втором окне 20. Как описано выше в отношении фиг.2, блокирование или разблокирование любой из степеней свободы осуществляется щелчком на соответствующей двойной стрелке 120, изображенной заранее определенным цветом, соответствующим ее состоянию (заблокированному или разблокированному). При этом существует возможность частичного блокирования степени свободы, т.е. блокирования одного из двух связанных с ней направлений вращения. В этом случае, как показано на фиг.3, средства обработки запрограммированы так, чтобы различать в каждой двойной стрелке 120 две части, т.е. первую и вторую стрелки 121 и 122, каждая из которых соответствует одному из направлений вращения данной степени свободы.

На фиг.3 оператор щелкает на части 121А стрелки 120А. Это приводит к блокированию степени свободы в направлении, определенном частью 121А стрелки, которая после этого изображается красным цветом (на чертеже – сплошной линией). Незаблокированная часть 122А остается зеленой (на чертеже изображена прерывистой линией). Из чертежа видно, например, что степень свободы, представленная двойной стрелкой 120В, также была частично заблокирована, причем часть 121В изображена красным цветом (на чертеже – сплошной линией), а часть 122В изображена зеленым цветом (на чертеже – прерывистой линией).

Опишем теперь операции, которые можно произвести над выбранной частью тела в режиме управления. В этом режиме изображение выбранной части тела в окне 20 используется для прямого управления кинематикой степеней свободы. Как и в вышеописанном случае частичного блокирования/разблокирования степеней свободы, каждая двойная стрелка 120 содержит две части 121, 122, каждая из которых соответствует одному из направлений вращения, соответствующего степени свободы.

Таким образом, для управления степенью свободы оператор действует так же, как и в примере, изображенном на фиг.3. Оператор помещает стрелку 30 мыши на часть двойной стрелки, соответствующую тому направлению вращения, в котором он хочет двигать данную часть тела. Щелчок на выбранной части двойной стрелки дает манекену команду перемещения в данной степени свободы.

Если, по меньшей мере, одна из степеней свободы части тела подвергается операции управления, эта часть тела выделяется в окне 10 заранее определенным цветом, что позволяет отличить части тела, содержащие степени свободы, которые подвергаются операциям управления.

В режиме управления все двойные стрелки по умолчанию изображены красным цветом (на чертеже – сплошными линиями), т.е. исходно ни одна из степеней свободы тела не подвергается операции управления.

Далее пример прямого управления кинематикой описывается со ссылками, с одной стороны, на фиг.4, которая изображает второе окно 20 графического интерфейса, и, с другой стороны, на фиг.5А, 5В и 5С, на которых изображен виртуальный манекен 200, которому подаются команды перемещения, созданные при помощи графического интерфейса, изображенного на фиг.4. Изображения движений виртуального манекена в его моделируемой среде произведены специальной программой имитации, которая содержит связи с программой графического интерфейса по изобретению. Таким образом, данные, созданные при помощи графического интерфейса, передаются программе имитации и используются ею для управления движениями виртуального манекена.

На фиг.5А-5С изображена последовательность движений виртуального манекена 200 под действием команд, выработанных при помощи графического интерфейса, изображенного на фиг.4. На этом чертеже в окне 20 изображена правая рука 107 манекена, а команды перемещения применяются оператором путем последовательного выбора частей 122А, 122В и 122С двойных стрелок 120А, 120В и 120С соответственно. Выбор частей 122А, 122В и 122С соответствует действиям сгибания руки, поворота предплечья и поворота плеча, которые производятся в соответствующем направлении и с определенной скоростью. После проведения этих операций управления в графическом интерфейсе манекен переходит в положение, изображенное на фиг.5С.

Команда перемещения, отданная оператором, также изображается в окне 20 путем изменения цвета выбранной части двойной стрелки. На фиг.4 части 122А, 122В и 122С двойных стрелок 120А, 120В и 120С, на которых щелкнул оператор, становятся зелеными (на чертежах изображаются прерывистыми линиями).

На фиг.5В изображено промежуточное положение руки 207 виртуального манекена 200 между исходным положением (фиг.5А) и конечным положением (фиг.5С) кинематической последовательности при отдаче команды перемещения на сочленениях руки и плеча посредством щелчков на частях 122А и 122С двойных стрелок 120А и 120С.

При повторном щелчке на той же части двойной стрелки команда перемещения для соответствующей степени свободы отменяется. Тогда виртуальный манекен сохраняет эту степень свободы в текущем положении на момент отмены этой команды перемещения, а соответствующая часть двойной стрелки снова становится красной (изображается на чертежах сплошной линией).

Таким образом, изобретение предлагает систему графического интерфейса, позволяющую оператору выбирать степени свободы манекена и воздействовать на них непосредственно на экране посредством таких простых операций как, например, щелчки мышью. Кроме того, дополнительное удобство работы оператора обеспечивается наличием двух окон, позволяющим использовать одновременно общий вид манекена и подробное изображение той части тела, с которой работает оператор.

Формула изобретения

1. Система графического интерфейса для управления в кинематическом режиме степенями свободы виртуального манекена (100), содержащего части тела с сочленениями, соответствующими степеням свободы, характеризующаяся тем, что содержит: средство отображения; средство выбора для выделения точки на средстве отображения и воздействия на нее; средства обработки для управления изображением манекена (100) в первом окне (10) на средстве отображения, реагирующие на сигналы средства выбора для управления отображаемой во втором окне (20) выбранной частью тела манекена, изображенного в первом окне (10), а выбранная часть тела содержит символы, отображающие ее степени свободы, причем средства обработки реагируют на сигналы средства выбора для блокирования или разблокирования степени свободы путем выбора во втором окне (20) символа соответствующей степени свободы.

2. Система по п.1, отличающаяся тем, что часть или части тела, по меньшей мере, одна из степеней свободы которой или которых заблокирована, изображаются в первом окне заранее определенным цветом.

3. Система по п.1, отличающаяся тем, что символы заблокированных степеней свободы изображаются заранее определенным цветом, а символы разблокированных степеней свободы изображаются другим заранее определенным цветом.

4. Система по п.1, отличающаяся тем, что каждый символ степени свободы содержит первую и вторую стрелки (121, 122), причем каждая из стрелок соответствует одному направлению вращения, соответствующего степени свободы.

5. Система по п.4, отличающаяся тем, что средства обработки реагируют на сигналы средства выбора для блокировки одного направления вращения, соответствующего степени свободы, путем выбора соответствующей стрелки, после чего указанная стрелка изображается заранее определенным цветом.

6. Система по п.4, отличающаяся тем, что средства обработки реагируют на сигналы средства выбора для управления степенью свободы манекена во втором окне (20), причем выбранная стрелка соответствует направлению движения данной степени свободы.

7. Система по п.6, отличающаяся тем, что часть или части тела, по меньшей мере, одна из степеней свободы которой или которых подвергается операции управления, изображаются в первом окне заранее определенным цветом.

8. Система по п.6, отличающаяся тем, что стрелка, указывающая направление движения, соответствующего степени свободы, изображается во втором окне (20) заранее определенным цветом.

9. Система по п.1, отличающаяся тем, что средства обработки реагируют на сигналы средства выбора для активации или деактивации в первом окне (10) частей тела и для изображения активных частей тела заранее определенным цветом (104), а деактивированных частей тела – другим заранее определенным цветом (105).

10. Система по любому из пп.1-9, отличающаяся тем, что средства обработки изображают контур выбранной части тела заранее определенным цветом (102).

РИСУНКИ