|
ПРЕДИСЛОВИЕ
Решение актуальных задач автоматизации производства с учетом ускорения темпов научно-технического прогресса требует серьезной перестройки существующей структуры отечественного парка промышленных роботов. Наряду о преобладающими сегодня простейшими промышленными роботами, функционирующими по жестким (не меняющимся в процессе работы) программам, в широкую практику должны войти робототехнические системы качественно иного класса, обладающие адаптивными возможностями и элементами искусственного интеллекта. Адаптивные роботы, снабженные различными средствами очувствления — сенсорными системами и способные гибко перестраивать свои действия в соответствии с воспринимаемой информацией о рабочей среде, являются одним из важнейших компонентов гибких производственных систем (ГПС), без них немыслима роботизация непромышленной сферы, проведение многих работ в космосе, под водой и в других экстремальных средах.
При создании адаптивных роботов весьма существенная роль среди возможных средств очувствления отводится системам технического зрения (СТЗ), обеспечивающим восприятие видеоинформации об окружающей среде, автоматическую обработку и анализ изображений рабочих сцен в целях формирования команд управления роботом в процессе его работы. В настоящее время во всем мире расширяется серийный выпуск самых различных СТЗ, активно ведутся разработки новых методов и средств визуального очувствления роботов. В нашей стране этими проблемами занимается целый ряд научных центров и предприятий Москвы, Ленинграда, Киева, Томска, Рыбинска, Ростова-на-Дону и других городов.
Вопросы создания и применения СТЗ роботов интересуют многих специалистов, причастных к проектированию, внедрению и эксплуатации роботизированных технологических комплексов и ГПС. Хотя советскими издательствами за последнее время выпущено несколько оригинальных и переводных книг и сборников, в которых затрагиваются отдельные аспекты теории, построения и использования СТЗ роботов (см. например [9, 30, 34, 39, 40, 41, 43, 47, 49]), существенная часть информации по этой
проблеме остается недоступной широкому кругу читателей, поскольку сосредоточена в узкоспециализированных периодических изданиях (в большинстве своем — на иностранных языках), материалах зарубежных фирм и международных выставок, трудах множества конференций, таких, как Международные конференции по техническому зрению и управлению очувствленными роботами ROVISEC, тематические симпозиумы международных федераций по промышленным роботам, технологии промышленного производства, автоматическому управлению, обработке информации и др. Если учесть, что значительное число разработчиков и пользователей робототехнических систем ранее не были профессионально знакомы с проблемами технического зрения, становится очевидной потребность в систематизированном изложении современных принципов построения, основ проектирования, алгоритмического и программного обеспечения СТЗ роботов различного назначения, методов использования видеоинформации для управления роботами, а также необходимость в рассмотрении примеров эффективного практического применения роботов о техническим зрением, перспектив развития этого научно-технического направления.
Разработчики СТЗ роботов во многом опираются на опыт более традиционных применений технического зрения в устройствах промышленной автоматики и телемеханики, телевидении, дефектоскопии, при обработке фотоснимков, изображений биологических препаратов, текстов и т. п. В ряде случаев удается использовать те или иные из созданных ранее технических средств, методических решений, алгоритмов и программ или же приспособить их к задачам робототехники с небольшой модификацией. Однако часто специфика робототехнических приложений не позволяет непосредственно воспользоваться накопленным арсеналом методов и средств и требует развития оригинальных подходов к созданию СТЗ о учетом новых функциональных задач, конкретных возможностей реализации и условий работы в составе робототехнических систем.
В связи о этим при написании данной книги представлялось целесообразным рассмотреть проблему в обоих аспектах. С одной стороны, считая датчики внешней видеоинформации робота (видеосенсоры) частным случаем более широкого класса оптико-электронных приборов (ОЭП), авторы стремились сохранить преемственность общих методов, принятых при проектировании ОЭП, показать возможность распространения на случай СТЗ роботов целого ряда хорошо зарекомендовавших себя принципов расчета, выбора структурных и функциональных схем, элементной базы. Это позволило опустить подробное описание многих традиционных процедур, адресовав читателя к известной литературе по ОЭП.
С другой стороны, особое внимание уделено недостаточно освещенным в этой литературе вопросам, которые характерны именно для СТЗ роботов: обеспечению универсальности и повышенной
степени гибкости, высокого быстродействия, устойчивости к воздействиям окружающей среды, необходимости миниатюризации и ориентации на широкодоступную элементную базу, совместимости с существующими устройствами управления роботов и т. п. В то же время в книге сделана попытка обобщить методы выбора и расчета основных типовых блоков, необходимых для визуального очувствления робота вне зависимости от его конкретного назначения. На основе единого системного подхода рассмотрены требования к организации рабочей сцены робота с СТЗ, видеосенсорам, включающим оптическую систему, преобразователь оптической информации о наблюдаемой сцене в соответствующий электрический сигнал (видеосигнал), электронный тракт предварительной обработки этого сигнала, блокам ввода изображений в вычислительное устройство, их обработки, сегментации, описания и анализа, а также связи СТЗ о системой управления робота. При изложении путей реализации этих требований упор делается на необходимость рационального сочетания аппаратных и программных средств.
Научно-технический уровень разработок СТЗ роботов в мире повышается очень высокими темпами, их элементная база постоянно обновляется — этим объясняется сравнительно малый объем, отводимый в книге описанию используемых сегодня элементов и специальных технических решений в конкретных применениях. Авторам хотелось избежать описательности и перечисления характеристик и особенное: л многочисленных СТЗ, созданных в нашей стране и за рубежом, что свойственно некоторым книгам, вышедшим в последнее время.
Главная цель настоящей книги — дать одно из первых пособий разработчикам СТЗ роботов ближайшего будущего и помочь специалистам, которым предстоит применять их для решения разнообразных практических задач.
Книгу написали: В. И. Мошкин (пп. 3.1, 3.4, 4.3, 4.4, 5.1 — 5.3, 5.5, 6.4 — 6.8), А. А. Петров (предисловие, гл. 1, 2, 7), В. С. Титов (пп. 3.2, 4.1, 4.2, 5.4, 5.7, 5.8), Ю. Г. Якушенков (пп. 3.1, 3.3, 3.4, 5.6, 6.1 — 6.3).
ГЛАВА 1 СТРУКТУРА И ОСОБЕННОСТИ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ РОБОТОВ
1.1. ОСНОВНЫЕ ФУНКЦИОНАЛЬНЫЕ ЗАДАЧИ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ В РОБОТОТЕХНИКЕ
Роботы, снабженные СТЗ, достаточно широко и успешно применяются во многих отраслях промышленности на таких операциях, как контроль и отбраковка различных деталей и изделий по внешнему виду, загрузка обрабатывающих станков деталями с конвейеров или из бункеров, сортировка и ориентированная укладка в кассеты деталей и заготовок, в том числе неупорядоченно движущихся по конвейеру или поступающих в таре навалом, сборка и комплектация узлов, сварка, окраска, упаковка изделий, монтаж электронных схем и других СТЗ используют также для обеспечения условий техники безопасности на роботизированных рабочих местах, организации учета и складирования предметов производства, маршрутизации материалопотоков в гибких производственных системах, управления транспортными мобильными роботами.
Роль адаптивных роботов с техническим зрением и элементами искусственного интеллекта еще более возрастает при расширении процесса роботизации в таких областях, как горнодобывающая промышленность, строительство, сельское и лесное хозяйство, коммунальные службы, быт, где рабочая среда носит сложный, плохо структурированный характер. СТЗ необходимы роботам, предназначенным для исследования космического и подводного пространства, используемым для тушения пожаров и при других стихийных бедствиях. В подобных приложениях СТЗ должна обеспечивать не только данные для непосредственной выработки сигналов обратной связи при управлении движениями робота и передачу сведений об окружающей среде человеку-оператору, но и информацию для формирования роботом модели рабочей среды в целях автоматического планирования действий.
Функциональное назначение СТЗ робота в зависимости от области и конкретных условий его применения довольно многообразно. Наиболее типичными функциями, выполняемыми СТЗ в робототехнике, являются следующие: регистрация наличия объекта в поле зрения датчика внешней (по отношению к роботу) видеоинформации — видеосенсора; подсчет числа объектов, находящихся в поле зрения или прошедших перед видеосенсором;
считывание и расшифровка меток (цветовых или штриховых кодов, буквенно-цифровых символов, этикеток и других маркеров); обнаружение препятствий, мешающих движениям робота; измерения геометрических и физических параметров объектов; контроль изделий на наличие видимых дефектов, полноту комплектации, соответствие эталонам; классификация (распознавание) объектов; определение местоположения и ориентации объектов в рабочей зоне робота; поиск нужных объектов на рабочей сцене; измерение скорости движущихся объектов; слежение за перемещениями и изменениями скорости объектов; визуальное определение изменений во времени наблюдаемых физических и технологических процессов; обеспечение информации для задания и коррекции траекторий рабочего органа робота в адаптивном режиме; навигация и наведение мобильных роботов; визуальный контроль правильности выполнения операций роботом; калибровка геометрических параметров манипулятора, привязка его системы координат к системе координат рабочего пространства; обеспечение требований техники безопасности.
Функциональные задачи СТЗ, характерные для робототехнических приложений, можно условно разделить по уровню их относительной сложности. К элементарным задачам обычно относят: обнаружение наличия объекта; измерение расстояния до объекта, его линейных или угловых перемещений, скорости; измерение геометрических параметров объекта (линейных и угловых размеров, площади и т. п.); определение физических характеристик излучения от объекта (интенсивности, спектрального состава и пр.); подсчет числа объектов и др.
Более сложный круг задач выполняет, например, СТЗ, которая снабжает систему управления манипуляционного робота информацией, необходимой для захватывания неупорядоченных объектов. В число этих задач входят: обзор рабочей сцены (плоской или пространственной) для поиска представляющего интерес объекта — одиночного или одного из нескольких, лежащего изолированно от других или соприкасающегося (перекрывающегося) с ними; определение местоположения и ориентации этого объекта; его классификация (если имеется несколько различных классов объектов). При этом объекты могут различаться не только размерами и формой (силуэтом), но и текстурой, цветом и т. п., покоиться или находиться в движении. Этот пример иллюстрирует тот факт, что относительная сложность функциональных задач СТЗ характеризуется целым рядом признаков, среди которых можно выделить следующие.
Размерность рассматриваемой сцены. Пространственные задачи, требующие анализа трехмерных сцен, как правило, намного сложнее «плоских» задач, в которых достаточно обработки изображения одной двумерной проекции сцены на картинную плоскость. Промежуточное положение занимают квазиплоские задачи («размерности 2,5»), где рассматривается картинная плоскость с добавлением информации о «глубине» (дальности) видимых точек изображения.
Степень изолированности объектов. По этому признаку задачи СТЗ классифицируются так (в порядке возрастания сложности): задачи с одиночным объектом; задачи с несколькими изолированными (т. е. несоприкасающимися) объектами на изображении; задачи с соприкасающимися (но не перекрывающимися) изображениями объектов; задачи о перекрытием одних объектов рабочей сцены другими.
Однородность объектов. Этот признак характеризует сложность задач классификации, стоящих перед СТЗ. Если все объекты, которые могут быть предъявлены СТЗ, идентичны, эта проблема вообще не возникает. При наличии ряда неодинаковых объектов задача их классификации тем сложнее, чем более «похожи» друг на друга их изображения, т. е. чем больше классифицирующих признаков необходимо для однозначного описания отличий каждого объекта от всех остальных.
Стационарность рабочей сцены. Изображения покоящихся объектов обрабатывать и анализировать проще, чем изображения объектов, которые перемещаются относительно видеосенсоров (например, при движении деталей по конвейеру, зрительном очувствлении мобильного робота, работе СТЗ типа «глаз на руке»).
Число элементов изображения. Чем больше размеры поля зрения и чем выше требуемая разрешающая способность СТЗ, тем сложнее задача, поскольку приходится обрабатывать больше элементов получаемого изображения {пикселов).
Число градаций яркости. Задачи, в которых достаточно анализировать силуэтные очертания объектов, т. е. работать с двухградационными (бинарными) изображениями, как правило, решаются проще задач, требующих анализа многоградационных {полутоновых) изображений.
Спектральный состав видеосигнала. Наделить робот способностью воспринимать цветные изображения, вообще говоря, сложнее, чем снабдить его монохроматическим зрением.
Кроме того, на сложность тех или иных задач СТЗ существенное влияние оказывают такие факторы, как качество освещения рабочей сцены, его стабильность, уровень оптических и электрических помех, контрастность объектов относительно фона, отражающие свойства их поверхности, и др.
Чем более сложные задачи с учетом всей совокупности описанных критериев способна решать СТЗ, тем выше уровень функциональной гибкости («интеллекта») робота может быть обеспечен с ее помощью.
Для выполнения своего функционального назначения СТЗ робота в общем случае должна обеспечивать: восприятие оптического сигнала и формирование изображения- предварительную обработку изображения в целях ослабления влияния шумов, улучшения контрастности, коррекции искажений, сжатия инфор-
мации ит. д.; сегментацию изображения сцены на составные части — выделение нужных объектов, их фрагментов или характерных особенностей; описание изображений — расчет их геометрических и иных характеристик, вычисление классифицирующих признаков, определение местоположения и ориентации; анализ изображения с распознаванием образов или классификацией объектов и интерпретацией сцен на основе модели проблемной среды; передачу полученных результатов в систему управления робота.
Создание СТЗ робота, отвечающей ее конкретному функциональному назначению, включает следующие этапы: 1) постановку задачи на содержательном уровне и составление технического задания на СТЗ; 2) выбор структурной и функциональной схем СТЗ; 3) математическую формулировку задач функциональных блоков СТЗ; 4) разработку алгоритмов решения функциональных задач; 5) выбор средств реализации алгоритмов и конкретизации технических характеристик аппаратных, аппаратно-программных и программных блоков СТЗ в соответствии с техническим заданием; 6) разработку аппаратного и программного обеспечения СТЗ.
Прежде чем перейти к рассмотрению этих вопросов, остановимся на особенностях работы роботов о техническим зрением.
1.2. ИСПОЛЬЗОВАНИЕ ВИДЕОИНФОРМАЦИИ В СИСТЕМАХ УПРАВЛЕНИЯ РОБОТАМИ
Общая функциональная схема очувствленного робота, снабженного СТЗ (возможно, вместе с другими датчиками внешней информации), может быть представлена так, как показано на рис. 1.1. Сенсорная система робота должна снабжать его систему управления информацией о текущей ситуации во внешней среде: наличии, типе, параметрах, местоположении и ориентации объектов манипулирования (воздействия); правильности и качестве выполнения роботом технологических операций иили других действий; существовании препятствий и путях их обхода и т. д. В систему управления поступают также задания (команды) роботу от человека-оператора, других роботов, ЭВМ высших уровней, технологического оборудования или иных устройств.
В современных робототехнических системах наиболее предпочтительна многоуровневая иерархическая структура управления [35, 41].
В соответствии с приведенной схемой информация от СТЗ, вообще говоря, может поступать на разные уровни системы управления. Например, данные о расположении препятствий бывают нужны на высшем уровне для построения модели рабочей среды в целях планирования действий робота; результаты классификации объектов могут потребоваться на стратегическом уровне для расчленения общего плана действий на конкретные манипуляционные операции, задания их последовательности и параметров; сведения о местоположении и ориентации объектов необходимы для формирования на тактическом уровне требуемых движений рабочего органа и звеньев манипулятора, по которым, в свою очередь, строятся программные законы согласованного изменения соответствующих степеней подвижности: информация об отклонении фактической траектории (скажем, сварного шва) от запрограммированной может быть использована непосредственно на исполнительном уровне для выработки управляющих сигналов на приводы при отработке программы в целях коррекции перемещения рабочего органа робота.
В реальных робототехнических системах часто трудно разграничить задачи описанных уровней управления. Функции верхних уровней во многом берет на себя человек-оператор. Нижний уровень управляющей системы физически может быть реализован непосредственно в силовых блоках исполнительных устройств, а другие уровни обычно строятся на базе универсальных или специализированных вычислительных блоков.
Общая функциональная схема, представленная на рис. 1.1, соответствует случаю подключения СТЗ к существующим устройствам программного управления роботов, которые обычно принято разделять на устройства циклового, позиционного, контурного и позиционно-контурного управления. Роботы с цикловым программным управлением — это простейшие позиционные роботы, управляющая программа которых содержит сведения о последовательности (цикле) действий, а геометрическая информация для команд программы, определяющая собственно перемещения исполнительных механизмов, задается настройкой упоров, выключателей, реле времени и т. п. В позиционных системах числового программного управления программируется конечное положение рабочего органа робота — точка позиционирования — для каждого рабочего шага (кадра) и, возможно, скорость перехода в нее. При контурном управлении состояние рабочего органа определено в любой момент времени, т. е. управляющая программа полностью задает желаемую пространственно-временную траекторию движения робота. Позиционно-контурные (комбинированные) устройства сочетают два последних способа программного управления.
Следует выделить в особую группу контрольно-измерительные роботы, в которых видеосенсоры иили другие датчики внешней информации устанавливаются на рабочем органе манипулятора, что позволяет проводить измерения с помощью этих датчиков в требуемых местах рабочей зоны робота по заданной программе. Информация от СТЗ в собственной системе управления контрольно-измерительного робота может непосредственно и не использоваться, а просто передаваться человеку-оператору или ЭВМ высшего уровня. В связи о этим рассмотрим способы включения СТЗ в робототехнические комплексы. Если СТЗ мобильных роботов обычно устанавливаются на самой движущейся платформе и перемещаются вместе с роботом, то при зрительном очувствлении манипуляционных роботов используются два основных метода установки видеосенсоров.
В большей части промышленных робототехнических систем о техническим зрением видеосенсоры устанавливаются изолированно от манипулятора (обычно их располагают неподвижно сверху или сбоку рабочей сцены). Можно использовать несколько видеосенооров для осмотра сцены с разных точек, возможны управляемые перемещения «линий зрения» сенсоров [651. Независимая от манипуляционного робота установка видеосенсоров обладает тем достоинством, что геометрические соотношения, связывающие их системы координат с системой координат рабочего пространства, не меняются в процессе работы. Кроме того, многие операции СТЗ и управляющего устройства манипуляционного робота можно выполнять параллельно, когда манипулятор выходит из поля зрения видеосенсора. С другой стороны, именно при захватывании объектов, когда их видеть важнее всего, рука робота загораживает часть рабочей сцены.
В этом смысле определенное преимущество имеют СТЗ типа «глаз на руке»: в них сам манипулятор никогда не попадает в поле зрения видеосенсора. Важно также, что они позволяют наводить рабочий орган на объект без измерения абсолютных координат последнего. Тем не менее роботы с «глазом на руке» пока распространены сравнительно нешироко, в первую очередь, вследствие большой сложности «привязки» получаемой количественной информации о геометрии объектов к неподвижной координатной системе. Сдерживающим фактором до последнего времени являлся также дефицит датчиков видеоинформации достаточно малых размеров и массы, пригодных для установки на руке робота. Наиболее перспективными представляются адаптивные робототехнические комплексы, в которых сочетаются обе рассмотренные выше схемы установки видеосенсоров, а также используются комбинации СТЗ о сенсорами других модальностей в единой мультисенсорной системе [67].
Однако независимо от способа размещения видеосенсоров полученная о их помощью информация используется для управления адаптивным роботом в соответствии с одним из двух следующих принципов. Первый базируется на непрерывном (или квазинепре-рывном) поступлении видеосигнала обратной связи для коррекции траектории движения рабочего органа робота. По этому принципу действуют сервосистемы, минимизирующие отклонения текущего состояния рабочего органа от желаемого, которое определяется по данным визуального наблюдения за целевым объектом. Второй принцип основан на вводе информации от СТЗ в устройство управления робота дискретными порциями. Каждая такая порция служит для выработки программных движений на очередной интервал времени, в течение которого робот перемещается в следующее целевое положение «вслепую», т. е. без непрерывной визуальной обратной связи.
Каждый из указанных принципов использования видеоинформации для управления роботами имеет свою сферу приложения. Так, адаптивные сварочные роботы, визуально определяя стык свариваемых деталей, корректируют движение головки вдоль шва при непрерывном поступлении сигнала обратной связи. Такой способ находит применение при взятии движущихся деталей с конвейера, слежении за полосой, направляющей движения мобильного робота, поддержании заданного расстояния от краскопульта до окрашиваемой поверхности и т. п. В рамках этого под-
хода в последние годы разрабатываются методы визуального сервоуправления непосредственно по виду получаемого СТЗ изображения или по параметрам, рассчитываемым в результате его обработки. Так, в системе «глаз на руке» сервопривод перемещает манипулятор до тех пор, пока не будут достигнуты нужные значения таких параметров, как положение какой-либо выбранной точки объекта в системе координат «глаза», площадь изображения определенной грани объекта, отношение площадей соседних граней и т. п. Хотя системы с «визуальным сервоуправлением», несомненно, перспективны, до сих пор намного шире распространены СТЗ, основанные на втором из описанных выше принципов — «целуказании». Рассмотрим несколько подробнее методы использования зрительной информации в таких СТЗ роботов.
В простейшем случае по результатам работы СТЗ на основании априорно указанных условий принимается решение только о запуске или останове (прерывании) заранее заданной программы действий робота, уходе на ту или иную жесткую подпрограмму, изменении последовательности выполнения команд управляющей программы, полная информация о каждой из которых должна быть внесена в управляющее устройство еще до начала работы робота.
Более широкие возможности обеспечиваются при адаптивном изменении самих управляющих программ робота в соответствии с фактической обстановкой, определяемой по информации от СТЗ. Адаптивные роботы способны автоматически формировать движения в процессе работы без необходимости априорного указания человеком детальных законов изменения всех управляемых координат.
KOHEЦ ФPAГMEHTA КНИГИ
|
