Проектирование роботизированной системы депаллетизации с 3D-управлением для материалов разной толщины

Робот для удаления материала Роботизированный манипулятор

Аннотация: В промышленном производстве и логистике депаллетизация материалов с помощью роботов является одним из распространенных применений. Депаллетизация материала — это сценарий, при котором товары разного размера (т. е. товары разных размеров, веса или текстуры) загружаются на поддоны для доставки. Раньше депаллетизация с помощью робота применялась только для разгрузки отдельных товаров и требовала расположения товаров в фиксированном порядке, а робот не обладал способностью восприятия; Роботизированная система депаллетизации с визуальным управлением, описанная в этой статье, оснащена возможностью восприятия окружающей среды в режиме реального времени для управления захватывающими действиями, тем самым решая проблемы переменных размеров выгружаемых объектов и неравномерного размещения систем депаллетизации многомерных материалов.

Ключевые слова: 3D-распознавание изображений, робот, гибридная паллетизация, позиционирование объекта, алгоритм депаллетизации.

В промышленном производстве и логистике для оптимизации потока товаров можно использовать различные промышленные роботы, и одним из распространенных применений является депаллетизация материалов. «Роботизированная депаллетизация» обычно относится к процессу последовательной разгрузки материалов с поддонов с помощью роботизированных манипуляторов и может использоваться для замены простого, но тяжелого ручного труда. В логистике существуют сценарии, когда товары разных размеров (т. е. разных размеров, веса или текстуры) доставляются в коробках, как показано на рисунке 1.

Однако ранние роботизированные системы депаллетизации в основном управлялись вручную для полного захвата роботом, что было применимо только к разгрузке одного груза и требовало расположения груза в фиксированном порядке, а робот не имел способности восприятия, чтобы реагировать на внешние изменения. Однако системы депаллетизации материалов различных размеров требуют от роботов осведомленности об окружающей среде в режиме реального времени, чтобы управлять захватывающими действиями, поскольку выгружаемые объекты различаются по размеру и располагаются неравномерно.

С развитием различных оптических датчиков технология компьютерного зрения постепенно внедряется в задачи захвата роботов, чтобы улучшить способность робота получать внешнюю информацию. Система депаллетизации робота с визуальным управлением обычно содержит пять модулей: модуль сбора видеоинформации, модуль локализации и анализа объекта, модуль расчета положения захвата, модуль преобразования координат руки и глаза и модуль планирования движения, как показано на рисунке 2. Среди них Первые три модуля являются основной частью системы зрения, отвечающей за получение и обработку зрительной информации и обеспечение поз объектов. Последние два модуля в основном используются для предоставления роботу управляющей информации и выполнения функции захвата. Далее мы представим каждый модуль, общие методы и варианты реализации.

I. Модуль сбора информации Vision

Роль модуля сбора видеоинформации заключается в сборе визуальной информации и предоставлении входных данных для последующих шагов. В настоящее время обычно используемые визуальные входные данные включают 2D-изображения RGB, 3D-изображения облаков точек и комбинированные 2D- и 3D-изображения RGB-D. Среди них захват роботизированной руки с помощью машинного зрения на основе 2D-изображений RGB в настоящее время является зрелым решением в промышленности, которое превращает проблему захвата робота в проблему обнаружения цели объекта или сегментации изображения на изображениях RGB. Однако в 2D-видении отсутствует информация об абсолютном масштабе объектов, и его можно использовать только в определенных условиях, например, в сценариях с фиксированными поддонами и известными размерами материалов. В сценариях, где плотность материала неизвестна, модуль машинного зрения должен предоставить роботу точную информацию об абсолютном размере захватываемого объекта, поэтому можно использовать только 3D-изображения облаков точек или изображения RGB-D с комбинацией 2D и 3D. использовал. По сравнению с информацией RGB, информация RGB-D содержит информацию о пространственном расстоянии от камеры до объекта; По сравнению с трехмерными изображениями облаков точек, информация RGB-D содержит информацию о богатой цветовой текстуре. Таким образом, изображения RGB-D могут использоваться в качестве входной визуальной информации для многомерной системы депаллетизации материалов.

Модуль позиционирования и анализа объектов

Модуль позиционирования и анализа объектов получает входные данные от модуля сбора зрительной информации, анализирует материалы, присутствующие в сцене, и получает ключевую информацию, такую как их положение и поза, а затем вводит эту ключевую информацию в модуль расчета позы захвата. Вообще говоря, проблема локализации материала в роботизированной системе депаллетизации может быть преобразована в проблему обнаружения цели или сегментации изображения в поле зрения. Решение для захвата робота на основе машинного зрения RGB-D может сначала выполнить 2D-обнаружение цели или сегментацию 2D-изображения на RGB-изображении материала, а затем объединить карту глубины для вывода абсолютного размера объекта и позы захвата; илинепосредственно выполняйте обнаружение или сегментацию целей на трехмерной карте облака точек. Ниже будет краткое введение в соответствующую работу.

1.2D обнаружение целей

Входными данными для обнаружения 2D-целей является RGB-изображение сцены, а выходными данными — класс и положение объекта на изображении, а положение задается в виде границы или центра. Методы обнаружения целей можно разделить на традиционные методы и методы, основанные на глубоком обучении. Традиционные методы обнаружения целей обычно используют скользящее окно для обхода всего изображения, при этом каждое окно становится областью-кандидатом. Для каждого региона-кандидата сначала извлекаются признаки с использованием SIFT, HOG и других методов, а затем классификатор обучается классифицировать извлеченные признаки. Например, классический алгоритм DPM использует SVM для классификации модифицированных функций HOG для достижения эффекта обнаружения цели. Традиционный метод имеет два очевидных недостатка: во-первых, обход всего изображения со скользящим окном требует очень много времени, что делает временную сложность алгоритма высокой и затрудняет его применение к крупномасштабным сценариям или сценариям реального времени; во-вторых, используемые функции часто приходится разрабатывать вручную, что делает такие алгоритмы более зависимыми от опыта и менее надежными.

2. Сегментация двумерного изображения

Сегментацию изображения можно рассматривать как задачу классификации изображений на уровне пикселей. В зависимости от значения результата сегментации сегментацию изображений можно разделить на семантическую сегментацию и экземплярную сегментацию. Семантическая сегментация классифицирует каждый пиксель изображения в соответствующую категорию, тогда как сегментация экземпляров не только выполняет классификацию на уровне пикселей, но также различает разные экземпляры на основе определенных категорий. Относительно ограничивающей рамки обнаружения цели сегментация экземпляров может быть точной по краям объектов; По сравнению с семантической сегментацией, сегментация экземпляров должна помечать разных экземпляров похожих объектов на графе. При депаллетизации нам необходимо точно извлечь края материалов, чтобы рассчитать положение захвата, поэтому нам необходимо использовать методы сегментации экземпляров. Существующие методы сегментации изображений можно разделить на традиционные методы и методы, основанные на глубоком обучении.

Большинство традиционных методов сегментации изображений основаны на сходстве или мутации значений серого в изображении, чтобы определить, принадлежат ли пиксели к одному и тому же классу. Обычно используемые методы включают методы, основанные на теории графов, методы, основанные на кластеризации, и методы, основанные на обнаружении ребер.

Методы, основанные на глубоком обучении, существенно повысили точность сегментации 2D-изображений по сравнению с традиционными методами. Типичные структуры глубоких нейронных сетей, такие как AlexNet, VGGNet, GoogleNet и т. д., добавляют полносвязный слой в конце сети для интеграции функций, за которым следует softmax для определения категории всего изображения. Чтобы решить проблему сегментации изображений, структура FCN заменяет эти полностью связанные слои слоями деконволюции, превращая выходные данные сети из одномерной вероятности в матрицу с тем же разрешением, что и входные данные, что является новаторской работой по применению глубокое обучение семантической сегментации.

3. 3D обнаружение целей

Трехмерное обнаружение целей позволяет роботам точно прогнозировать и планировать свое поведение и траектории, напрямую вычисляя трехмерное положение объектов, чтобы избежать столкновений и нарушений. Обнаружение 3D-целей делится на монокулярную камеру, бинокулярную камеру, мультиокулярную камеру, линейное сканирование поверхности LIDAR, камеру глубины и обнаружение цели инфракрасной камерой в зависимости от типа датчика. В целом, стерео/мультивизионные системы, состоящие из мультивизионных камер или LiDAR, обеспечивают более точные измерения трехмерных облаков точек, где методы на основе нескольких ракурсов могут использовать параллакс изображений с разных ракурсов для получения карт глубины; Методы, основанные на облаке точек, получают целевую информацию из облаков точек. Для сравнения, поскольку данные о глубине точек могут быть измерены напрямую, обнаружение трехмерных целей на основе облака точек по существу представляет собой задачу определения трехмерных точек и, следовательно, является более интуитивно понятным и точным.

В-третьих, модуль расчета позы захвата.

Модуль расчета положения захвата использует информацию о положении положения целевого объекта, выходную из второго модуля, для расчета положения захвата робота. Поскольку в системе депаллетирования материалов с несколькими калибрами часто имеется несколько целей, которые можно схватить, этот модуль должен решить две проблемы: «какую из них захватывать» и «как захватывать».

Первый шаг — решить проблему «что». Целью этой задачи является выбор лучшей цели сканирования среди множества целей сканирования, причем «лучшая» здесь часто должна определяться фактическими требованиями. В частности, мы можем количественно оценить некоторые индикаторы, которые влияют на оценку сканирования, в зависимости от реальной ситуации, а затем расставить приоритеты для этих индикаторов.

Второй шаг – решить проблему «какпоймать». Мы можем проанализировать и рассчитать позу захвата с помощью механического анализа, или мы можем сначала классифицировать объект с помощью метода обучения, а затем выбрать точку захвата в соответствии с классификацией, или напрямую регрессировать позу захвата.

В-четвертых, модуль преобразования координат руки-глаза.

С помощью третьего модуля мы получили осуществимую позу для захвата. Однако поза захвата основана на позе в системе координат камеры, и позу захвата необходимо преобразовать в систему координат робота, прежде чем можно будет выполнить планирование движения. В системах депаллетизации для решения этой проблемы обычно используется глазомерная калибровка. В зависимости от положения фиксации камеры метод ручно-глазной калибровки можно разделить на два случая. Один из них заключается в том, что камера фиксируется на манипуляторе робота, и камера перемещается вместе с манипулятором, что называется «Глаз в руке», как показано на рисунке 3. При этом соотношении положений между основанием робота и калибровочной пластиной остается постоянным. во время двух движений руки робота, а решаемой величиной является соотношение положения между камерой и конечной системой координат робота. Камера другого типа закрепляется на отдельной стойке, называемой «Глаз к руке», как показано на рисунке 4. В этом случае соотношение углов между концом робота и калибровочной пластиной остается одинаковым во время двух движений робота. рукой, и решением является взаимосвязь между камерой и системой координат базы робота. Оба случая в конечном итоге преобразуются в задачу решения с AX = XB, и уравнение может быть преобразовано в линейное уравнение с использованием группы Ли и алгебры Ли для определения величин вращения и перемещения соответственно.

Пятое. Модуль планирования движения

В этом модуле в основном рассматриваются кинематика, динамика, механический анализ и планирование движения робота, чтобы спланировать возможный путь движения, который не сталкивается с окружающей средой. Умножая позу захвата в системе координат камеры, полученную модулем расчета позы захвата, на матрицу преобразования, откалиброванную модулем преобразования координат руки-глаза, мы можем получить позу захвата в системе координат руки робота. На основании этого положения можно планировать движение и направлять манипулятор робота для выполнения задачи по депаллетизации. Таким образом, входные данные модуля планирования движения — это начальное и целевое положения руки робота, а выходные данные — траектория движения руки робота.

Полный алгоритм планирования движения можно разделить на следующие три этапа.

Шаг 1: Решение обратной кинематики. Чтобы избежать таких проблем, как сингулярности, планирование движения роботизированной руки обычно выполняется в суставном пространстве. Поэтому нам следует сначала выполнить обратное кинематическое решение на основе входных поз, чтобы получить значения суставов, соответствующие позам.

Шаг 2: Планирование пути. С помощью алгоритма планирования пути мы можем получить траекторию движения роботизированной руки. Цель этого шага двоякая: во-первых, избежать препятствий, чтобы гарантировать, что роботизированная рука не столкнется с другими объектами на сцене во время своего движения; во-вторых, улучшить скорость работы, чтобы повысить эффективность работы системы. Планируя разумную траекторию движения, время выполнения одного захвата роботизированной руки можно сократить, тем самым повысив эффективность.

Шаг 3: Интерполяция времени. Хотя мы уже можем получить возможный путь движения посредством планирования пути, однако этот путь состоит из одной точки местоположения за другой. Когда рука робота движется по этому пути, ей необходимо сохранять ускорение и замедление, поэтому это будет влиять на скорость движения. По этой причине нам необходимо выполнить временную интерполяцию, чтобы получить информацию о скорости, ускорении и времени для каждой точки на пути по мере движения руки робота к этой точке. Таким образом, рука робота может работать непрерывно и плавно, что повышает эффективность.

Шестое. Пример реализации

Основываясь на приведенном выше исследовании, полная система машинного зрения, состоящая из 3D-камеры глубины, системы освещения, компьютера и программного обеспечения для обработки изображения, может быть использована в сценарии идентификации материала коробки для деталей, чтобы получить некоторую специальную информацию о реальных объектах, а также информацию, полученную с помощью этого. Система может использоваться для выполнения некоторых специальных задач, таких как определение положения коробки с помощью системы технического зрения, которая может помочь роботу захватывать и получать информацию о количестве коробок в качестве калибровки для задачи. Основные компоненты этой системы показаны на рисунке 5.

3D-камера и система освещения в основном используются для фотосъемки, при этом 3D-камера может получать данные о глубине в определенном диапазоне. А формирование цифрового изображения связано с системой освещения. С другой стороны, компьютер включает в себя вычислительные и запоминающие устройства общего назначения для сохранения изображений, обработки изображений с помощью специализированного программного обеспечения для машинного зрения, а также для работы в сети.связь с другими системами. Отображение изображений позволяет оператору управлять программным обеспечением обработки изображений и контролировать работу системы. Хранилище большой емкости используется для постоянного или временного хранения изображений или других данных. С другой стороны, специализированное программное обеспечение для машинного зрения включает в себя цифровую обработку изображений, анализ данных изображений и некоторые специальные функции.

Вообще говоря, 3D-камера глубины имеет частоту кадров от 1 до 30 кадров в секунду, разрешение изображения RGB 640×480, 1280×960, специальное 1920×1080, 2592×1944 и диапазон глубины от примерно 500 до 5000 мм.

И в зависимости от цены различаются точность и дальность действия. Вот пример 3D-камеры марки с параметрами, показанными на рисунке 6, и точностью, показанными на рисунке 7.

С помощью 3D-камеры можно получать RGB-изображения и изображения глубины специальных сцен, а в результате обработки и анализа этих изображений (см. Рисунок 8) можно получить некоторую информацию о положении, количестве и информации об объектах в сцена.

Прямоугольный прямоугольник на рисунке 9 — это карта позиций захвата прямоугольника, определенная после обработки. Порядок верхних левых, нижних левых, верхних правых и нижних правых — «2, 3, 3, 2» соответственно, то есть рука робота захватит две коробки слева, три коробки слева, три коробки слева. справа и два поля справа в соответствии с информацией о местоположении, предоставленной системой распознавания изображений.

Седьмой. Краткое содержание

В этой статье мы представили структуру и общие методы системы роботизированной депаллетизации многомерных материалов с трехмерным визуальным управлением и определили несколько основных модулей, которые должна иметь эта структура, а именно: модуль сбора видеоинформации, модуль локализации и анализа объектов, модуль расчета позиции захвата, модуль преобразования координат руки и глаза и модуль планирования движения, а также объяснил основные задачи и общие методы каждого модуля. В практических приложениях можно использовать различные методы для реализации этих модулей по мере необходимости, не затрагивая при этом функции других модулей и системы в целом.