В Донском государственном техническом университете представили программное обеспечение, дающее возможность управлять промышленным манипулятором с помощью жестов. Разработка велась межвузовским коллективом под руководством старшего преподавателя кафедры «Кибербезопасность информационных систем» Марины Ждановой в рамках гранта Российского научного фонда.

Как пояснили в пресс-службе РНФ, современные коллаборативные роботы (коботы) функционируют вместе с людьми в общем пространстве. Для синхронизации и безопасности им необходима система технического зрения, способная отслеживать положение оператора и его действия. Ранее такие решения были зарубежного производства. Российские ученые создали альтернативу — собственный алгоритм на основе нейросетевых технологий.

Разработка объединяет данные RGB-камеры, фиксирующей картинку, и датчика глубины, измеряющего расстояние до объектов. Такой подход компенсирует недостатки каждого метода, например при плохом освещении. На основе полученных данных формируется дескриптор — вектор признаков, описывающий движение оператора.

Как пояснила Марина Жданова, дескриптор действий человека содержит информацию о расположении точек скелета в пространстве и времени, а алгоритм базируется на параметризованной модели логарифмической обработки изображений. Система обучена распознавать десять жестовых команд. ПО получает данные с сенсоров, идентифицирует жест и передает сигнал на контроллер, где закреплено соответствие команды конкретному действию манипулятора.

Новое ПО уже готово к внедрению в промышленности. Его можно применять для автоматизации погрузки, сборочных операций, окрашивания, лазерной обработки и маркировки. Систему могут использовать корпорации, малый и средний бизнес, лаборатории, больницы, электростанции и агропредприятия.

Источник