Робота научили кормить людей с вилки

Американские инженеры создали инвалидное кресло с роботом, способным распознавать еду на тарелке, захватывать ее нужным образом и подносить ко рту человека. Авторы разработки считают, что в будущем система может пригодиться людям с нарушениями подвижности верхних конечностей. Разработка была представлена на конференции NeurIPS 2018, а ее описание доступно на сайте Вашингтонского университета.

Достаточно большое количество инженеров, работающих в области робототехники, разрабатывают устройства, предназначенные для людей с ограниченными возможностями. Многие из них создают экзоскелеты, компенсирующие потерю конечностей, а часть работает над созданием роботов, помогающих людям в бытовых ситуациях. К примеру, в прошлом году Toyota испытала робота, который умеет по команде приносить и протягивать бутылку с водой, а также нажимать кнопку, открывающую входную дверь в дом.

Сиддхартха Сриниваса (Siddhartha Srinivasa) и его коллеги из Вашингтонского университета создали робота, способного выполнять более сложную задачу — кормить человека фруктами и овощами. Доклад, представленный на конференции NeurIPS, пока не опубликован в открытом доступе, однако некоторые выводы об устройстве системы можно сделать по видеоролику и предыдущей статье авторов. Инженеры использовали двухсекционный робоманипулятор Kinova JACO с закрепленными на его конце захватом и камерой глубины. Он установлен на правой части инвалидного кресла, а на задней части располагается блок управления с аккумулятором, вычислительными модулями и датчиками. Во время работы роборука сначала захватывает вилку, которая обычно закреплена на левой части кресла, затем накалывает на нее фрукты или овощи, и подносит их ко рту человека.

Самыми сложными в разработке были два этапа работы манипулятора — надежный захват еды и удобное расположение вилки перед человеком. Перед захватом робоманипулятор направляет камеру на тарелку и распознает объекты на ней благодаря алгоритму, обученному распознаванию и классификации овощей и фруктов. После этого он выбирает нужную еду и подносит вилку. Разработчики оснастили манипулятор двумя датчиками смещения, которые сжимают вилку. Благодаря этому робот может с достаточно высокой точностью определять силу, с которой он вставляет вилку в еду. Кроме того, для надежного накалывания еды разработчики научили манипулятор по-разному обращаться с разными типами пищи. К примеру, поскольку кусок банана может легко соскользнуть с вилки, робот накалывает его под углом, а не вертикально.

После того, как робот захватил кусочек пищи, он начинает второй этап и подносит еду ко рту человека. Для этого используется алгоритм распознавания лица, который размечает на нем ключевые точки, в том числе и элементы рта. Благодаря тому, что робот отслеживает положение лица, он может подстраивать свое положение под движения человека. Также алгоритм управления был обучен подносить еду максимально удобным образом, с помощью тестов на реальных людях. Например, продолговатые овощи он подносит концом ко рту и под углом, а не вертикально. Инженеры опубликовали ролик, на котором можно видеть, как работали разные версии алгоритма и с какими проблемами пришлось столкнуться при разработке:

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Собака-робот Sony Aibo теперь может патрулировать дом и находить в нем нужных людей

Стремясь расширить возможности своей новой модели собаки-робота, компания Sony объявила о введении новой функции «Aibo Patrol».

Умные таблетки с микроиглами: безболезненная альтернатива уколам

Капсула RaniPill призвана заменить в будущем инъекции ферментов, белков и антител.

В діджитал ері кібербезпека стає запорукою успіху або краху

Якщо у фізичному просторі ми закриваємо двері будинків і встановлюємо сигналізацію чи охорону від злодіїв, захищаємося від хвороб, миючи руки, проходячи профілактичні медогляди і здаючи аналізи, то в кіберпросторі ми все ще поводимося як наївні туристи.