Робота научили кормить людей с вилки

Американские инженеры создали инвалидное кресло с роботом, способным распознавать еду на тарелке, захватывать ее нужным образом и подносить ко рту человека. Авторы разработки считают, что в будущем система может пригодиться людям с нарушениями подвижности верхних конечностей. Разработка была представлена на конференции NeurIPS 2018, а ее описание доступно на сайте Вашингтонского университета.

Достаточно большое количество инженеров, работающих в области робототехники, разрабатывают устройства, предназначенные для людей с ограниченными возможностями. Многие из них создают экзоскелеты, компенсирующие потерю конечностей, а часть работает над созданием роботов, помогающих людям в бытовых ситуациях. К примеру, в прошлом году Toyota испытала робота, который умеет по команде приносить и протягивать бутылку с водой, а также нажимать кнопку, открывающую входную дверь в дом.

Сиддхартха Сриниваса (Siddhartha Srinivasa) и его коллеги из Вашингтонского университета создали робота, способного выполнять более сложную задачу — кормить человека фруктами и овощами. Доклад, представленный на конференции NeurIPS, пока не опубликован в открытом доступе, однако некоторые выводы об устройстве системы можно сделать по видеоролику и предыдущей статье авторов. Инженеры использовали двухсекционный робоманипулятор Kinova JACO с закрепленными на его конце захватом и камерой глубины. Он установлен на правой части инвалидного кресла, а на задней части располагается блок управления с аккумулятором, вычислительными модулями и датчиками. Во время работы роборука сначала захватывает вилку, которая обычно закреплена на левой части кресла, затем накалывает на нее фрукты или овощи, и подносит их ко рту человека.

Самыми сложными в разработке были два этапа работы манипулятора — надежный захват еды и удобное расположение вилки перед человеком. Перед захватом робоманипулятор направляет камеру на тарелку и распознает объекты на ней благодаря алгоритму, обученному распознаванию и классификации овощей и фруктов. После этого он выбирает нужную еду и подносит вилку. Разработчики оснастили манипулятор двумя датчиками смещения, которые сжимают вилку. Благодаря этому робот может с достаточно высокой точностью определять силу, с которой он вставляет вилку в еду. Кроме того, для надежного накалывания еды разработчики научили манипулятор по-разному обращаться с разными типами пищи. К примеру, поскольку кусок банана может легко соскользнуть с вилки, робот накалывает его под углом, а не вертикально.

После того, как робот захватил кусочек пищи, он начинает второй этап и подносит еду ко рту человека. Для этого используется алгоритм распознавания лица, который размечает на нем ключевые точки, в том числе и элементы рта. Благодаря тому, что робот отслеживает положение лица, он может подстраивать свое положение под движения человека. Также алгоритм управления был обучен подносить еду максимально удобным образом, с помощью тестов на реальных людях. Например, продолговатые овощи он подносит концом ко рту и под углом, а не вертикально. Инженеры опубликовали ролик, на котором можно видеть, как работали разные версии алгоритма и с какими проблемами пришлось столкнуться при разработке:

Источник

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Ученые смололи смартфон в блендере во имя науки

Ученые из Плимутского университета в Англии размололи смартфон в блендере. Не просто так, конечно. Они задались целью проанализировать материалы, из которых состоит смартфон.

Робот научился менять выражение лица

Стокгольмский технологический стартап Furhat Robotics наделил искина человеческим лицом, создав робота, способного подражать человеческой мимике.

Новейшее изобретение Microsoft сделало возможным хранение данных в виде цепочки ДНК

Исследователи Microsoft объединили свои усилия с командой Вашингтонского университета, Ученые успешно закодировали слово «hello» в искусственной ДНК, а затем с помощью полностью автоматизированной системы преобразовали его обратно в цифровые данные.