Двуногий робот, созданный инженерами из Калифорнийского университета в Беркли, самостоятельно учится ходить. Это возможно благодаря так называемому обучению с подкреплением — одному из способов машинного обучения.
Конструкция робота относительно проста и состоит из трёх основных частей: ног и соединительного корпуса между ними. Через корпус исследователи также управляют роботом, сообщая ему различные команды.
В сравнении с технологиями от Boston Dynamics робот, которого учёные назвали Кэсси, достаточно примитивен. Однако его инновационность — совсем не в эргономичности конструкции или прогрессивном дизайне, а в способности учиться. В отличие от других подобных систем, Кэсси обучается не через непосредственное программирование или мимикрию, но самостоятельно. Именно так Кэсси учится прямохождению.
Весь секрет — в обучении с подкреплением, методе, в основе которого лежит взаимодействие агента с окружающей средой. Можно сказать, что подобные способы обучения встречаются повсеместно. Например, у детей, которые учатся ходить, пробуя осуществлять всё новые и новые движения, запоминая и совершенствуя свои попытки и получая обратную связь от окружающего их пространства.
По такому же принципу развивается и Кэсси. С помощью компьютерной симуляции учёные сообщили системе информацию о принципах прямохождения, опираясь на которую она начала совершенствовать свои навыки перемещения. Кэсси достаточно быстро поняла, как сохранять баланс и равновесие, удерживаться от падения и компенсировать отсутствие энергии в случае повреждения её двух основных моторов.
По словам исследователей, система учится достаточно быстро, и им не терпится увидеть, насколько она сможет улучшить свои навыки в дальнейшем.
Фото: arXiv:2103.14295 [cs.RO]
Это новость от журнала ММ «Машины и механизмы». Не знаете такого? Приглашаем прямо сейчас познакомиться с этим удивительным журналом.