教会机器人画画

每天一分钟，带你读遍机器人顶级会议文章

标题：Teaching Robots to Draw

作者：Atsunobu Kotani and Stefanie Tellex

来源：IEEE International Conference on Robotics and Automation (ICRA)，2019

编译：张宁

审核：黄思宇，孙钦

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

在本文中，我们介绍了一种方法，使机械手机器人能够编写手写字符或线条图。给定刚绘制的手写字符的图像，机器人推断出用书写工具复制图像的计划，然后再现图像。我们的方法以一个连续的绘图运动绘制每个目标笔划，并且不依赖于手工制作的规则或预定义的字符路径。相反，它学会从示范数据集中写入。

图1 我们的模型在真实机器人环境中再现目标图像的演示：A）用户在白板上绘制字符，B）机器人从其摄像机拍摄位图图像，C）机器人实时执行预测命令通过我们提出的模型D）完成过程E）用户绘图的图像F）机器人绘图的图像。

图2 我们提出的网络架构：由两个子模型组成，即本地模型和全局模型。彩色数字显示张量的形状，FC代表完全连接的层。

我们在模拟和两个真实机器人中评估我们的方法。我们的模型可以绘制各种语言的手写字符，这些语言与训练集不相交，例如希腊语，泰米尔语或印地语，并且还可以从绘图的图像中再现任何基于笔画的绘图。

Abstract

In this paper, we introduce an approach which enables manipulator robots to write handwritten characters or line drawings. Given an image of just-drawn handwritten characters, the robot infers a plan to replicate the image with a writing utensil, and then reproduces the image. Our approach draws each target stroke in one continuous drawing motion and does not rely on handcrafted rules or on predefined paths of characters. Instead, it learns to write from a dataset of demonstrations. We evaluate our approach in both simulation and on two real robots. Our model can draw handwritten characters in a variety of languages which are disjoint from the training set, such as Greek, Tamil, or Hindi, and also reproduce any stroke-based drawing from an image of the drawing.