由ChatGPT驱动的FRIDA机器人可以创作艺术品了！

卡耐基梅隆大学的机器人研究所有一位新艺术家常驻。

FRIDA是一个绑着画笔的机器人手臂，它使用人工智能与人类合作制作艺术品。请FRIDA画一幅画，它就可以把画笔放到画布上了。“有一幅青蛙芭蕾舞女的画，我觉得效果非常好。”机器人研究所计算机科学学院博士生彼得·沙尔登布兰德（Peter Schaldenbrand）说，他与FRIDA合作，探索人工智能和创造力。

用户可以通过输入文字描述、提交其他艺术作品来启发FRIDA的风格，或者上传一张照片并要求其绘制其代表，来指导FRIDA。该团队也在尝试其他输入，包括音频。他们扮演了ABBA的“舞蹈女王”，并请FRIDA为其作画。

沙尔登布兰德说：“FRIDA是一个机器人绘画系统，但FRIDA不是艺术家。FRIDA没有产生交流的想法。FRIDA是一个艺术家可以与之合作的系统。艺术家可以为FRIDA指定高级目标，然后FRIDA可以执行这些目标。”

该机器人使用与OpenAI的ChatGPT和DALL-E2等工具类似的AI模型，它们分别响应提示生成文本或图像。FRIDA模拟了它如何使用画笔绘制图像，并使用机器学习来评估其工作进度。

FRIDA的最终产品是印象派和异想天开的，笔触大胆。它们缺乏机器人努力中经常追求的精度。如果FRIDA犯了一个错误，它会不断重复，将错误的油漆斑点融入最终结果。

“FRIDA是一个探索人类和机器人创造力交叉点的项目，”McCann说。“FRIDA正在使用已经开发的人工智能模型来完成字幕图像、理解场景内容，并将其应用于艺术生成问题。”

FRIDA在其艺术过程中多次利用人工智能和机器学习。首先，它花一个小时或更长时间学习如何使用画笔。然后，它使用在海量数据集上训练的大型视觉语言模型，将从互联网上抓取的文本和图像配对，例如OpenAI的对比语言图像预训练（CLIP），以理解输入。人工智能系统使用这些模型根据提示生成新的文本或图像。

其他图像生成工具，如OpenAI的DALL-E2，使用大型视觉语言模型来生成数字图像。FRIDA更进一步，使用其具体化的机器人系统制作物理绘画。生成物理图像的最大技术挑战之一是将模拟缩小到真实差距，即FRIDA在模拟中所组成的内容与在画布上所绘制的内容之间的差异。FRIDA使用了一种叫做real2sim2real的想法。机器人的实际笔触用于训练模拟器，以反映和模拟机器人的物理能力和绘画材料。

FRIDA的团队还试图通过不断改进他们使用的大型视觉语言模型来解决当前大型视觉语言中的一些局限性。该团队向模特们提供新闻文章的标题，让模特们了解世界上正在发生的事情，并进一步训练模特们使用更能代表不同文化的图片和文字，以避免美国或西方的偏见。

一旦FRIDA的人类用户指定了他们想要创作的绘画的高级概念，机器人就会使用机器学习来创建其模拟，并制定一个绘画计划，以实现用户的目标。FRIDA在电脑屏幕上显示一个彩色托盘，供人类混合并提供给机器人。目前，由建筑学院的硕士生魏佳颖（音）和机器学习系的Eunsu Kang领导，正在开发自动涂料混合。

带着画笔和颜料，FRIDA将进行第一笔。每隔一段时间，机器人就会使用头顶摄像头拍摄画作的图像。该图像有助于FRIDA评估其进度，并在需要时完善其计划。整个过程需要几个小时。

“人们怀疑FRIDA是否会接受艺术家的工作，但FRIDA项目的主要目标却完全相反。我们希望通过FRIDA真正促进人类的创造力，”Jean Oh说。“例如，我个人想成为一名艺术家。现在，我可以与FRIDA合作，用绘画表达我的想法。”