【两分钟论文#161】AI创建用户界面，前端将失业？神器pix2code！

亲爱的学者们，这是KárolyZsolnai-Fehér的两分钟论文。

为移动Android和iOS设备创建应用程序是一项艰巨的工作，大多数时间包括创建图形用户界面。

这些是闪亮的前端接口，使用户能够与我们的应用程序的后端进行交互。

那么一个学习如何创建这些图形用户界面并自动化这个过程的一部分的算法呢？

这项工作需要一个单一的输入图像，我们可以通过制作用户界面的屏幕快照来简单获取，并且几乎立即为我们提供了重新创建它所需的代码。

多么惊人的想法！

该算法支持多种不同的目标平台。例如，它可以为iOS和Android设备提供代码。

这个代码我们可以交给编译器，它将创建一个可执行的应用程序。

这种技术还支持html以及创建具有所需用户界面的网站。

在引擎盖下，领域特定的语言正在被学习，并且使用这种语言，可以生成用户界面的简洁文本表示。

请注意，这绝不是领域专用语言的唯一用处。

图形用户界面的图像由经典的卷积神经网络学习，并且该文本表示由长短期记忆这种方法学习。机器学习研究者简称其为LSTM。

这是一个能够学习数据序列的神经网络变体，通常用于语言翻译，音乐作曲，或学习莎士比亚的所有小说，并以其风格写新的小说。

如果你想知道为什么这些例子是如此特定，我们已经有一个关于这个的早期章节，我已经在视频描述中链接到它。

一定要看看那章，你会爱上它。

此外，今年将是它出现的二十周年。

祝你生生不息，繁荣昌盛，LSTM！

现在，我已经看到论坛上的火热讨论了。

总结概括的说，它对世界各地前端开发者的解雇与否影响深远。

我会说，我非常怀疑这项工作是否意味着业界前端发展工作的结束。

不过，我认为，通过一些改进，可以通过取代人力和降低未来实现图形用户界面的成本来快速证明其价值。

这是现代学习算法可以兼顾到各种任务的另一个证明。

作者还有一个GitHub仓库，还有一些说明，项目的源代码和数据集将很快可用。

叮当，真高兴！

感谢您的关注和慷慨支持，下次再见！

《pix2code: Generating Code from a Graphical User Interface Screenshot》论文地址：

https://arxiv.org/abs/1705.07962

Github地址：

https://github.com/tonybeltramelli/pix2code