学习，观察，控制：UChicago实现通用软件优化框架的商业化

就其表面而言，Ryerson自然科学实验室似乎不太可能找到一种有可能改变世界的新技术。坐在芝加哥大学的主要四角区，大楼的走廊和教室可能是一部为20世纪50年代电影设置的电影。有一个木镶板的学生休息室，整个建筑的气味有点像一盒旧铅笔。它是学术建筑品种减少的一部分。

Ryerson目前是UChicago计算机科学系的所在地，它曾经有点乏味，过于理论化了，至少早我是一名本科生的时候是这样的。就在几年前，事实可能是如此，今天变化却很快。该部门已经聘用了一些重要人员。其中包括英特尔前研究副总裁Andrew Chien， 作为CERES Center for Unstoppable Computing的教授兼总监。 前身为伯克利顶级计算机科学系主席的迈克尔富兰克林被聘为UChicago的系主任。这使得大学的计算机科学系在理论和 应用科学方面走上了富兰克林自己所说的“ 世界级 ” 的道路。

在2013年，UChicago的计算机科学系还带来了另一个人，亨利“汉克”霍夫曼 （如下图）。迈克尔富兰克林告诉Crunchbase新闻，霍夫曼在建立计算系统研究小组时已被带入计算机科学系。

在他职业生涯的其他早期项目中，霍夫曼帮助实现了数十亿美元的雷达系统的现代化，以检测和拦截麻省理工学院的超音速弹道弹头。霍夫曼还为Tilera公司的首批商用多核处理器之一构建了一个编程接口，该公司也是从MIT退出的。但汉克迄今为止最重要的工作是SEEC，这是他博士学位论文的基础。

科学美国人在2011 年将 Hoffmann的所谓“自我感知计算系统”（例如SEEC）的框架视为“世界变化的想法”，现在在2018年，这一想法可能会改变科技业务的面貌。

迈克尔富兰克林表示：“霍夫曼的工作是那些推动领域向前发展的非常罕见的例子之一，在学术上来说，这也具有重要的商业前景。” 伯克利传奇实验室的迈克尔富兰克林创建了流行的 Apache Spark框架。

“我觉得我在学术环境中永远无法称呼它（'霍夫曼优化框架'），因为我认为人们会嘲笑我。只要我没有特别引用我自己的名字来指代框架，我们就很好。“汉克在接受我的采访时说。要说清楚，霍夫曼看起来不像是用自己的名字来品牌的人。这是他的商业伙伴关注的框架，但主要以其初始主义形式：HOF。

为什么霍夫曼的优化框架很重要

机器学习正在吃掉这个世界。它今天在硅谷科技创业公司如此盛行，它基本上成了一个内部笑话。看起来一切都需要由神经网络控制，越深越好。但是机器学习技术正在被用于各种应用程序中，这些应用程序并不像一些高科技创业公司那样的浮夸。

神经网络正在优化从癌症诊断到货运列车上的气动制动的所有事情，以及其间的任何地方。所有这些都是因为一些复杂的线性代数，计算机能够开发和演化系统运行方式的统计模型，然后根据这些模型执行操作。但是，这种学习过程需要计算资源，大量高质量数据，最重要的是时间。

在面对新信息时重新训练系统 - 比如对系统的冲击，或者遇到与神经网络被理解为完全不同的东西 - 并不总是可行的，当然不是在速度很重要的情况下。

“霍夫曼优化框架是世界上唯一的AI'保险政策'，可以优化和监督任何传统或新系统，以保证性能达到您的目标，完全响应已知和未知的情况，”Lester Teichner说，芝加哥合作伙伴Group与芝加哥大学合作将Hoffmann的作品推向市场。

因此，如果神经网络擅长对系统进行统计学理解，那么为什么不向内注视该系统并了解系统本身以及它如何最好地工作，以便在发生变化时能够做出反应？

让机器教授的系统在飞行中“思考”

霍夫曼框架能够从已经使用机器学习优化的复杂系统中提取额外的性能，缩小绝对最佳情况与实际可实现的差距。

它是动态的，并且是实时的。HOF摄取由给定系统产生的数据，并即时调整系统的运行方式，即使在不利条件下也能保持最佳性能水平。该框架能够提供性能保证，并通过严谨的数学方法得到正式验证。

也许最重要的是，该框架足够抽象，可以应用于基本上任何复杂的系统，以使其性能更好。它通过简单地坐在现有系统之上而非常不引人注目地进行。

该框架可以由软件工程师通过由霍夫曼及其研究小组开发的软件开发工具包（SDK）相对容易地实现。霍夫曼说：“我想要做的事情之一就是尽可能多地从用户那里去除参数，以便用户能够从控制系统和机器学习的组合中受益，而不必了解控制机制如何在操作系统和硬件水平。那时你只是将一个问题换成另一个问题。“

自我感知计算在实践中

我已经从框架的测试中获得了一些结果，所以在实践中看起来如此。这就是“广义优化框架”中真正实现“通用”的地方，因为它已经在许多不同类型的应用程序领域得到了实现，并取得了令人印象深刻的结果。

以下是今天证明的结果的几个例子：

• 自动车辆中的一个有趣的实现，将在本文后面介绍。
• 霍夫曼的框架最近在阿贡国家实验室的Cray XC40超级计算机上运行，​​该超级计算机运行着一种流行的（至少在学术界）称为LAMMPS的分子动力学模拟器。根据Hoffmann的说法，优化后的系统产生了“与现有技术水平相比，平均增加了约30％的分析”。（让那个人在一瞬间下沉。）
• 根据测试人员的说法，这个框架在生成敌对神经网络中实施，学习了一组训练数据，该框架有助于产生比控制更精确的结果。
• 在实验室条件下，在具有多核ARM架构的手机上，使用HOF的研究人员通过改变电话操作系统在计算密集型任务中分配资源的方式，实现了比对照样本“2倍”的节能。
• 在今年的ASPLOS提交了一份文件，其中最负盛名的学术AI会议之一，该框架的实现上卡珊德拉，HBase的，HDFS，和Hadoop MapReduce的测试装置消除了内存不足的故障。该框架产生了一组配置设置，与甚至是经过专业调整的设置相比，它们的性能都有所提高，而这一切都是通过改变至少八行代码来实现的。
• 一位芯片制造商表示，该框架的成果相当于一代升级版本，今天提供的是明年的性能预期。

“我们已经大幅提高了性能，降低了能源消耗，到目前为止我们已经实施了所有的例子，全面提升了20％以上。”Lester Teichner说。“该框架可广泛应用，并已部署在移动和服务器CPU和GPU芯片组以及自动车辆平台上。”

在机器的鬼魂

对于DARPA支持的试验，并与Rice大学的Adam Durascz和麻省理工学院的Jason Miller合作，霍夫曼的框架安装在一台计算机上，编码器安装在汽车顶部。编码器设置为以特定的分辨率输出每秒20帧，这些目标显示在视频下方的图表上供我观看。为了测试框架在不利条件下提供性能保证的有效性，测试者开始关闭CPU内核并降低计算机上的风扇速度，以模拟人们可能遇到的“野外”性能下降的情况。

图表上的线条开始偏离其目标，但在框架重新分配其剩余的计算资源时，很快 - 例如在一两秒钟内 - 返回到基本正常的性能。起初，该框架超出了目标，然后低于目标，但它迅速收敛在预先设定的性能目标上：每秒20帧。直到电脑真的瘫痪时，视频才开始像素化并跳过帧，但尽管颤抖和方块性，视频编码器仍在工作。如果没有框架的监督和控制功能，系统就会首先遇到麻烦。

在这个应用于视频编码的框架演示中，我能够看到机器中的鬼魂 - 自我感知计算中的机械“自我” - 将虚拟拨号盘继续运行。这是非常有趣，非常令人震惊的观看。

霍夫曼深情地将这次成功的考验描述为他作为一名学者的“最自豪的时刻”之一。

如果你能原谅汽车双关语，想象几年后这种自我修复能力对自动驾驶汽车意味着什么。如果汽车顶部LIDAR装置的传感器发生故障或道路上出现轮胎爆裂，Hoffmann的框架可以检测到这种故障并重新分配系统资源，以保持系统正常运行，即使在恶劣条件下也能保持最佳状态。事实上，这种调整很快就会发生，特别是在自动驾驶车辆行驶速度非常快的情况下。

HOF不是要求机器授课系统在发生意外事件时重新学习所有内容，而是采用系统已经“知道”其限制，理论上最优行为以及影响其性能的变量（“虚拟旋钮”）的内容根据环境背景寻找最佳的运作方式。

我们之前提到的假想汽车不需要重新学习如何使用三个功能轮胎驾驶，或者如何以部分失明“看到”。远离其基地的无人机可以以不同的速度或轨迹运行，以确保它具有足够的电池寿命以使其回家。它不需要重新学习如何飞行，这次用半个电池。数据中心中的多核计算机或服务器可以通过更高效地分配计算资源或调整重负载下的风扇速度来降低能耗。在一个具有多层子系统的复杂系统中，将HOF一直沿着堆栈运行，将会使整个系统运行得更加高效。

将广义优化框架商业化的一种广义方法

UChicago与芝加哥集团合作，已开始将框架推向更广泛的市场。

汉克表示，他很有幸在Tilera工作过之前有过创业经验，这表明他专注于特定技术的特定应用的价值。但是对于优化框架，他说：“我甚至不确定创办一家公司是否是正确的想法，因为我认为这种技术在很多不同的环境中都有用。纺织一家公司并不得不挑选其中一种背景的想法似乎并不正确。这项技术可能在手机，数据中心或一些不同的领域。如果我们选错了呢？“

反过来，这种广泛的许可方法本身就是一种广义的，抽象的方式来实现广义优化框架的商业化。“我们吃我们自己的狗粮，”汉克说，他总结说：“我们相信泛泛之谈。”

Crunchbase新闻获悉，芝加哥集团正与美国和海外的几家主要互联网公司，汽车制造商，半导体制造商和电子制造商进行讨论。他们还联系了一些风险投资公司，使他们的投资组合公司可以使用优化框架。

在看到这个看似简单的框架能够做什么之后，我们还想知道还有哪些其他技术隐藏在教授办公室和研究实验室的混乱角落，无论是在尘土飞扬的老Ryerson还是其他机构。在研究机构和私营企业之间为创造未来技术而进行的斗争中，学术界今天取得了一个重要成果。

插图来源：李安娜迪亚斯