Z市台风模型一体化平台技术咨询实战“术”分享——OWS基础平台模型数据设计借鉴

它山之石可以攻玉！

模型需要训练和调试，众所周知。 在不同平台上，开发部署训练调试模型，所经历的过程是不一样的。这里我们介绍一下在国内五彩斑斓的云环境下如何“借鸡下蛋”。

在2017年，国内云市场不如现在百花齐放，云的概念还没有普及。在Z市台风模型一体化平台上曾经借助OWS云开发环境，开发业务模型，这是当时为数不多在国内企业B端市场上活跃的一朵云。

OWS，是亚马逊公司提供的云环境，有公有云和私有云两种场景，这里介绍这个平台的开发模式，供读者参照对比。

当时私有云部署不多，硬件平台也不具备条件，大多数企业采用公有云开发，在公有云上训练模型算法。

项目平台基本的业务架构和AI架构都已设计好后，接下来就是逐步搭建云平台能力，让AI模型运行起来。首先配置平台，这是AI模型配置部署运行流水线。 配置有两种形式，一种是在华为云私有云部署配置，适用本地数据不允许外发到互联网的场景；一种是数据外发到华为内部，在内部云上进行模型部署配置。

这是集众多AI模型功能于一体的平台，本咨询项目涉及到AI Galley和流水线。

流水线要配置数据处理全周期，数据选型、数据清洗和数据存储三部分。数据选型是对AI模型的训练数据和测试数据进行选型，这个功能提供了用户选用地质数据的范围，并且按照理论化的配置，80%用于训练，20%用于测试。

这个基础上，再设计模型数据的分类，数据选型前就已经搭好数据湖设计，则按地质业务，训练数据分为图表和文字这两类结构化数据，这是由于OWS当时还不支持非结构化数据。