问AWS红移数据处理

EN

ETL

Amazon不支持存储过程。此外，我应该指出，存储过程通常是一件坏事，因为您正在将逻辑放入存储层，这使得将来很难迁移到其他解决方案。(我认识许多甲骨文客户，他们把自己锁在永远无法改变技术的状态中！)

您应该在Redshift外部运行ETL逻辑，只需使用Redshift作为数据库。这可能就像运行一个使用psql调用Redshift的脚本一样简单，例如：

`psql <authentication stuff> -c 'insert into z select a, b, from x'`

(使用psql v8，它是Redshift的基础。)

或者，您可以使用更复杂的ETL工具，如AWS胶 (目前并不是在每个地区)或第三方工具(如布莱特 )。

机器学习

是的，您可以在EC2实例上运行代码。如果它很小，您可以使用AWS Lambda (最多5分钟运行时间)。许多ML用户喜欢在Amazon上使用Spark。这取决于您需要的技术堆栈。

亚马逊CloudWatch事件可以日程安排 Lambda函数，然后启动EC2实例，这些实例可以完成您的处理，然后进行自我终止。

确实有很多选择！

在Redshift上运行ETL的两个选项

1. 创建一些“创建表作为”类型的SQL，它将以源表作为输入并生成目标(转换后的表)。
2. 使用ETL工具在数据库之外执行转换。例如EMR或Glue。

通常，在诸如Redshift这样的MPP环境中，最佳实践是将ETL推送到功能强大的数据库(即选项1)。

只考虑将ETL置于Redshift之外(选项2)，其中SQL不是转换的理想工具，否则转换可能占用大量的计算资源。

没有内置的调度或编排工具。Apache气流是一个很好的选择，如果您需要更全面的功能比cron作业。

现有数据的基本转换

您似乎是python开发人员(正如您已经告诉过您正在开发基于Python的ML模型)，您可以通过以下步骤完成转换：

1. 您可以使用boto3 (https://aws.amazon.com/sdk-for-python/)与您局域网的任何工作站的红移(确保您的IP有适当的特权)交谈。
2. 您可以使用模拟存储过程的Python编写自己的函数。在这些函数中，您可以放置/压缩转换逻辑。
3. 或者，您也可以在Redshift中创建函数--使用python来执行类似于存储过程的操作。参见这里的更多内容(https://aws.amazon.com/blogs/big-data/introduction-to-python-udfs-in-amazon-redshift/)
4. 最后，您可以使用windows调度程序/玉米作业来安排Python脚本的参数，比如Server作业。

托管我的python逻辑的最佳方法

在我看来，您正在阅读Redshift中的一些数据，然后创建测试和培训集，最后得到一些预测结果(记录).If，因此：

1. 在您的任何服务器(LAN)中托管凭证，并使用boto3连接到Redshift。如果您需要在internet上传输大量的行，那么在同一区域的EC2将是一个选项。在临时基础上启用EC2，完成您的工作并禁用它.这是符合成本效益的。您可以使用AWS框架来完成它。我使用.Net框架完成了这一工作。我想boto3确实有这种支持。
2. 如果结果集相对较小，则可以直接将它们保存到目标红移表中。
3. 如果结果集更大，请将它们保存到CSV中(有几个Python库)，如果需要进行中间计算，可以使用copy命令将行上载到暂存表中。如果没有，直接上传到目标表中。

希望这能有所帮助。