如何使用外壳脚本将文件从Amazon s3移动到sftp
外壳脚本是一种用于自动化任务的脚本语言，可以通过编写脚本来实现文件从Amazon S3移动到SFTP的操作。下面是一个示例的外壳脚本，用于将文件从Amazon S3移动到SFTP：
#!/bin/bash
# 设置Amazon S3的访问密钥和区域
export AWS_ACCESS_KEY_ID="your_access_key_id"
export AWS_SECRET_ACCESS_KEY="your_secret_access_key"
export AWS_DEFAULT_REGION="your_aws_region"
# 设置SFTP的连接信息
SFTP_HOST="your_sftp_host"
SFTP_PORT="your_sftp_port"
SFTP_USERNAME="your_sftp_username"
SFTP_PASSWORD="your_sftp_password"
# 设置要移动的文件路径和目标路径
S3_BUCKET="your_s3_bucket"
S3_FILE_PATH="your_s3_file_path"
SFTP_DESTINATION="your_sftp_destination"
# 从Amazon S3下载文件到本地临时目录
TEMP_DIR=$(mktemp -d)
aws s3 cp s3://$S3_BUCKET/$S3_FILE_PATH $TEMP_DIR
# 使用SFTP将文件上传到目标路径
sftp -oPort=$SFTP_PORT $SFTP_USERNAME@$SFTP_HOST <<EOF
cd $SFTP_DESTINATION
put $TEMP_DIR/$(basename $S3_FILE_PATH)
EOF
# 清理临时文件
rm -rf $TEMP_DIR上述脚本首先设置了Amazon S3的访问密钥和区域，以及SFTP的连接信息。然后，它使用AWS CLI工具从Amazon S3下载文件到本地临时目录。接下来，使用SFTP将文件上传到目标路径。最后，清理临时文件。
使用该脚本时，需要将your_access_key_id、your_secret_access_key、your_aws_region、your_sftp_host、your_sftp_port、your_sftp_username、your_sftp_password、your_s3_bucket、your_s3_file_path、your_sftp_destination替换为实际的值。
这个脚本可以通过在终端中运行bash script.sh来执行。请确保在运行脚本之前已经安装了AWS CLI工具和SFTP客户端。
腾讯云提供了一系列与云计算相关的产品，例如对象存储（COS）、云服务器（CVM）、云数据库（CDB）等。您可以根据具体需求选择适合的产品来实现类似的功能。以下是腾讯云相关产品的介绍链接：
请注意，本答案中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，以遵守问题要求。
相关·内容
1回答
我在S3中有一些JSON文件，我能够从这些数据文件在Athena中创建数据库和表。已经完成了，我的下一个目标是将创建的表复制到中。在Athena中还有其他表，我是在这些数据文件的基础上创建的。我的意思是，我使用S3中的数据文件创建了三个表，后者使用这3个表创建了新的表。因此，目前我有5个不同的表，它们希望在Amazon中创建数据或不包含数据。
我在Amazon 中检查了命令，但是 Athena没有复制命令。这是可用的清单。
从亚马逊S3复制
亚马逊电子病历复印本
从远程主机(SSH)复制
从亚马逊DynamoDB复制
如果没有其他解决方案，我计划根据Athena中新创建
浏览 0提问于2020-03-09得票数 1
回答已采纳
我想将我的Amazon Redshift群集的快照备份到Amazon Glacier中。
我看不到使用Redshift或Glacier的API可以做到这一点。我也看不到将红移快照导出到自定义S3存储桶的方法，这样我就可以编写脚本将文件移动到Glacier中。
我该如何完成这个任务，有什么建议吗？
浏览 0提问于2016-10-01得票数 1
如何使用java将文件从SFTP服务器复制到amazon-S3？我不想将数据下载到本地，所有数据都应该完整复制到S3存储桶中的目标路径
浏览 0提问于2018-05-01得票数 1
我正在使用us-west-1中的红移集群( Redshift Cluster )
s3文件的位置在us-west-1 (NCAL)，胶水数据目录在us-west-2 (俄勒冈州)
当我尝试查询表时
select count(*) from spectrum_schema.table_name;
我得到了下面的错误。
[Code: 500310, SQL State: XX000] [Amazon](500310) Invalid operation: The
specified region 'us-west-1' is invalid.
Details:
-------
浏览 1提问于2018-01-11得票数 0
2回答
在我工作的公司，我要做的工作之一就是编写程序，使用存储在生产数据库中的数据生成业务报告(例如上个月访问我们网站的用户数量)。
我们使用AWS函数和复杂的MySQL查询来生成报告(*.csv文件)。
这种架构有一些缺点：
MySQL查询通常很复杂。我的意思是，它们包含了大量的join和子查询，这使得代码难以理解和维护。
有些查询在数据库架构更改后可能无法工作。
AWS lambda函数的最大超时时间为5分钟。当数据大小变得太大时，我们必须将1个lambda函数拆分为多个lambda函数。
如何使用其他Amazon服务来解决这些问题？
我尝试过AWS，但还没有找到一种
浏览 1提问于2018-10-13得票数 0
我有一个胶水爬虫，是用来爬行一个桶名为内部数据-prod(s3://内部-数据-prod)。昨晚，有人不仅将CSV文件放入根级别(S3:// into data-prod/data.csv)，还将文件夹级别降到下(s3://into data-prod/ file /data.csv)。
当文件被放在顶层时，爬虫第一次运行，但是列是错误的。
他们“删除”了文件(启用了版本控制，马上就会有更多信息)，然后在文件夹下重新加载它。这些列仍然是错误的，因为版本控制仍然是启用的，并且版本历史没有被删除，所以它首先扫描了根级文件。然后，他们从另一个帐户中得到了相同数据的拼花文件。除了将_parquet添加
浏览 18提问于2022-10-11得票数 0
我想配置EC2 instance，这样我就可以运行脚本(可能是按计划)从sftp站点下载文件。通过一些研究，我找到了连接到服务器的代码示例(参见下面)。我不确定下面的代码是否适用于sftp (Sftp)，是否需要配置ssh？如何在EC2 instance中运行这段代码？我能把它上传到s3并从ec2指向它在some schedule上运行吗？
#!/usr/bin/expect
export PASSWORD="*******"
expect -c 'spawn sftp uname@ftpsite.com;
expect "*Password: ";
浏览 0提问于2020-09-29得票数 0
回答已采纳
1回答
我是AWS的新手，正在尝试弄清楚如何在外部模式中填充表，位于Amazon Redshift中。我使用Amazon Glue从S3存储桶中的.csv文件创建了一个表。我可以通过Amazon Athena查询新创建的表。 这就是我陷入困境的原因，因为我的任务是获取数据并填充一个存在于RedShift外部模式中的表。我尝试在Glue中创建一个作业，但是没有成功。 这就是我被卡住的地方。我是否应该首先创建一个空的目标表，该表是我可以使用Athena查询的表的镜像？ 提前感谢任何可能提供帮助的人！
浏览 15提问于2020-01-14得票数 0
2回答
我们有一个数据仓库系统，需要将s3上以csv格式显示的数据加载到红移表中。唯一的限制是只有唯一的记录被插入红移。
为了实现这一点，我们将以以下方式使用暂存表。
创建一个临时表。
将S3文件复制到TEMOPRARY表中。
开始交易
插入到{主红移表} select从列上的{连接在暂存表和主红移表之间，该表应该是唯一的，以便记录是唯一的}
结束交易
select子查询中使用的联接返回那些存在于暂存表中的记录，但不返回主红移表中的记录。
是上述机制，没有竞争条件.
例如，考虑-
主红移表没有行，s3文件包含两个记录。
因此，当由两个不同的进程/请求加载相同的s3文件时。每个请求的select查询将主
浏览 2提问于2016-05-09得票数 0
我正在尝试从sftp服务器读取文件，并将该文件流式传输到s3存储桶中。我无法将文件流式传输到s3存储桶中。是的，文件路径是完全正确的。我不确定我做错了什么。当我运行代码时，它甚至不会尝试将流上传到存储桶中，因为我没有获得任何上传控制台日志。
const aws = require('aws-sdk');
const s3 = new aws.S3();
const Client = require('ssh2').Client;
const conn = new Client();
const connSettings = {
host: event.
浏览 0提问于2019-07-29得票数 0
1回答
我在S3中加载了一个CSV平面文件，它偶尔会在以逗号分隔的列中有一个空值，例如："ColumnValue1,,ColumnValue3,...etc"将",,"标记为CSV中缺少的值。下面是使用S3组件从tDBBulkExec到Talend中的Redshift安装程序的基本步骤：
将列映射如下，并运行：
如果源文件中缺少这些值，则引发错误：
Exception in component tDBBulkExec_1 (tncretail_opportunity)
java.sql.SQLException: [Amazon](500310) I
浏览 1提问于2018-10-24得票数 1
回答已采纳
4回答
我有一堆数据存储在亚马逊的S3中，我正计划用它在Redshift中建立一个数据仓库。我的第一个问题是，的正确方法是在红移中构建DV和数据集市，还是将S3视为我的数据湖，并且只有红移中的数据集市？
在我的架构中，我目前正在考虑前者(即S3、Data + Redshift、Vault和Marts)。但是，我不知道是否可以在Redshift中直接创建ETL进程，以便用Vault中的数据填充Marts，或者是否必须使用Amazon来处理S3中的原始数据，在那里生成新的文件并最终在Marts中加载它们。
所以，我的第二个问题是: ETL的策略应该是什么？谢谢。
浏览 2提问于2016-08-22得票数 3
1回答
问题：在Amazon集群上启用增强的VPC路由有哪些缺点(如果有的话)？
根据文件，没有额外的费用，交通被阻止在公共互联网上旅行。为什么这不是一个始终启用的默认选项？
如果未启用增强型VPC路由，则亚马逊红移通过互联网路由，包括向AWS网络中的其他服务的流量。使用增强型VPC路由无需额外收费。您可能会因某些操作而招致额外的数据传输费用。这些操作包括卸载到不同AWS区域的Amazon S3。从Amazon或带有公共IP地址的安全Shell复制.
背景：我们有一个Redshift集群，它可以断断续续地丢弃重置，但只有在启用增强的路由时才会这样做。
浏览 3提问于2019-12-19得票数 0
1回答
我在S3 folder中有文件，在那里我必须使用来自EMR的PiG scripts进行转换，然后加载回s3。
之后，我在redshift中创建了表，这些表是从S3加载的。
目前，我已经使用从s3加载文件，还从AWS窗口执行了pig脚本。
我想知道如何从unix调用猪脚本？除了sqlworkbench之外，我如何执行红移脚本？我怎样才能按顺序运行它们？
我是否需要安装EC2 Linux才能连接到电子病历？注意:我也有一个EC2实例。
浏览 0提问于2015-04-01得票数 0
回答已采纳
我正在使用AWS Data Pipeline将文件从S3复制到AWS Redshift表中。S3上的文件夹结构如下：
s3://test/folderA
s3://test/example=01
s3://test/example=02
s3://test/example=03
s3://test/example=04
我希望能够复制'example=##‘文件夹中的所有文件，但不能复制'folderA’文件夹中的所有文件
你知道该怎么做吗？数据管道中的正则表达式似乎不起作用。
浏览 2提问于2016-03-03得票数 0
因为AWS Glue ETL可以是python脚本，所以它可以使用数据库接口执行SQL查询，并且可以将数据从Amazon加载到S3中。我试图理解使用Amazon频谱查询S3数据的好处。
浏览 0提问于2018-09-13得票数 1
回答已采纳
我正在使用Mule4和Anypoint Studio7，我只想在亚马逊网络服务中从我的S3存储桶中获取Excel文件。我正在寻找一种方法来过滤像*.xlsx这样的Excel文件类型，但不确定我可以在连接器中的哪里做到这一点。
我的代码如下：
<?xml version="1.0" encoding="UTF-8"?>
<mule xmlns:s3="http://www.mulesoft.org/schema/mule/s3"
xmlns:sftp="http://www.mulesoft.org/schema
浏览 8提问于2019-01-25得票数 0
1回答
我们使用Amazon Redshift从我们的S3存储桶中提取数据。我们希望通过用HIVE或PIG替换Redshift来降低成本。
我们可以使用HIVE或PIG从亚马逊S3存储桶中提取数据吗？
浏览 1提问于2015-09-10得票数 0
1回答
我正在尝试使用Spring Cloud数据流服务器来管理我所有的应用程序。而且，我对所有的spring都是新手。
我想写一个应用程序，从SFTP读取文件，并将它们写入S3。文件可能非常大(每个文件约500MB )，作为消息有效负载传递时可能会非常繁重。由于我所做的一切都是从SFTP读取并写入S3，因此我认为可以通过让单个应用程序从SFTP读取文件到本地文件，然后将本地文件上传到S3，或者更好的做法是将字节直接从SFTP流式传输到S3，从而避免使用代理。
我不知道如何开始创建这样的应用程序。
浏览 0提问于2017-12-19得票数 0
1回答
我在使用com.jscape.FileTransfer应用程序接口时遇到了一个FTP问题，我已经有很长一段时间没办法理解这个问题了。下面是我的代码：
public void do FTPTest() {
FileTransfer f = protocol.equalsIgnoreCase("FTP") ? new FtpTransfer(ftpHost, userName, password, new Integer((int) port)) : (protocol.equalsIgnoreCase("SFTP") ? new SftpTransfer(
浏览 3提问于2013-09-21得票数 0
我在亚马逊弹性BeanStalk上有Wordpress实例。当我用EB脚本上传实例时，整个页面都被替换了，上传的图片也可以附加到帖子中。在这样的自动部署之后，帖子会丢失图片：)
我试图解决这个问题: 1)我用SFTP登录到Amazon机器，但是我的用户EC2-用户只能读取-访问文件。因此，我不能只覆盖部分应用程序，保留上传的文件。
2)我读到我可以使用亚马逊S3作为上传文件的外部存储。我还没有对此进行测试：)。你知道这是不是个好办法吗？
3)对这一问题还有其他办法吗？如何在amazon上组织它:机器备份应该设置吗？
浏览 4提问于2014-12-11得票数 0
回答已采纳
我在Amazon上有mapreduce作业失败，因为如果第一次尝试未能将结果复制到S3，那么文件(可能是部分)将被创建，随后的减缩尝试将拒绝对已经存在的文件进行写入。
第一次尝试日志：
014-11-30 06:56:19,774 INFO [main] com.amazonaws.latency: StatusCode=[404], Exception=[com.amazonaws.services.s3.model.AmazonS3Exception: Not Found (Service: Amazon S3; Status Code: 404; Error Code: null; Re
浏览 2提问于2014-12-01得票数 1
我想卸载数据文件从亚马逊红移到亚马逊S3的阿帕奇帕奎特格式，以便查询S3上的文件使用红移光谱。我已经探索了所有的地方，但是我找不到任何关于如何将文件从Amazon Redshift卸载到使用Parquet格式的S3的东西。这个功能是否还不受支持，或者我找不到任何关于它的文档。有没有做过这方面工作的人可以分享一些关于这方面的信息？谢谢。
浏览 0提问于2018-02-08得票数 10
1回答
我正在尝试将RDS快照转换为S3，然后从S3还原Aurora集群。在我致力于这个过程并转换我们的一些生产快照之前，我正在测试，将它们转换并还原回DB，并出现问题。以下是我的立场和所采取的步骤：
1-我拍摄了当前运行的Aurora Engine版本5.7.mysql_aurora.2.09.1的快照。
2-在快照创建之后，我选择了它并选择了“”，我选择了导出所有数据。
3-大约一天后，它完成了对S3的出口。这是一个4TB快照，所以需要一段时间。即使是在它完成之后，我也等待了两天才完成接下来的步骤--只是为了确保所有的步骤都完成了。
4-在RDS仪表板中，我单击了“从S3还原Aurora集群”。我
浏览 4提问于2021-01-27得票数 0
6回答
我一直在研究亚马逊的Redshift数据库，作为我们数据仓库未来可能的替代品。我的经验一直是使用多维建模和拉尔夫·金博尔的方法，所以看到Redshift不支持诸如用于自动递增列的串行数据类型这样的特性有点奇怪。
然而，最近有一篇来自AWS大数据博客的博文介绍了如何为星型模式优化Redshift：https://blogs.aws.amazon.com/bigdata/post/Tx1WZP38ERPGK5K/Optimizing-for-Star-Schemas-and-Interleaved-Sorting-on-Amazon-Redshift
我的问题是，在Redshift中加载星型模式的
浏览 0提问于2015-06-05得票数 9
2回答
我有一个工作流程需求。我有一位客户，他不想处理我们放置其文件的S3文件夹。他们想让我们直接把文件发送到他们的SFTP帐户。当我从后端卸载文件时，它们会自动从亚马逊网络服务卸载到S3。由于这是针对每个客户的一次性请求，因此我不希望在Lamda或bash脚本中设置自动传输协议。我也不希望经历这样的麻烦:将文件复制到我的本地服务器，然后才将其发布到SFTP站点。我更喜欢右击文件并选择传输到SFTP位置。有没有人知道亚马逊网络服务是否有计划在S3控制台用户界面中添加文件传输协议支持？(SFTP、FTP等) 更好的是，如果AWS允许所有放在S3存储桶位置的文件自动传输到定义的S3位置--在客户永远不希
浏览 28提问于2019-04-11得票数 1
Amazon Redshift文档指出，将数据加载到数据库的最佳方法是使用复制功能。我怎样才能每天自动运行上传到S3的数据文件？
更长的版本:我已经启动了一个Redshift集群并设置了数据库。我已经创建了一个S3存储桶并上传了一个CSV文件。现在，在Redshift查询编辑器中，我可以很容易地手动运行复制功能。如何自动执行此操作？
浏览 0提问于2019-03-20得票数 1
嗨，我想把CSV文件从我的S3桶上传到SFTP server.Can，请指导我如何在NodeJS中这样做，以及什么是npm模块，可以用来将s3桶csv文件上传到SFTP服务器。
谢谢
浏览 4提问于2017-12-20得票数 0
1回答
我正在努力理解如何最好地将文件流式传输到亚马逊S3。我想访问Twilio端点，在那里获取mp3记录，通过我的Node应用程序将其传递到亚马逊S3。
我看过几个npm streaming/s3库，但我找不到一个很好的示例来说明如何将文件的GET请求合并到进程中。
下面的函数将捕获mp3文件并将其保存在我的服务器上，然后将文件上传到亚马逊S3。文件在我的服务器上是正确的，但亚马逊S3版本似乎是空的(20KB)，并且在下载时无法播放。
我想我做的这一切都错了。亚马逊网络服务S3软件开发工具包暗示，这可以在没有额外的库的情况下完成。提前感谢您的帮助。
我在这里使用Node、npm request和aw
浏览 1提问于2015-12-22得票数 0
我能够使用@Martin 提供的以下语法成功地将文件从S3上传到SFTP位置。
with sftp.open('/sftp/path/filename', 'wb') as f:
s3.download_fileobj('mybucket', 'mykey', f)
在将当前日期的文件从archive上传到SFTP之前，我需要将前一个文件从当前文件夹存档到S3文件夹中。
我正在尝试使用通配符，因为有时，当您在星期一运行时，您将无法找到周日的文件，并且您有前一个文件，即星期五的文件。因此，无论日期如何，我都想实现以前的任何一
浏览 5提问于2020-06-24得票数 3
回答已采纳
1回答
我习惯于通过ssh使用远程服务器，但我正在考虑将用于一个新项目，以便以更低的成本提供更好的性能和弹性，但我很难理解如何使用它。
这就是我想要做的：
第一次：
创建Postgres db
连接到Amazon
下载代码到服务器
每月一次：
将大型数据文件下载到服务器
运行代码(用python编写)，用数据加载数据库。
运行代码(用Java编写)，从数据库中的数据创建Lucene搜索索引文件
连续：
在servlet容器中运行Java代码，这将使用lucense搜索索引文件，但不需要访问数据库。
注意:从技术上讲，我可以在本地创建数据库，问题是由此
浏览 3提问于2014-06-23得票数 0
回答已采纳
我有一个s3桶，里面有大约100 gb的小文件(在文件夹中)。
我被要求每周向当地的NAS提供支持。
我可以访问附加到EC2存储的一个S3实例。
Nas允许我运行sFTP服务器。
我还可以访问本地服务器，在其中我可以运行cron作业，以便在需要时提取备份。
我该怎么做呢？如果可能的话，我只想下载已经添加或更改的文件，或者在服务器端压缩它，然后将压缩文件推送到Nas上的SFtp。
最终的目标是在我的Nas上拥有一个完整的S3桶备份，每周的传输量最低。
欢迎任何建议！
谢谢你的帮忙!
瑞安
浏览 2提问于2014-03-06得票数 0
回答已采纳
我正在使用Mule 4和任意点工作室7。
我希望从AWS S3存储桶中获取对象列表，读取每个xlsx文件并转换消息，这样它就有了一些新的列名。
当我这样做时，我会得到一个错误：
Unable to call any overload of function `Value Selector` with arguments (Binary, "Sheet 1") overloads
如何解决此错误？
桶中的S3 Excel文件：
工作流：
<?xml version="1.0" encoding="UTF-8"?>
<m
浏览 1提问于2019-01-30得票数 1
我需要定期使用SFTP将文件从服务器复制到AWS S3桶中。目前，我正在使用Python的Paramiko模块和AWS Boto完成cron任务。我想知道是否有办法通过AWS弹性地图还原(EMR)更有效地做到这一点。S3DistCp工具非常适合使用EMR将数据从S3复制到S3存储桶，但是我还没有找到从SFTP到S3的分布式文件副本的任何内容。
浏览 3提问于2014-11-27得票数 1
1回答
我的任务是将MySQL数据库移到amazon。目前，我正试图通过
1)将表转换为CSV文件
2)将它们存储在S3中
3)创建红移表
4)使用COPY命令将数据从S3传输到redshift
我正在使用Python来尝试自动化这个过程，并在进入S3的过程中使用S3加密数据。
但是，按照我现在的流程，我必须在Redshift中为S3中的每个csv手动创建一个表。因为我最终要移动大量的数据，这将是非常低效率的。
我是否可以运行代码来检测架构和创建表，而不必每次加载新数据时都必须进入并更改create语句？
浏览 0提问于2018-06-12得票数 2
1回答
我已经在Amazon中创建了一个Server实例。
我想做的是这样一个场景：
在驻留在我的云Server上的数据库上运行SELECT查询
将查询结果输出到.csv文件。
将(2)中的文件发送到外部SFTP服务器。
我不确定的是：
在没有创建文件的本地服务器的情况下，步骤(2)中的文件将位于何处？
AWS有FTP解决方案吗。我使用过S3，但是S3中的文件可以像普通的FTP服务器一样访问吗？
浏览 5提问于2017-03-15得票数 0
回答已采纳
我想知道社区对“用python2.7.x将数据从PostgreSQL复制到RedShift的最佳方法”的看法。我不能使用Amazon，RedShift是普通的postgresql数据库，但只支持来自S3的副本(我不能使用)
浏览 0提问于2015-05-06得票数 1
需要从Matillion工具发送带有附件的电子邮件
我已经检查了SNS消息，从Matillion发送电子邮件组件，但它没有附件选项。
我在Amazon中有错误日志表，我想检索这些记录并每天加载到一个文件中(可以放在S3/SFTP上)--这个文件我想作为电子邮件的附件添加到电子邮件中，并发送给供应商以供进一步分析。
发现了这个：，但没办法。
浏览 23提问于2022-04-04得票数 0
1回答
每天晚上，我们都会从系统中生成CSV文件的报告，并将这些文件备份到亚马逊S3。然后，我们需要将这些文件(通常是1-5个文件，文件大小不超过5MB)从亚马逊S3存储复制到另一个文件传输协议。
做这件事最好的方法是什么？该系统是用Ruby On Rails编写的。生成CSV文件是使用CRON每晚运行的。
我可以从我的笔记本电脑上传一个文件，如下所示：
def upload_to_ftp
Net::SFTP.start('FTP_IP', 'username', :password => 'password') do |sftp|
浏览 0提问于2015-11-17得票数 2
我在S3中创建了一个拼花文件，并在Redshift /谱中创建了一个指向它的外部表。我的S3桶和红移集群都在我们中间-west-2。我在创建架构时指定了选项区域。
查询在雅典娜.中运行顺利
然而，当我从Redshift客户端运行时，我会得到以下错误：
亚马逊无效操作: S3查询异常(获取)
详细信息：
错误: S3查询异常(Fetch)代码: 15001上下文:任务由于内部错误而失败。HTTP响应错误代码: 301消息: PermanentRedirect --您试图访问的桶--必须使用指定的端点进行寻址。>请将所有未来的请求发送到此端点。X-amz-request: XXXX查询:
浏览 2提问于2017-08-11得票数 1
4回答
红移频谱的性能问题
、、、
我使用的是红移频谱。我创建了一个外部表，并在S3上上传了一个包含大约550万条记录的csv数据文件。如果在这个外部表上执行查询，大约需要15秒，而如果我在Amazon redshift上运行相同的查询，我在大约2秒内就会得到相同的结果。当AWS声称它是非常高性能的平台时，这种性能滞后的原因可能是什么？请使用spectrum建议相同性能的解决方案。
浏览 24提问于2017-07-06得票数 2
回答已采纳
2回答
我刚接触过Redshift，并对Redshift的运作方式做了一些澄清：
Amazon是否有自己的后端存储平台，还是依赖S3将数据存储为对象，Redshift仅用于查询、处理和转换，并有临时存储从S3中提取特定的片段并进行处理？
从这个意义上说，redshift是否有自己的后端云空间，如oracle或Microsoft，它们都有自己的物理服务器存储数据？
因为，如果我要从传统的关系数据库系统迁移到Redshift，因为卷的增加，那么如果我选择Redshift就行了，或者我应该选择Redshift和S3的组合。
这个问题似乎是基本问题，但我无法在亚马逊网站或任何与Redshift相关的博客中找到
浏览 5提问于2020-05-07得票数 6
回答已采纳
1回答
我希望将S3桶中的几兆字节数据备份到Amazon。我已经看到了S3 ->冰川的“自动存档”选项，但我希望它只是一个简单的一次性转储(并且文件不能从S3中删除)。看：
http://aws.amazon.com/glacier/#importexport
有一个很好的易于使用的API，但是它似乎已经存在了。是否有任何工具可以方便地将数据从S3迁移到冰川？
浏览 0提问于2012-11-16得票数 3
我正在尝试将ftp服务器与google云桶同步。我认为最简单的方法是用rclone。
根据医生的说法。但是，当我自己运行它时，我得到的输出非常不同：
e/n/d/r/c/s/q> n
name> remote_ftp
Type of storage to configure.
Choose a number from below, or type in your own value
1 / Amazon Drive
\ "amazon cloud drive"
2 / Amazon S3 (also Dreamhost, Ceph, Minio)
\
浏览 3提问于2019-09-20得票数 0
回答已采纳
我有一些数据存储在S3中。我需要定期将这些数据从S3克隆/复制到Redshift集群。要执行海量复制，我可以使用copy命令从S3复制到红移。
同样，是否有任何简单的方法可以定期将数据从S3复制到Redshift。
谢谢
浏览 26提问于2016-07-29得票数 1
2回答
Amazon Redshift提供了使用“s3”命令从复制对象加载表数据的功能。是使用copy命令的一种方式，但也为每个插入的行设置额外的"col=CONSTANT“。
我想要在每个复制的行上设置一个作业(不在源数据中)，我认为必须执行几百万次插入才能使每一行都有一个作业属性，这将是一种遗憾，而“job_id”可以让我以更好的性能达到99%的目标。
也许有一个更聪明的解决方案？
浏览 2提问于2013-05-13得票数 8
我对气流很陌生。我的要求是开发一个数据管道，如下所示：
( i)连接并下载多个csv文件(文件名以名称开头)气流从给定的SFTP文件夹到S3
(2)从S3到redshift的文件
我已经使用了SFTPToS3Operator和S3ToRedshiftOperator来完成这个任务，当我为sftp_path和s3_key提供完整的文件名时，它可以很好地工作，但是如果我在sftp_path和s3_key中为文件名提供了通配符(airflow*.csv)，就会出现IO错误。
需要您对从SFTP下载多个文件到s3并摄入红移的方法的专家意见。
我正在为单个文件使用下面的代码，该代码对单个文件运行良好。
浏览 8提问于2021-12-24得票数 2
1回答
这是我为sftp协议输入密码的expect脚本示例。现在，我希望通过脚本将文件从一个ec2实例复制到另一个实例。稍后，我想使用sftp在amazon服务器和另一个外部服务器之间传输文件，所以请不要给我任何专门用于解决这个问题的amazon文件。当我运行这个脚本时，连接会被拒绝，我相信这是因为我需要用rsa键给出.pem文件，但是我不知道如何这样做，也不知道如何修改我的脚本。我似乎找不到这个具体问题的答案。任何帮助都将不胜感激。谢谢。
#!/usr/bin/expect
spawn sftp ec2-user@mywebsite.com
expect "password:"
浏览 4提问于2014-12-19得票数 0
回答已采纳
1回答
我有一个SFTP服务器和Lambda函数。当一个对象被上传到S3并通过SFTP自动上传到SFTP服务器时，Lambda函数将被触发。(我在用pysftp)
是否有可能创建一个Lambda函数，一旦对象从S3中删除并自动从服务器中删除它就会触发它？
import pysftp,os,boto3
cnopts = pysftp.CnOpts()
cnopts.hostkeys = None
myHostname = os.environ.get('SFTP_HOST')
myUsername = os.environ.get('SFTP_USER')
myPas
浏览 7提问于2022-02-02得票数 0
回答已采纳
首先，我在S3中创建了一个简单的桶。
之后，我在AWS传输服务https://aws.amazon.com/sftp/中创建了一个服务器。
然后，我在AWS中创建了一个新用户，用于测试，并附加了具有AdministratorAccess策略的角色。
最后，我尝试连接到sftp终端命令。它连接成功。但是当我在服务器上时，我不能执行任何sftp命令。例如：
sftp> dir
Couldn't read directory: Failure
为什么我不能在服务器上执行任何SFTP命令？
浏览 0提问于2018-12-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
