每天数以百万计的GET请求(亚马逊S3 USE2- requests -Tier2)？
每天数以百万计的GET请求是指在亚马逊S3 USE2- requests -Tier2区域中，每天有数百万次的GET请求操作。GET请求是一种HTTP协议中的一种请求方法，用于从服务器获取资源。在云计算中，GET请求通常用于从云存储服务中获取文件或对象。
亚马逊S3（Simple Storage Service）是一种高度可扩展的云存储服务，提供了可靠、安全、低成本的数据存储解决方案。S3 USE2- requests -Tier2是指在亚马逊S3服务中位于USE2区域的Tier2存储类型。Tier2存储类型是一种低频访问存储类型，适用于对数据访问要求较低的场景。
对于每天数以百万计的GET请求，可以考虑以下方面的优化和应用场景：
- 缓存：对于频繁访问的数据，可以使用缓存技术将数据存储在内存中，以提高访问速度。腾讯云提供了云缓存Redis产品，可以满足高并发的读取需求。
- 负载均衡：通过使用负载均衡技术，将请求分发到多个服务器上，以提高系统的并发处理能力。腾讯云提供了负载均衡CLB产品，可以实现流量分发和故障切换。
- 异步处理：对于GET请求中需要进行耗时操作的部分，可以采用异步处理的方式，将请求放入消息队列中，由后台任务进行处理。腾讯云提供了消息队列CMQ产品，可以实现高可靠、高并发的消息传递。
- 数据分片：对于大规模的GET请求，可以将数据进行分片存储，提高并发读取能力。腾讯云提供了分布式文件存储CFS产品，可以实现高性能的文件读写。
- 安全防护：针对GET请求的安全性，可以采用防火墙、访问控制等安全措施，保护数据的安全性。腾讯云提供了云防火墙、访问管理CAM等产品，可以提供全面的安全防护。
腾讯云相关产品和产品介绍链接地址：
- 云缓存Redis：https://cloud.tencent.com/product/redis
- 负载均衡CLB：https://cloud.tencent.com/product/clb
- 消息队列CMQ：https://cloud.tencent.com/product/cmq
- 分布式文件存储CFS：https://cloud.tencent.com/product/cfs
- 云防火墙：https://cloud.tencent.com/product/ddos
- 访问管理CAM：https://cloud.tencent.com/product/cam
相关·内容
我正在查看我们的账单，显然我们为Amazon Simple Storage Service USE2- requests -Tier2收取了600多美元，这意味着我们每月有超过10亿次GET请求，所以每天大约有我们确保我们的S3存储桶都不是公开的，所以攻击应该是不可能的。我不知道我们是如何收到这么多请求的，因为我们的应用程序每天
浏览 59提问于2021-10-26得票数 0
2回答
请求是存储中的数据操作，例如复制数据或添加新对象。通常情况下，除了删除数据的命令外，所有请求都会得到支付。请求的数量实际上与我们应用这些操作的文件的数量有关吗？或者这会根据我们操作的文件大小而变化吗
浏览 2提问于2017-09-26得票数 0
1回答
我每个月都有5072,792,622个文件要上传到s3服务器上，这花费了我很多钱，因为我们使用PUT请求将它们上传到s3服务器，还有另一种方法可以将文件上传到s3。这些文件不能上传为zip，s3不支持在s3上解压缩。
浏览 11提问于2017-01-25得票数 0
回答已采纳
我在一个包含图片库的网站上工作，这些图片存储在亚马逊S3上。由于亚马逊每10k GET请求收费0.01美元，似乎一个潜在的巨魔可能会因为一个每天发出数百万个页面请求的机器人而严重推高我的成本。有没有一种简单的方法来保护我自己不受这种影响？
浏览 0提问于2017-12-04得票数 0
我需要设置一个跟踪服务器，它将只服务于1x1像素，并记录所有请求。我最初考虑使用亚马逊的S3或CloudFront，但它们的价格对我来说太高了。我每天需要提供5亿像素的服务，而S3对每100万GET请求收取0.4美元，所以即使没有数据传输成本，我也是每月6,000美元。我正在考虑在EC2实例上设置nginx或lighttpd。有没有更好的免费产品来完成这项任务？
浏览 2提问于2013-09-13得票数 0
2回答
我一直在亚马逊网络服务中将现有的应用程序转换为EC2、S3和RDS模型，到目前为止进展顺利，但我有一个问题，我似乎找不到任何关于它的信息。我的Web应用程序访问S3框中的图像和文档，其存储方式是通过客户端代码，Data/ClientCode2/Images
Data/ClientABC现在，当www.programname.com/ClientCode1/Ind
浏览 1提问于2017-03-27得票数 0
2回答
如何在不加载文件的情况下验证JSON格式？我正在将文件从一个S3桶复制到另一个S3桶。在复制JSONL文件之后，我想检查文件格式在大括号和逗号是否正确。我不想使用json.load()，因为文件大小和数量都很大，而且它会减慢进程的速度，而且文件已经被复制，所以不需要解析它，只需要验证。
浏览 2提问于2018-06-21得票数 0
回答已采纳
我有一个AWS Lambda函数，用户向该函数发送GET request，它会返回预签名的URL。然后，用户通过向该URL发出PUT请求来上传图像。由于亚马逊网络服务S3 PUT requests将对象上传限制为每个URL仅一个， 如何发送多张图片？我是否应该在当前图像数量上使用循环，例如： 假设用户想要上传5张图片。for(...5 images...){ In the callback m
浏览 21提问于2020-01-11得票数 1
回答已采纳
我有一个AWS Lambda函数，用于将包含字段的表单从S3发送到HTML服务器。import requests# ...# ...') body = objectSummary.get()[&q
浏览 4提问于2016-05-11得票数 1
我不是一个程序员，但我的工作与数据，并希望自动化漏斗数据到我的谷歌电子表格。详细的解释将不胜感激。
浏览 3提问于2015-09-10得票数 0
1回答
我正在尝试流式爬行数据从公共爬虫，但亚马逊s3错误时，我使用stream=True参数来获取请求。下面是一个示例：print(resp.raw.read())/wWKclt2G6qrGCmD5gZzdj5/GNTSGpHrAAu5+SIQeY15WC3VC6p/7/1g2q+t+7vll
浏览 15提问于2018-02-26得票数 0
回答已采纳
我正在尝试将GZipped请求和响应按原样上传到亚马逊网络服务的S3存储桶，并让雪花雪花进一步上传到雪花数据库。我认为在上传之前不要解压缩结果会是个好主意，因为这是不必要的。我使用的Python代码如下： with requests.get(api_url, headers=headers, stream=True) as response:
if response.status_code= requests.codes.o
浏览 15提问于2020-10-22得票数 0
5回答
我希望设置一个S3桶策略，以便所有上传到该桶的请求都使用服务器端加密，即使它没有在请求头中指定。我看过这个帖子()，其中有人成功地设置了一个桶策略，拒绝所有未指定服务器端加密的put请求，但我不想拒绝，我希望put成功，但使用服务器端加密。我的问题是将输出从EMR流到我的S3桶，我不控制发出请求的代码，在我看来，服务器端加密必须根据每个请求指定。
浏览 3提问于2014-04-14得票数 15
回答已采纳
我是AWS Lambda函数的新手。我正在尝试从一个网站获取一个.xlsx文件，并将其放在一个私有的亚马逊S3桶上。代码：import boto3import json
s3 = boto3.client('s3get() function from 'botocore.vendored.requests'
浏览 8提问于2021-06-14得票数 1
回答已采纳
1回答
我正在使用角将一个文件发布到一个亚马逊的S3桶。为了让桶接受请求，我尝试向它添加一个升级-不安全-请求头，当我这样做时，请求不再有一个主体。编辑:我发现没有请求体的原因是因为飞行前选项请求被发送到S3。我向存储桶中添加了一个CORS策略，允许选项和POST方法，因此现在选项请求正确返回。以下是这些选项的请求头：
OPTIONS / HTTP/1
浏览 2提问于2016-09-08得票数 0
3回答
我最近加入了一家公司，该公司将S3桶用于AWS中的各种不同项目。我希望识别并可能删除未被访问(读和写)的S3对象，以减少S3在我的AWS帐户中的开销。
我读过，这在某种程度上帮助了我。
浏览 0提问于2018-10-24得票数 8
回答已采纳
遵循亚马逊网络服务推荐的最佳实践，我们将组织范围内的CloudTrail和VPC流日志记录配置为记录到集中式日志归档帐户。由于CloudTrail和私有网络流量分布在多个区域，因此我们每天都会收到大量保存到S3的新日志文件。这些文件中的大多数都非常小(几KB)。没有最小大小，但每个对象添加40KB的元数据，等等)。归档大量小型S3对象的最佳实践是什么？我可以使用Lambda来下载多个文件，将它们重新捆绑到一个更大<e
浏览 32提问于2021-07-31得票数 1
1回答
试图旋转一个简单的酒瓶应用上弹性豆茎切片音频块。使用GET请求下载音频文件的第一步：def converting_audio_task(url):import requests file_name = 'audio.wa
浏览 0提问于2019-11-24得票数 0
回答已采纳
我需要从不同的URL获取图像，并在压缩后将其存储在Google Datastore中。我知道tinyPNG是一个做压缩的很好的应用程序接口，但是它只支持亚马逊S3。
浏览 0提问于2015-09-20得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
