Redis存储历史数据

文章/答案/技术大牛

发布

1回答

基于时间值排序的Redis数据结构设计

database-design、redis

我正在对数据流执行一些分析，并将结果发布到Redis通道上。消费者订阅这些渠道，并获得实时数据馈送。所有历史数据分析结果都将丢失。现在我想在Redis中添加存储历史数据的功能，以便消费者可以查询这些历史数据(主要是按时间)。既然分析结果是按时间划分的，那么在Redis中存储结果的好设计是什么？

浏览 0提问于2013-06-18得票数 17

回答已采纳

1回答

database、redis

我想把这个价格存储在Redis数据库管理系统中。... 22 JAN 11.03PM N-Price 我想每天存储这些数据redis在键值上工作。如果这是可能的。我能否获得特定日期(7月4日)和DateRange(2月1日至3月31日)的数据

浏览 15提问于2018-01-22得票数 0

1回答

Kappa体系结构:当插入到批/分析服务层时

apache-spark、architecture、streaming、apache-flink、lambda-architecture

Kappa不需要批处理层，而是速度层必须保证历史数据重计算的计算精度和足够的吞吐量(更多的并行性/资源)。什么时候(由于Kappa架构)我必须插入数据到批处理服务层？例如:假设数据的来源是Kafka，数据是由Spark结构化流或Flink处理的，接收器是Redis和HBase。当写到<em

浏览 7提问于2019-10-15得票数 7

回答已采纳

1回答

Redis私聊日志保存结构类型

redis

我正在写聊天程序，我想做聊天的历史，所以我需要存储一些值。我不确定是否可以使用redis -我对这个nosql数据库概念还不熟悉。我想我应该以某种方式使用散列，但不知道如何使用。感谢阅读，很抱歉我的英语不好。

浏览 0提问于2015-04-03得票数 1

2回答

INFO: Booting Sidekiq 5.1.1 with redis options {:url=>"redis://redis:6379/0", :role=>:master, :password-4.0.1/lib/redis/connection/ruby.rb:210:in `getaddrinfo' 我也查了redis $redis-cli ping PONG

浏览 2提问于2018-09-07得票数 0

1回答

将数据从Redis流移动到内存中不存在的存储区。

redis、redis-streams

文档提到了有上限的流以防止内存超载： ...Sometimes在流中最多拥有给定数量的项是有用的，其他情况下，一旦达到给定的大小，将数据从Redis移动到内存中的存储区是有用的.但是，它只解释了修剪流的redis功能。我无法找到任何概念或一种已被证实的方法来将数据从redis中移出。

浏览 2提问于2020-08-28得票数 0

2回答

使用redis存储时间序列/历史数据

redis

我正在尝试实现这里建议的redis解决方案：：这是迄今为止我发现的最好的解决方案。

浏览 1提问于2014-05-20得票数 0

回答已采纳

1回答

什么是一个好的AWS解决方案(DB、ETL、批处理作业)来存储大量历史交易数据(每天刷新)，以便进行机器学习分析？

mysql、database、amazon-web-services、amazon-dynamodb、mysql-python

贸易公司有一个API来抓取他们的历史数据和实时数据。历史数据约100G，日常数据约200M。交易数据是典型的时间序列数据，如价格、名称、地区、时间线等，数据的格式可以以大文件的形式检索，也可以存储在关系数据库中。所以我的问题是，在AWS上存储这些数据的最佳方式是什么，每天添加新数据的最佳方式是什么(例如通过cron作业或ETL作业)？可能的解决方案包括将它们存储在关系数据库或DynamoDB或Redis等NoSQL数据库中，或者将数据存储在文件系统中并由Python程序

浏览 37提问于2019-02-20得票数 0

1回答

将Redis中的数据持久化到数据存储区的MongoDB中

caching、mongodb、redis

我计划做的是使用Redis列表。每个按钮将持有一个唯一的密钥在redis中，每个用户将被添加到使用LPUSH的密钥如果我们想要获得最新的10，我们可以使用LRANGE 0 10有人会反对这个解决方案吗？这样做“有意义”吗？谢谢!

浏览 0提问于2012-04-01得票数 1

回答已采纳

1回答

准确-一次:谁在存储历史数据、flink还是数据源？

apache-flink、flink-streaming、fault-tolerance、exactly-once

据我理解，如果Flink的操作符出现了一些错误，它需要进行最后一次操作才能再次运行，所以它必须获得历史数据。在这种情况下，历史数据应该存储在哪里？说数据源是Apache，那么我能让Kafka存储历史数据吗？我能让Flink存储历史数据吗？或者我能让他们两个都这样做吗？如果他们能一起做这件事，这是否意味着我可以让卡夫卡存储一部分历史数据，让弗林克存储另一部分历史数据，这样我就可以保存更多的历史

浏览 3提问于2020-05-11得票数 1

回答已采纳

1回答

如何在python中加速Elasticsearch滚动

python、elasticsearch

我可以使用像redis这样的工具来保存结果并避免重复的工作吗？

浏览 8提问于2020-03-12得票数 1

1回答

getHistoryForKey的历史从何而来？

hyperledger-fabric、hyperledger

它没有存储在世界观(levelDB，CouchDB)中，因此必须从区块链中检索。智能合约是否可以访问区块链？我遗漏了什么？

浏览 18提问于2021-05-29得票数 0

回答已采纳

2回答

外汇交易滴答数据的存储和管理

postgresql、elasticsearch、trading

我正在为外汇交易建立一个数据可视化系统，我正在探索如何存储我所拥有的外汇交易的历史数据。最后，在PostgreSQL上存储滴答数据，将它们推送到Redis，然后推到Logstash，

浏览 7提问于2016-03-03得票数 1

回答已采纳

2回答

从Azure IOT集线器存储最后一个事件，以便在web应用程序中使用

azure、redis、azure-iot-hub

历史数据在其他地方处理。我已经考虑过为此目的使用redis缓存，但是对于redis缓存来说，这是一个很好的用例还是Azure中有其他更适合的服务？每个键将每15秒更新一次，这使我认为这可能是误用。

浏览 2提问于2019-12-23得票数 1

回答已采纳

1回答

使用Geo实现大数据存储，以实现频繁更新

django、bigdata、geospatial、datastore

我必须为我的项目选择大数据存储数据将非常频繁地更新。我计划每分钟更新大约20k-80k个对象。它总共将存储大约50万个对象。每分钟我都会得到一组大约50k的XML对象。我需要解析它并更新现有的文件，再加上添加新的文件。你有什么建议的仓库？我在考虑aws redis或mongodb。我担心ppstgresql做不到。

浏览 1提问于2015-10-26得票数 1

1回答

创建“自上次刷新以来”的KPI？

powerbi

我发现的每个示例都需要您有另一个保存历史数据的数据集，而在这种情况下，这并不是一个真正的选择。有没有办法在PowerBI查询本身中计算或存储它？

浏览 18提问于2020-03-05得票数 0

1回答

在Hyperledger Fabric中获取事务历史记录的算法？

hyperledger-fabric

从理论上讲，特定资产的交易应该存储在不同的块中，而不是按顺序存储。也就是说，可能需要对区块链中的所有块进行线性搜索，以获得特定资产的所有交易。是那么回事吗？有没有关于这个问题的文档和代码推荐阅读？

浏览 0提问于2019-07-28得票数 0

1回答

iOS应用程序生成的“历史”信息应该存储在哪里？

ios、data-storage

我想澄清一下，iOS应用程序生成的“历史数据”是否被视为关键数据。这是否会被视为违反iOS数据存储指南规则？

浏览 2提问于2011-11-17得票数 0

1回答

redis分析的关键方案

hash、redis、key

我想使用redis创建分析-每个对象、每小时/每天/每周/每月/年和总计的基本计数器hash - model:<id>:<year>:<month>:<day> =>每小时都有一个计数器如果这个方案是正确的，我如何在不调用redis

浏览 2提问于2014-10-03得票数 1

1回答

如何存储Pubnub历史记录中的数据并将其提供给所有控制器？

javascript、angularjs、pubnub

我试图从Pubnub.history()获取历史数据，存储这些数据，并使用不同的控制器更新视图。在返回历史数据之前，我需要确保历史数据存储在history上。

浏览 4提问于2016-02-15得票数 3

回答已采纳

点击加载更多

基于时间值排序的Redis数据结构设计