如何在使用DolphinDB Python API时保持时间索引 - 腾讯云开发者社区

文章/答案/技术大牛

发布

DolphinDB 稳居时序数据库榜首，工业万亿级数据查询毫秒级响应！

所谓时序数据，是指围绕时间戳连续记录的数据，如工业现场测点采集的温度、压力、电流、电压等参数，或金融市场中逐笔的高频行情数据。...时序数据库（TSDB）应运而生，它针对时间序列数据特性进行深度优化，包括高并发写入、时间索引优化、数据压缩、流批一体化计算等。...查询时通过排序列和索引快速定位目标数据块，同时内存索引缓存进一步缩短响应时间。此外，数据去重和乱序处理机制保证了多源数据一致性，提升了工业现场和金融高频数据的可靠性和实时性。...3.3 高性能写入与查询通过以上架构优化，DolphinDB 可以在工业场景中实现千万级写入吞吐量，同时保持单条或少量查询的毫秒级响应。...客户案例 | DolphinDB 赋能国内最大水力发电企业，打造高效工业互联网平台4.2 打造万亿级工业数据底座某头部钢铁集团打造的带式焙烧机数字孪生工厂，通过使用 DolphinDB 多模引擎与流计算框架

1911 0

从计算、建模到回测：因子挖掘的最佳实践

在面板数据上，由于是以时间为索引，标的为列，因子可以方便地在截面上做各类运算。...值得注意的是，DolphinDB 的流式计算时直接使用了投研阶段生成的核心因子代码，这很好的解决了传统金融分析面临的批流一体问题。...本身具有多种常用编程语言的 API，包括 C++, java, javascript, c#, python, go 等。...使用这些语言的程序，都可以调用该语言的 DolphinDB 接口，订阅到 DolphinDB 服务器的流数据。本例提供一个简单的 python 接口订阅流数据样例。...DolphinDB-Python API 订阅流数据例子： current_ddb_session.subscribe(host=DDB_datanode_host,tableName=stream_table_shared_name

7.8K2 2

您找到你想要的搜索结果了吗？

是的

没有找到

工业数据流通难题与突破：基于时序数据库的选型思路

第一堵：设备层互不兼容车间里可能同时存在十年前的老 PLC、新工业机器人及各种传感器，它们使用的协议、数据格式和时间字段各不相同，缺乏统一标准，形成工业数据流通的首道壁垒。...它针对时间序列数据的特性（高频写入、按时间索引、历史回溯需求强）进行了专门优化，能够在保证高速写入的同时，提供高效查询和数据压缩能力。...尤其是在接入端压力较大或指标量级不断增长的情况下，DolphinDB 的性能余量更充足，使系统能在不更换架构的情况下保持可扩展性。...基于 PostgreSQL 构建，可轻松使用标准 SQL 并共享现有生态资源。...DolphinDB 同样支持 SQL 查询，它在处理大规模时间序列数据时更节省资源，也能在同类 SQL 查询场景中提供更高的吞吐与更低的延迟，为后续业务增长预留空间。

1081 0

国产工业时序数据库—DolphinDB的技术突破与实践优势

毫秒级查询（Millisecond-level Query）延迟：即使是早期为时序数据设计的数据库（第一代 TSDB），也往往在进行复杂的多维、跨设备或跨时间段的关联查询与实时计算时，难以保证用户期望的毫秒级查询响应速度...DolphinDB 正是顺应这一时代趋势应运而生的国产高性能时序数据库平台。...同时，LSM-Tree 结构通过维护高效的索引，显著提升了针对单个时间点或设备数据的点查（Point Query）效率。...例如，工程师可以使用同一套规则，既对当前流动的设备数据进行实时告警，又能快速回溯数年历史数据，分析历史故障模式与趋势，大幅缩短策略迭代周期。...综合上述多级高可用机制，即使在极端情况下（如单个数据节点宕机、网络分区），DolphinDB 也能确保关键数据的持续写入、实时流分析的不间断运行和中心化数据的可靠访问。

1341 0

DolphinDB：金融高频因子流批统一计算神器！

图中的节点有3种： 1、数据源，如price。 2、有状态的算子，如a, b, d, e。 3、无状态的算子，如c和result。从数据源节点开始，按照既定的路径，层层推进，得到最后的因子输出。...每一个算子（有状态和无状态）在DolphinDB中都可以转化为一个唯一的字符串序列。据此，我们可以删除重复的算子，提高计算效率。 3.3 内置的状态函数状态算子计算时需要用到历史状态。...3.7 并行处理当需要处理大量消息时，可在DolphinDB消息订阅函数subscribeTable中指定可选参数filter与hash，让多个订阅客户端并行处理消息。...譬如，因子计算经常需要使用面板数据，完成时间序列和横截面两个维度的计算，只要把响应式状态引擎和横截面两个引擎串联处理即可完成。...在后续的版本中，DolphinDB将以行函数（rowRank，rowSum等）表示横截面操作的语义，其它向量函数表示时间序列操作，从而系统能够自动识别一个因子中的横截面操作和时间序列操作，进一步自动构建引擎流水线

4.7K0 0

为什么 IoT 时序数据这么难？5 种高性能架构模式一文讲透

IoT 时序数据的核心挑战很多团队一开始会把 IoT 数据直接写入传统关系型数据库（如 MySQL、PostgreSQL）或通用 NoSQL（如 MongoDB、Cassandra）。...典型链路设备 / 网关 → MQTT / HTTP → 消息总线（MQTT Broker / Kafka 等）→ 时序数据库 → 报表 / 看板 / API适用场景•设备数中高、数据量持续增长的 IoT...（如端到端 1–5 秒内），仅靠 TSDB 的查询往往不够，此时通常会引入流处理引擎。...因此，越来越多团队开始尝试使用一体化的流式 + 时序计算引擎，在同一个系统内完成。在单一系统内融合流处理、时序存储、批量分析能力，消除组件间数据搬运，降低技术栈复杂度。...对于希望降低复杂度、快速上线的团队，像 DolphinDB 这样的一体化时序计算引擎值得重点关注——它能在单一系统内完成流处理、存储、分析，显著简化技术栈的同时保持高性能。

1501 0

新型行情中心：基于实时历史行情的指标计算和仿真系统

窗口函数通常在一个时间序列上执行，但在行情数据处理时，时间截面分析也非常常用，这就形成了所谓的面板数据处理。...非同步关联行情中心存储的委托、交易和快照等数据在计算时经常需要按股票和时间进行关联。当按时间关联时，通常两个表中的时间不是相等的，而是满足某种关系，譬如最近的一条记录，某个时间窗口内的记录等。...的异构回放会把这三张表“组合成一张关联的大表”，并严格按照时间序列模拟生产回放；最后，可以指定回放速度，如10000笔每秒。...DolphinDB 的增量算法计算步骤更少，计算时延更低。...2、某台湾券商原先使用Python+HDF5做K线的计算，随着台湾交易所行情频率的提高，数据量激增，原有系统无法满足需求，遂使用DolphinDB生成不同频率的K线输出至python供C端查询。

4.5K2 2

【免费下载】基于Python的开源量化交易平台开发框架

交易API接口封装（api），提供上述交易接口的底层对接实现。...） PostgreSQL（postgresql）：特性更为丰富的开源关系型数据库，支持通过扩展插件来新增功能，只推荐熟手使用 NoSQL类 DolphinDB（dolphindb）：一款高性能分布式时序数据库...注：以上关于功能特点的说明为根据说明文档发布时情况罗列，后续可能存在更新或调整。若功能描述同实际存在出入，欢迎通过Issue联系进行调整。...环境准备推荐使用VeighNa团队为量化交易专门打造的Python发行版VeighNa Studio-3.9.1，集成内置了VeighNa框架以及VeighNa Station量化管理平台，无需手动安装...run.py 贡献代码 VeighNa使用Github托管其源代码，如果希望贡献代码请使用github的PR（Pull Request）的流程: 创建 Issue - 对于较大的改动（如新功能，大型重构等

7341 0

工业物联网的“实时鸿沟”，该由谁来填？

：支持窗口计算、滑动聚合、复杂规则检测、模式识别等； ·多语言支持：支持Python、Java、C++、Go等语言调用，可嵌入现有工业系统。...DolphinDB与某头部电池企业合作构建实验室数据平台，实现每秒百万条实验数据的实时处理与万亿级历史数据的毫秒级分析，整体数据处理时效提升200倍，实时监控延迟降至100毫秒以内，实验报告的生成时间从...某头部钢铁集团打造的带式焙烧机数字孪生工厂，基于DolphinDB重构万亿级工业数据底座，通过使用DolphinDB多模引擎与流计算框架，解决了带式焙烧机场景下海量工控数据存储、复杂工艺实时计算与高效分析的难题...新方案将数据查询时延从分钟级降至毫秒级，实时计算响应速度提升20倍。在成本层面，依托DolphinDB的列式存储机制，整体存储成本降低50%。...2.数据智能的关键，在于“让数据动起来” 绝大多数工业数据，在生成后的几分钟、几秒，甚至几毫秒内，决定了它的价值曲线——如果能第一时间驱动响应，那就是生产优化的关键资产。

1331 0

AI时代下，我们需要新一代的金融基础软件

DolphinDB采用多模态计算引擎，在同一系统内原生支持多种数据类型。同时，还将存储与计算提升至同一系统，存储和计算不再分家，省去了跨系统的时间差，特别适合对实时性要求极高的金融交易场景。...DolphinDB实现了“代码逻辑”与“执行逻辑”的分离。例如波动率指标计算在投研场景中可通过GPU加速；在低频交易场景中采用流式增量计算；在高频交易场景中使用嵌入式引擎和DMA技术实现微秒级延迟。...用户可将风险模型、因子计算、组合分析等业务模型封装成高内聚的AI工具，这些工具既可供传统前端调用，也可被AI Agent理解使用。...该库包含2000多个函数，涵盖多种数据结构、算法与引擎，性能远超Python、Java等解释型语言。Swordfish适用于高频交易、实时信号合成等对延迟极其敏感的场景。...智能FCC计算：系统让研究员仅需一句自然语言指令（如“定价一笔国债期货”），AI即可自动识别数据与函数、完成计算并返回结果，显著降低使用门槛。

2391 0

排名前十的时序数据库

时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。时序数据的兴起还是榜上了物联网的大风。...物联网的基础数据具有数据量大、结构单一、时间属性强、查询简单等特点，传统的关系型数据库在面对物联网数据时，显得应对发力，基本上属于功能过剩但性能不足。...RRDtool can be easily integrated in shell scripts, perl, python, ruby, lua or tcl applications. 6.TimescaleDB...DolphinDB is a high performance time-series database....如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。

4.8K3 0

【金猿国产化展】智臾科技——从替代到超越，打造新一代国产基础软件

：DolphinDB数据库V2.0 资质证书： 2.中国信通院时序数据库性能专项评测证书颁发机构：中国信息通信院-中国泰尔实验室发放时间：2021/12/13 资质涉及的产品名称及版本：DolphinDB...对于Abseil、TCMalloc、OpenBLAS、OpenSSL、lz4、zlib等关键组件，公司已充分评估其可替代路径，在极端情况下可回退至GNU基础实现，或替换为国产开源组件，如华为鲲鹏BoostKit...、华为鲲鹏数学库、国产密码学项目GmSSL等，必要时也可以通过自研方式实现功能替代。...在应用与分析层，DolphinDB可与帆软、Grafana、Altair、PowerBI等可视化工具配合，支撑国产BI与监控体系建设；也可以与MySQL、Hadoop、MongoDB等数据库系统协同使用...例如，在物联网领域，DolphinDB在通用时间序列引擎的基础上，专门设计并实现了点位管理引擎，为用户提供高效的海量异构数据的读写支持。

2041 0

从华尔街到杭州湾，基础软件创业十年的真相与底色

昨天深夜，当我离开 DolphinDB 位于杭州湾信息港的办公室时，看到那一排排寂静的电脑桌，心中忽然涌起一阵复杂的情绪。这些年，不是在研发产品，就是在去见客户的路上。...家庭和健康：创业不是人生的全部创业是一场马拉松，保持一个健康的体魄，得到家庭的支持，可能让你事半功倍。但这件事，我过了好些年才真正想明白。...这些场景揭示了同一个核心命题：如何在数据产生的瞬间获取洞察，并将其转化为决策的力量？DolphinDB 的成长史，本质上是对这一命题的持续求解。...但 DolphinDB 不会追求做一个覆盖一切的泛用工具。我们将始终深耕那些“时间即生命”的场景——在金融市场的瞬息万变中，在工业设备的规律脉动中。我们用十年、二十年去构建一种能力：时间智能。...DolphinDB 还有很长的路要走。我不知道 DolphinDB 十年后会是什么样子，就像十年前在地下室写代码时不知道今天会怎样一样。

791 0

2025 年 IoT 数据平台技术雷达：哪些技术正在改变游戏规则？

主流技术选型通用流计算引擎：Apache Flink、Spark Structured Streaming、Kafka Streams一体化方案：计算型时序数据库（如 DolphinDB）内置流计算引擎...DolphinDB 等计算型时序数据库通过分布式时序表（DFS Table）设计，天然支持多维度标签索引与高效关联查询。...（四）数据治理前移，平台承担指标中枢角色合规与治理压力上升随着《数据安全法》《个人信息保护法》以及 GDPR 等法规的实施，企业在采集、传输和分析 IoT 数据时，越来越关注：数据访问是否可控？...（五）可视化与智能分析降低数据使用门槛从专家工具到全员工具数据的最终价值，体现在是否被业务真正使用。...在该架构下，计算被前移到数据产生的第一时间完成，避免了传统"先存后算"带来的延迟问题。

1251 0

硕士毕业半年的茫茫社招路

（至今不知道知乎怎么插入目录）初入职场：期待与现实之间的鸿沟保持学习与成长决定辞职体验授课生活关于未来的思考社招之路字节跳动抖音 Pony.AI小马智行快手MMU DolphinDB智臾科技...保持学习与成长很幸运的是，我深知自己在计算机基础知识上的薄弱与匮乏，因此在工作之后，我仍然保持着之前养成的学习习惯。...xj在读研之前曾经在一家叫DolphinDB的时序数据库公司实习了相当长的一段时间。我们之前也聊起过多次他在那边实习时做的许多有意思的工作。...前些年的技术卡脖子，让国家政府意识到不能再这样下去，因此提出了去IOE的口号，希望在这些机构都能使用具有完全自主知识产权的基础软件（如数据库）。...面试中个人应该保持一个什么样的气场呢？我想这个问题见仁见智。

1.5K3 1

python面试题--1

Python对象的Python堆空间分配由Python内存管理器完成。核心API提供了一些程序员编写代码的工具。...Python序列可以是正数和负数的索引。对于正索引，0是第一个索引，1是第二个索引，依此类推。对于负索引，（ - 1）是最后一个索引，（ - 2）是倒数第二个索引，依此类推。...使用命令os.remove（filename）或os.unlink（filename） 30）解释如何在Python中生成随机数？...33）使用Python的五大好处？ Python包含一个巨大的标准库，适用于大多数Internet平台，如电子邮件，HTML等。...Python不需要显式内存管理，因为解释器本身会将内存分配给新变量并自动释放它们由于使用方括号，因此易于阅读初学者易于学习拥有内置数据类型可以节省编程时间和工作量，从而声明变量 34）提在Python

4.1K1 0

11年逆袭，寒门专升本职高生终成MIT博士生！自学CMU课狂发5篇顶会，全网热议

而周信静在面试时，展现出的对raft协议原理和实现细节的熟悉程度，甚至让面试官惊掉了下巴：在30分钟的对话过程中，基本上捋了一遍如何使用raft协议实现一个分布式数据库，从客户端到服务端的框架设计。...在入职之后，便直接让他以实习生的身份参与到了DolphinDB分布式时序数据库的内核研发当中。期间，团队在用哈希方法来改进SQL引擎分组计算的性能时，遇到了瓶颈。...于是，周信静差不多用了一个周末的时间，做出了一个IrremovableFlatHashmap的原型，一试果然有效。...回顾这段经历时，周信静总结道：在DolphinDB实习时，自己发现了Andy的DB课程，被深深吸引。他希望能将经典的idea应用到DB系统里，甚至创造一些idea。因此，他研究生入坑了DB。...在这项工作中，来自MIT、威斯康星大学麦迪逊分校和谷歌的团队提出了一种2-Tree结构，从而解决现有方法在管理大于内存的索引时存在的局限性。

7922 0

20000颗星！100+Agent工具开源引爆GitHub，程序员集体沸腾！

• Twitter互动：与Twitter进行搜索和时间线交互的工具。 • WeCom消息发送：支持向WeCom群组机器人发送多种类型消息的MCP应用。...• DolphinDB数据库集成：具备模式检查和查询功能的DolphinDB MCP服务器。 • Google BigQuery访问：为BigQuery提供直接访问和查询功能的服务器实现。...• Tinybird查询支持：集成Tinybird，支持查询与API功能。 • VikingDB功能集成：提供VikingDB的集合、索引介绍、向量存储和搜索功能的MCP服务器。...MCP还帮助模型更好地管理上下文信息，在与外部资源交互时，模型可以将相关信息作为上下文传递给MCP服务器，使得交互更加精准和智能。...例如，在处理复杂任务时，模型能够将之前的操作记录和相关数据传递，帮助MCP服务器理解任务背景和需求。

1.2K2 0

干货 | 2024 年 Elasticsearch 常见面试题集锦

一般几个维度考量：第一，不定期查看日志或者出了问题第一时间查看日志，普通日志会记录集群故障。比如：wildcard 出错，出问题日志能看到。第二，必要时候，开启慢日志查询。...8、Elasticsearch API使用和最佳实践相关问题 Q1：描述你使用Elasticsearch REST API时的一些最佳实践。...将核心 API 脚本实现，监控内存使用率，磁盘使用率、CPU使用率，一旦出问题及时邮件预警。...那么在 Python 和 Java 客户端的程序访问也是需要把 Elasticsearch 配置的证书拷贝到给定的工程路径下的。 A2：你是如何在Elasticsearch中管理细粒度的访问控制？...），就能第一时间收到预警邮件信息。

2.7K1 0

使用 plotly 绘制 Choropleth 地图

其实所有绘图都是这样，只不过在 plotly 里体现得尤为明显，尤其是底层 API。 data 决定绘图所使用的数据，比如绘制股票折线图用的股票历史数据，绘制疫情地图用的疫情数据。...需要注意此参数中值的顺序需要和 locations 保持一致，一一对应，如河南在 locations 中的索引是 9，那么河南的确诊人数在 z 中的索引也必须是 9。...需要注意的是当你使用以下风格之一时，你就需要指定 mapbox_token（关于如何获取 token 详细可参见这里）： ["basic", "streets", "outdoors", "light...有时间我会继续写一写如何在 dash 中融入这些地图，并实时更新。...Reference Mapbox Choropleth Maps | Python | Plotly Choropleth Maps | Python | Plotly 新型冠状病毒（SARS-CoV-

15.5K4 1

点击加载更多

DolphinDB 稳居时序数据库榜首，工业万亿级数据查询毫秒级响应！

从计算、建模到回测：因子挖掘的最佳实践

工业数据流通难题与突破：基于时序数据库的选型思路

国产工业时序数据库—DolphinDB的技术突破与实践优势

DolphinDB：金融高频因子流批统一计算神器！

为什么 IoT 时序数据这么难？5 种高性能架构模式一文讲透

新型行情中心：基于实时历史行情的指标计算和仿真系统

【免费下载】基于Python的开源量化交易平台开发框架

工业物联网的“实时鸿沟”，该由谁来填？

AI时代下，我们需要新一代的金融基础软件

排名前十的时序数据库

【金猿国产化展】智臾科技——从替代到超越，打造新一代国产基础软件

从华尔街到杭州湾，基础软件创业十年的真相与底色

2025 年 IoT 数据平台技术雷达：哪些技术正在改变游戏规则？

硕士毕业半年的茫茫社招路

python面试题--1

11年逆袭，寒门专升本职高生终成MIT博士生！自学CMU课狂发5篇顶会，全网热议

20000颗星！100+Agent工具开源引爆GitHub，程序员集体沸腾！

干货 | 2024 年 Elasticsearch 常见面试题集锦

使用 plotly 绘制 Choropleth 地图

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐