首页
学习
活动
专区
圈层
工具
发布

国产工业时序数据库—DolphinDB的技术突破与实践优势

DolphinDB 创新性地在单一系统中实现了流批一体(Stream-Batch Integration)架构,以解决数据孤岛和架构复杂性问题:实时流计算(Real-time Stream Computing...流表高可用:Raft Learner 机制的跨集群容灾针对实时性要求极高的流式计算场景,DolphinDB 创新性地提供基于 Raft Learner 的流表高可用能力(需预先配置多集群管理)。...客户端高可用:透明的自动重连与切换客户端内置了透明的自动重连和故障切换逻辑,能够即时感知集群中节点的故障或主备切换。这确保了无需业务层手动干预,即可自动恢复连接和业务操作,最大化了系统的连续性。...综合上述多级高可用机制,即使在极端情况下(如单个数据节点宕机、网络分区),DolphinDB 也能确保关键数据的持续写入、实时流分析的不间断运行和中心化数据的可靠访问。...高性能减少节点数量: 由于其卓越的海量数据写入和毫秒级查询性能,DolphinDB 在处理相同业务负载时所需的服务器节点数量远少于传统数据库或第一代时序数据库,从而显著降低了总拥有成本(TCO, Total

14410

从计算、建模到回测:因子挖掘的最佳实践

本身具有多种常用编程语言的 API,包括 C++, java, javascript, c#, python, go 等。...使用这些语言的程序,都可以调用该语言的 DolphinDB 接口,订阅到 DolphinDB 服务器的流数据。本例提供一个简单的 python 接口订阅流数据样例。...在本章节中,将会讲述如何在 DolphinDB中 做因子间的相关性分析,以及回归分析。 6.1 因子回测 因子的建模和计算等,一旦从图表上分析出有方向性的结论,就要做成策略。...在按因子配置投资组合的策略类型中不是核心或重点,在这里 DolphinDB 选取了向量化的因子回测作为案例进行说明。 首先,在k线数据上,实现了一个按多日股票收益率连乘打分的因子。...DolphinDB 后端环境时,计算和事务的内存占用可在单节点的 ”dolphindb.cfg” 或集群的 cluster.cfg(以下简称“节点配置文件”)中,通过参数”maxMemSize“配置单节点最大占用内存

7.8K22
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    AI时代下,我们需要新一代的金融基础软件

    DolphinDB实现了“代码逻辑”与“执行逻辑”的分离。例如波动率指标计算在投研场景中可通过GPU加速;在低频交易场景中采用流式增量计算;在高频交易场景中使用嵌入式引擎和DMA技术实现微秒级延迟。...正如现代海军的战斗力核心在于以航母为中心的综合作战编队,智臾科技以“航母舰队”为架构理念,打造了以DolphinDB为核心的一体化数据计算生态系统。...平台支持用户在函数中添加GPU标识符,即可将计算任务从CPU迁移至GPU,以最小代码改造成本获得显著性能提升,尤其适用于高频交易场景。...·“预警侦查系统”:复杂事件处理引擎Octopus 基于复杂事件处理引擎Octopus,能够从持续流入的海量实时数据流(如市场行情、交易订单、风险事件等)中,高效地检测出预定义的复杂事件模式。...智能FCC计算:系统让研究员仅需一句自然语言指令(如“定价一笔国债期货”),AI即可自动识别数据与函数、完成计算并返回结果,显著降低使用门槛。

    24710

    工业物联网的“实时鸿沟”,该由谁来填?

    但对于某些高频场景来说,10秒已是“无法容忍”的级别——比如振动异常检测、电芯温控、钢铁连铸、风电变桨响应等,最晚的反应也得在1秒以内完成。 可以说,在工业场景中,数据处理越快,价值越高。...但在DolphinDB看来,实时处理的关键场,就是“边”——工控机、PLC边缘服务器、边缘云节点等。...DolphinDB以轻量方式支持ARM架构部署,可嵌入资源受限的工控机中,在现场完成数据采集与清洗、实时特征提取、规则触发与预警、小模型/逻辑模块运行等。...某头部钢铁集团打造的带式焙烧机数字孪生工厂,基于DolphinDB重构万亿级工业数据底座,通过使用DolphinDB多模引擎与流计算框架,解决了带式焙烧机场景下海量工控数据存储、复杂工艺实时计算与高效分析的难题...而DolphinDB,正是在这样的需求中,被越来越多的工业用户看见。

    13610

    DolphinDB:金融高频因子流批统一计算神器!

    图中的节点有3种: 1、数据源,如price。 2、有状态的算子,如a, b, d, e。 3、无状态的算子,如c和result。 从数据源节点开始,按照既定的路径,层层推进,得到最后的因子输出。...在后续的版本中,DolphinDB将允许用户用插件来开发自己的状态函数,注册后即可在状态引擎中使用。 3.4 自定义状态函数 响应式状态引擎中可使用自定义状态函数。...假设配置参数subExecutors=4,创建4个状态引擎,每个状态引擎根据流表的股票代码的哈希值来订阅不同股票的数据,并且指定不同的订阅线程来处理,最终将结果输出到同一个输出表中。...测试使用的服务器CPU为Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz。...内置的状态算子全部使用C++开发实现,算法上经过了大量的优化,以增量方式实现状态算子的流式计算,因而在单个线程上的计算达到了非常好的性能。

    4.7K00

    新型行情中心:基于实时历史行情的指标计算和仿真系统

    DolphinDB操作简单,可扩展性强,具有良好的容错能力及优异的并发访问能力。DolphinDB 可以在Linux或Windows系统、单个节点或集群、本地或云服务器中部署。...时序模型主要存储如行情、订单、委托和指标因子等具有时序特征的大数据;在实际业务中,如计算期权面值需要用到合约乘数,又比如对组合需要根据行业分类进行估值、因子、归因和风险计算,这些场景都是典型的关系模型。...多级存储 DolphinDB支持多级存储,可以将最常用的热数据存储到SSD固态硬盘中提高数据的读写速度,较冷的数据存储到HDD机械硬盘中,不太使用的历史数据存储到S3中。...DolphinDB中的即时编译功能显著提高了for循环,while循环和if-else等语句的运行速度,特别适合于无法使用向量化运算但又对运行速度有极高要求的场景。...券商和信息服务商行情中心项目 1、某券商行情资讯中心,之前和某系统供应商合作,供应商推荐ClickHouse,但是为了能够更方便地做数据二次加工,同时符合信创要求使用国产芯片的服务器,更换为 DolphinDB

    4.5K22

    从华尔街到杭州湾,基础软件创业十年的真相与底色

    直到现在,公司才开始在行业中崭露头角,实现盈亏平衡。站在第十年的节点上,我想以一个普通创业者的视角,聊聊这些年走过的弯路、做出的选择,以及那些不被聚光灯照到的日常。...管理层:选对人品,容下“掉队”一个稳定的管理团队,能让创始人从琐事中解脱。早期物色的一位副总,她几乎以一人之力承担了除产品和市场外的一切管理和杂务,让我和联创能专注产品研发和市场开拓。...终于在公司慢慢走上正轨之后,于 2024 年的暑假把孩子们接到了上海的一个学校。从此过上了工作日在杭州,周末回上海的 “双城” 生活。...这些场景揭示了同一个核心命题:如何在数据产生的瞬间获取洞察,并将其转化为决策的力量?DolphinDB 的成长史,本质上是对这一命题的持续求解。...如今,DolphinDB 已自然演进为以时序数据为核心,融合实时计算与深度分析的企业级数据平台。

    9310

    2025 年 IoT 数据平台技术雷达:哪些技术正在改变游戏规则?

    主流技术选型通用流计算引擎:Apache Flink、Spark Structured Streaming、Kafka Streams一体化方案:计算型时序数据库(如 DolphinDB)内置流计算引擎...(五)可视化与智能分析降低数据使用门槛从专家工具到全员工具数据的最终价值,体现在是否被业务真正使用。...DolphinDB 正是在这一类实践中,被用于构建高频时序数据的实时分析与决策支撑能力。...一种符合上述趋势的工程实现:以 DolphinDB 为例在将计算能力前移、缩短数据决策链路的实践中,一些团队开始选择具备高性能时序分析与实时处理能力的一体化数据平台作为核心组件。...需要强调的是,DolphinDB 并非适用于所有 IoT 场景,但在高频、强实时、以时序分析为主的业务中,它提供了一种与“计算能力前移”趋势高度契合的工程实现路径。

    13010

    为什么 IoT 时序数据这么难?5 种高性能架构模式一文讲透

    IoT 时序数据的核心挑战很多团队一开始会把 IoT 数据直接写入传统关系型数据库(如 MySQL、PostgreSQL)或通用 NoSQL(如 MongoDB、Cassandra)。...五种主流时序数据架构模式模式一、消息总线 + 时序数据库(TSDB)经典「解耦中台」架构此架构是 IoT 时序数据处理中最成熟、最稳健的模式,适用于构建高性能、高可维的集中式数据中台。...引入流计算层实现计算与存储分离,在数据“流动”过程中完成窗口聚合、规则匹配、异常检测,而非事后查询,将“实时告警 / 实时看板”的计算负载从 TSDB 中拆出,降低查询压力。...常见技术栈示例流引擎:Apache Flink、Spark Structured Streaming、Kafka Streams规则引擎:Drools、自研规则配置平台内置方案:DolphinDB 流数据表...因此,越来越多团队开始尝试使用一体化的流式 + 时序计算引擎,在同一个系统内完成。在单一系统内融合流处理、时序存储、批量分析能力,消除组件间数据搬运,降低技术栈复杂度。

    15810

    硕士毕业半年的茫茫社招路

    以进程、线程和上下文切换(context switch)为例,以前问我相关的问题,我虽然也能够侃侃而谈,但那更多的是停留在一些中文教材上的概念,或者是一些面经中的所谓“答案”;换言之,我能说出一些相关概念...这个问题是说mysql现在在高性能服务器的存储设备下,常常没法跑满带宽,这很大一部分原因是软件跟不上,mysql里的锁太多了,xj当时就在做锁的一些优化。...这下我可就犯难了,这倒不是完全因为阿里的工作环境和氛围可能不适合我,还因为我知道我的简历去投阿里云数据库组的社招,很可能连表刷(简历筛选)都过不了。...前些年的技术卡脖子,让国家政府意识到不能再这样下去,因此提出了去IOE的口号,希望在这些机构都能使用具有完全自主知识产权的基础软件(如数据库)。...最后以乔布斯演讲中的一段话作为本文的结束: 工作将占据你生命中很大的一部分 Your work is going to fill a large part of your life 只有相信自己所做的是伟大的工作

    1.5K31

    【免费下载】基于Python的开源量化交易平台开发框架

    ,选择任意时间段数据查看字段细节,支持CSV文件的数据导入和导出 data_recorder:行情记录模块,基于图形界面进行配置,根据需求实时录制Tick或者K线行情到数据库中,用于策略回测或者实盘初始化...,只推荐熟手使用 NoSQL类 DolphinDB(dolphindb):一款高性能分布式时序数据库,适用于对速度要求极高的低延时或实时性任务 Arctic(arctic):高性能金融时序数据库...使用指南 在SimNow注册CTP仿真账号,并在该页面获取经纪商代码以及交易行情服务器地址。...Github托管其源代码,如果希望贡献代码请使用github的PR(Pull Request)的流程: 创建 Issue - 对于较大的改动(如新功能,大型重构等)建议先开issue讨论一下,较小的improvement...在提交代码的时候,请遵守以下规则,以提高代码质量: 使用flake8检查你的代码,确保没有error和warning。在项目根目录下运行flake8即可。

    78510

    20000颗星!100+Agent工具开源引爆GitHub,程序员集体沸腾!

    • MCPRAGDocs:MCP服务器实现,提供向量搜索以检索和处理文档,增强AI助手的响应能力和相关性。...• Mem0MCP:为Mem0提供的ModelContextProtocol服务器,帮助管理编码偏好和模式,并在IDE(如Cursor和Windsurf)中存储、检索和语义处理代码实现及技术文档。...• Netskope访问管理:为Netskope Private Access环境中的所有组件提供访问权限,包括详细设置和使用例子。...• Terraform管理:提供Terraform环境管理的MCP服务器,支持读取配置、分析计划、应用设置和管理Terraform状态。...• DolphinDB数据库集成:具备模式检查和查询功能的DolphinDB MCP服务器。 • Google BigQuery访问:为BigQuery提供直接访问和查询功能的服务器实现。

    1.2K20

    Hyperledger Fabric和VSCode的IBM区块链扩展开发智能合约

    为此,你必须首先连接到Hyperledger Fabric网络。VSCode扩展附带的网络非常适合开发,它为开发和测试合约提供了最少的资源占用。...9.更新智能合约 image.png 在上一步中,你使用putState API更新了分类帐,并传入了密钥和值。key恰好是greeting,值也赋予了对象。...2.使用VSCode中的终端导航到VSCodeTutorialBlockchain文件夹。...c#比特币开发教程,本课程面向初学者,内容即涵盖比特币的核心概念,例如区块链存储、去中心化共识机制、密钥与脚本、交易与UTXO等,同时也详细讲解如何在C#代码中集成比特币支持功能,例如创建地址、管理钱包...C#以太坊,主要讲解如何使用C#开发基于.Net的以太坊应用,包括账户管理、状态与交易、智能合约开发与交互、过滤器和交易等。

    3.6K30

    MonoDevelop 的续集dotdevelop

    在VSCode中,你需要安装一些必要的扩展,例如C#扩展。这些扩展可以帮助你更好地编写和调试C#代码。...在launch.json 文件中,你可以指定调试器的类型为netcoredbg,并设置其他相关的调试选项,如断点、条件断点等。...确保你的VSCode配置正确指向了这个调试器实例。 运行和调试你的应用程序: 在VSCode中,通过点击左下角的“运行”按钮或者按快捷键F5来启动调试会话。...VSCode将自动连接到netcoredbg调试器,并开始执行你的应用程序。你可以设置断点、查看变量值、单步执行代码等操作 多年来,调试工具已经发展成为开发工具箱中不可或缺的一部分。...有一篇文章《使用 nvim-dap 在 Neovim 中调试 C#》[6]中,详细的介绍了如何在 Neovim 中为 .NET 代码配置调试体验。

    62010

    VSCode下配置Blazor环境 & 断点调试Blazor项目

    VSCode下使用Blazor的环境配置和插件推荐Blazor是一种用于构建交互式Web UI的.NET框架,它可以让你使用C#、Razor和HTML进行Web开发,而不需要JavaScript。...在这篇文章中,我们将介绍如何在VSCode中配置Blazor环境,并推荐一些有用的插件。环境配置1. 安装.NET Core SDK首先,你需要安装.NET Core SDK。...安装VSCode如果你还没有安装VSCode,你可以从VSCode官方网站下载并安装。3. 安装C#插件在VSCode中,打开扩展视图并搜索"C#",然后安装由Microsoft发布的C#插件。4....在VSCode中调试Blazor项目相对简单,下面是详细的步骤和技巧,帮助你顺利进行调试。1. 配置调试环境1.1. 打开项目在VSCode中打开你的Blazor项目文件夹。1.2....设置断点在你的C#代码中,找到你想要调试的行,点击行号左侧的空白区域,设置一个断点。断点会以红点的形式显示。3.

    1.6K00

    .NET周刊【4月第1期 2025-04-06】

    文章详细介绍了如何在WPF和MAUI安卓下使用带互操作的WebView,包括安装步骤、命名空间引入及XAML使用示例,同时提供了项目配置的具体要求。...文章描述了MCP与.NET的结合,详细介绍了客户端和服务器的结构,强调MCP在ASP.NET Core中的实现,提供实战案例,如Pizza价格查询、下订单和支付功能的开发。...C# Socket教程入门,Socket的使用方法,附可执行Demo https://www.cnblogs.com/justin-Y/p/18801496 本文章介绍了如何在C#中使用Socket实现服务器与客户端的连接.../ 了解如何使用适用于 C# 的 MCP SDK 在 C# 中实现 MCP 服务器。...我使用 .NET 制作了一个简单的 MCP 服务器 https://qiita.com/yariri/items/03c775385319c1f49314 如何在 MCP SDK for C# 中实现

    1.3K10
    领券