这是一款实时和嵌入式软件，用来管理持续增长的复杂数据，来支持高级应用的特性。...性能和可靠性，更短的产品开发周期等需求，驱使开发者在他们的设计中，考虑采用经验证的、成熟的商业数据库系统组件来，来满足应用层的这些需求。 ...McObject公司的eXtremeDB嵌入式数据库系列产品是将高性能、稳定性和简单易用性等特性同时融入了工业基的数据库引擎。 了解eXtremeDB产品系列或eXtremeDB特性。...• 最快的内存数据库， • 几乎牢不可破：了解我们如何避免数据库破坏 • 多种应用接口： 两种 SQL， 两种更快的原始接口 • 非常灵活的数据存储：内存式、磁盘式或混合式 • ...高可用性–组合选项 多种索引支持 • 极小尺寸和极小的内存消耗 eXtremeDB内存实时数据库把优异的性能、可靠性和开发效能与高效的实时数据库引擎完美结合。
超大规模实时计算要求。...大数据场景中，需要对大规模数据做到实时计算，玖富集团内部代号为“伏羲”的 Flink 计算平台每天要在接近 510TB 的数据集上做快速的检索和计算，用户的行为改变会导致数据发生变化，进而影响决策。...针对目前在线实时反欺诈的痛点，玖富集团采用基于 Flink 的超大规模在线实时反欺诈系统，在提升用户体验的同时，也降低了商业损失。...基于 Flink 的超大规模在线实时反欺诈系统架构如下： 对于该套在线实时反欺诈系统的未来规划，玖富第一步会针对 Flink 技术本身，结合玖富在技术、场景等方面的积累，把基于 Flink 的超大规模在线实时反欺诈系统打造成一款数据产品...HBase 是运行在 Hadoop 上的 NoSQL 数据库，它是一个分布式和可扩展的大数据仓库，能够利用 HDFS 的分布式处理模式，并从 Hadoop 的 MapReduce 程序模型中获益，最关键的是可以提供高并发读写操作的支持
所以在这里小编推出一个很好用的实时监控平台CAT。除了能查看BUG外，还能实时监控服务的响应时间，以便于及时的做优化、加机器处理，保障服务的健壮性。...b.数据库配置datasources.xml，需要部署在服务端，用来记录操作信息：app库跟cat库一样，但是不起作用，仅仅保证代码不报错。 ?...CAT节点一共有四个职责 控制台 - 提供给业务人员进行数据查看【默认所有的cat节点都可以作为控制台，不可配置】 消费机 - 实时接收业务数据...，实时处理，提供实时分析报表【默认所有的cat节点都可以作为消费机，不可配置】 告警端 - 启动告警线程，进行规则匹配，发送告警（目前仅支持单点部署）【可以配置】
目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机构统计,然后由下往上一层一层的统计汇总,过程太过繁琐,且统计周期太长....且充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用, 接口故障监控也成为了重点监控的内容之一.为此建设一个能够实时监控全国的充值情况的平台, 掌控全网的实时充值, 各接口调用情况意义重大....2.4 Mysql 存储Offset 防止消息重复消费 2.5 Redis存储业务数据 保存实时流的业务数据。分布式数据库，基于内存，速度快。...所以，处理完业务之后，首先将业务数据保存在一个临时的数据库中。在Driver端保存offset的时候，从临时数据库中读取业务处理数据，和保存offset做一个事务。同时保存到数据库。...org.apache.spark").setLevel(Level.OFF) //SparkCOnf属性配置 val conf = new SparkConf().setAppName("中国移动实时监控平台
DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。...综上，datahub是目前我们实时数据治理的最佳选择，只是目前datahub的资料还较少，未来我们将持续关注与更新datahub的更多资讯。...前者适合离线，后者适合实时。 DataHub的API基于Rest.li，这是一种可扩展的，强类型的RESTful服务架构，已在LinkedIn上广泛使用。...目前datahub正在迅速发展，虽然还不是很活跃，也缺少相关的资料，但凭着与kafka的良好融合，datahub一定会在实时数据治理领域崭露头角。...更多实时数据分析相关博文与科技资讯，欢迎关注 “实时流式计算”
password: dlink driver-class-name: com.mysql.cj.jdbc.Driver application: name: dlink 注：数据库实例名为...dlink，url 后缀参数可以根据实际数据库连接参数进行修改配置。...初始化数据库表 在对应数据库下执行 sql 目录下的 dlink.sql 脚本。...五、Hello World 登录平台 登录账号和密码在配置文件中设置，默认为 admin/admin。 查看主页 从主页查看当前版本号与更新日志。...后续将带来《Dlink 实时计算平台——功能篇》、《Dlink 实时计算平台——技巧篇》、《Dlink 实时计算平台——原理篇》，敬请期待。
基于ZeroMQ的实时通讯平台 上篇：C++分布式实时应用框架 (Cpp Distributed Real-time Application Framework)----(一):整体介绍 版权声明...通讯平台作为C++分布式实时应用框架(Cpp Distributed Real-time Application Framework)的最核心模块，承担了分布式实时框架的基础通讯功能。...强大的实时监控能力，可以实时上报每个通讯子节点的TPS和时延等关键性能数据。管控业务进程的能力，业务进程的心跳检测，故障时自动重启、保证系统正常运行。...完善的平台工具，可以通过通讯平台向业务进程发送各种命令，如：调整日志级别，刷新业务参数，启停业务进程等等。下面将逐一介绍通讯平台的功能细节。 ...启动平台 SmartMonitor 2.
今天大叔给大家推荐美团开发的实时应用监控平台 -- CAT。目前在 GitHub 上 star 16.3k。...CAT 简介 CAT（Central Application Tracking）是基于 Java 开发的实时应用监控平台，包括实时应用监控，业务监控。...CAT 作为服务端项目基础组件，提供了 Java , C/C++ , Node.js , Python , Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC 框架，RPC 框架，数据库框架...，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。...cat-consumer 服务端，用于实时分析从客户端提供的数据。 cat-home 管理端，作为用户提供给用户的展示的控制端。
一、数据准备 1、首先，我们需要用户的所有数据，使用MapReduce进行数据处理，生成业务宽表导入hbase与Redis，用于后续实时处理直接从Redis中获取相应数据，减少读写磁盘IO的消耗。
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。...二、实时计算平台建设实践从我们大数据平台的体系架构上来看，我们通过汇聚层能力收集整个vivo互联网的埋点、服务器日志，通过计算、存储、分析等能力从海量数据中挖掘出业务价值。...实时计算作为平台的核心能力之一，它同时满足了大规模数据计算和高时效计算的需求，我们通过实时计算平台来承载和向业务提供这方面的能力。...vivo实时计算平台是基于Apache Flink计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。...三、应用场景简介3.1 实时数仓vivo大数据团队基于vStream平台建设的实时数仓服务覆盖了应用分发、内容分发、产品平台、商业化等多个业务线的报表、营销、推荐、决策、广告等多种应用场景。
Redis作为缓存系统，在整个后端体系中是较为重要的一环，需要实时监控运行状态。...今天就和大家分享redis-exporter+grafana+prometheus构建Redis实时监控。 ?
实时预测服务介绍 实时预测服务针对的是挖掘类标签，是将离线标签挖掘模型在线化的过程，其可以提供实时预测用户标签值的能力。...实时预测服务的重点是模型在线化部署以及实时特征获取。...PyTorch开发的深度学习模型，可以借助其自带的Serving方法进行模型在线化；如果使用的是XGBoost训练模型，可以借助XGBoost4J在Java中实现模型实例化；有些公司也会自研模型实例化平台...第二种是集中式管理实时特征，即通过消费各种实时数据流生成实时特征并存储到缓存中，在实时预测过程中直接查询使用该实时特征数据。...模型文件和特征文件更新后可以自动更新到实时预测服务中，保证了服务能力的迭代升级。 ---- 本文节选自《用户画像：平台构建与业务实践》，转载请注明出处。
性能实时监控平台 Jmeter+InfluxDB+Grafana 目录 1、前言 2、安装与配置 2.1、InfluxDB 2.2、Grafana 2.3、Jmeter 3、Grafana数据源 4、Grafana...如下图所示：Jmeter的Transactions per Second图表 本篇将以Jmeter为基础来搭建性能实时监控平台Jmeter+InfluxDB+Grafana 平台整体流程： Jmeter...2.2、Grafana Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。...之后执行Jmeter脚本进行压测，可实时监控指标的走向。...之后执行Jmeter脚本进行压测，实时监控指标的走向。 根据实际需要，进行数据筛选。 监控效果图：
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。...indexer，logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示 一、开源实时日志分析...ELK平台部署流程： 1、安装Logstash依赖包JDK Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。...到此，说明你的ELK平台安装部署完成。...到此，ELK平台部署和基本的测试已完成。
导读：实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台。...，实时抽取出增量数据，对于数据库会采用操作日志抽取方式，对于日志类型支持与多种Agent对接。..._id_ ✔ 确认每条消息的事件时间戳（event timestamp），对应系统字段ums\_ts_ ✔ 确认每条消息的操作模式（增删改，或insert only），对应系统字段ums\_op_ 对数据库表结构变更实时感知并采用版本号进行管理...1.2.2.1 元数据管理（Metadata Management） DBus会自动将实时感知的数据库元数据变化记录下来并提供服务 DBus会自动将在线格式化的日志元数据信息记录下来并提供服务 DBus...2.1.4 适用场景 跨部门数据实时同步共享 交易数据库和分析数据库解耦 支持数仓实时ODS层建设 用户自助实时简单报表开发 等等 2.2 流算模式 2.2.1 模式描述 流算模式，是指在同步模式的基础上
导读：2019年5月，美团正式推出新品牌「美团配送」，升级配送开放平台。那你知道支撑美团配送大脑的实时特征平台是如何建设的吗？如何实现每分钟生产千万级的实时特征？...算法要做以上这些智能决策过程中，就需要做履约过程整个链路的数字化，通过实时特征平台来做实时感知的数字化，通过AIoT平台完成如骑手骑行、爬楼等行为精准感知的数字化；本次主要介绍实时感知数字化的实时特征平台...02 实时特征平台建设 1. 背景 ?...耦合在业务系统内部的基于Rpc计算在公司有成熟的监控运维体系和技术框架，但有一个问题是，该场景主要是基于关系型数据库进行计算的，例如MySQL，是存在单点问题的，扩展较难。...最后，就是实时特征计算服务FCS，每个计算节点有多个worker，每个worker中有task会做基于内存数据库H2的计算，当收到MQ的区域信息后，会拉取对应区域的宽表数据，在H2中计算实时特征，计算完成后会继续计算下一批的实时特征
导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。...在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。...） 数据平民化（可视化和自助配置能力） 数据协作化（多租户和分工协作能力） 1)数据实时化（实时同步和流式处理能力） 数据实时化，是指数据从产生（更新至业务数据库或日志）到最终消费（数据报表、仪表板、分析...用户的使用体验是面对一个单一数据库进行操作，但其实这是一个虚拟化的数据库，数据本身并不存放于虚拟数据库中。...1)统一数据采集平台 统一数据采集平台，既可以支持不同数据源的全量抽取，也可以支持增强抽取。其中对于业务数据库的增量抽取会选择读取数据库日志，以减少对业务库的读取压力。
腾讯大数据最近做了几件事，上线了一个官方网站http://data.qq.com/，将TDW(腾讯大数据库仓库）开源了，封闭的企鹅难得开放了一回。...关于实时分析系统我前面写个几篇文章分析，包括《实时分析系统(HIVE/HBASE/IMPALA)浅析》《MPP DB 是 大数据实时分析系统 未来的选择吗？》...腾讯的Hermes系统，是开源的lucene演变而来，主要用的是搜索和索引技术，所以hermes也叫实时检索分析平台。这个是另外一个思路，可以值得看看。...一个基于搜索引擎技术的海量数据实时检索分析平台。侧重数据分析。 2. 数据规模从几亿到几万亿不等。最小的表也是千万级别。...参考资料： 1、关于hermes与solr，es的定位与区别 http://user.qzone.qq.com/165162897/2 2、Hermes实时检索分析平台 http://data.qq.com
本文来自B站实时平台负责人郑志升在 Flink Forward Asia 2019 上的技术分享，重点介绍了B站基于 Apache Flink 的流式计算平台建设，以及结合AI的案例实践。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
