开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

从接收节拍数据到生成1分钟K线的实时处理

，可以使用以下步骤和技术：

数据接收：通过网络通信，接收来自交易所或其他数据源的节拍数据。可以使用WebSocket协议来实时接收数据，也可以使用HTTP协议定时拉取数据。腾讯云提供了消息队列CMQ和云API网关等产品来实现数据接收。
数据解析：将接收到的原始数据解析成可处理的格式。根据不同交易所的数据格式，可以使用相应的解析算法，如FIX协议、JSON解析等。腾讯云提供了API网关和云函数SCF等产品来进行数据解析。
数据存储：将解析后的数据存储到数据库中。可以使用关系型数据库MySQL或非关系型数据库MongoDB等。腾讯云提供了云数据库MySQL和云数据库MongoDB等产品来进行数据存储。
数据处理：根据1分钟K线的生成规则，对存储的数据进行实时处理。例如，对于股票市场，可以根据收盘价、开盘价等信息计算出1分钟K线的开盘价、最高价、最低价和收盘价等。腾讯云提供了云函数SCF和数据处理工作流COS等产品来进行数据处理。
K线生成：根据处理后的数据生成1分钟K线图表。可以使用前端开发技术，如HTML、CSS和JavaScript来展示K线图表。腾讯云提供了云函数SCF和云开发服务等产品来进行前端开发。
实时更新：将生成的K线图表实时更新到前端页面，以便用户实时查看最新的K线数据。可以使用WebSocket协议将数据推送到前端页面，实现实时更新。腾讯云提供了WebSocket服务和云开发服务等产品来进行实时更新。

这是一个简单的流程，实际应用中还可能涉及到数据清洗、异常处理、性能优化等环节。同时，根据具体需求和场景，可以选择不同的腾讯云产品来完成各个步骤，如云函数SCF、云数据库MySQL、云开发服务等。

参考链接：

腾讯云消息队列CMQ：https://cloud.tencent.com/product/cmq
腾讯云API网关：https://cloud.tencent.com/product/apigateway
腾讯云云函数SCF：https://cloud.tencent.com/product/scf
腾讯云云数据库MySQL：https://cloud.tencent.com/product/cdb_mysql
腾讯云云数据库MongoDB：https://cloud.tencent.com/product/cdb_mongodb
腾讯云数据处理工作流COS：https://cloud.tencent.com/product/cos
腾讯云云开发服务：https://cloud.tencent.com/product/tcb
腾讯云WebSocket服务：https://cloud.tencent.com/product/tws

相关搜索:如何从R中的绘制线生成数据？从VisualStudio生成的数据库内容到Programmer Generated 使用从REST API接收的数据将数据绑定到Html标签| IONIC和Angular 如何从接收到数据的类事件中获取数据到MainWindow以更新UI 如何将数据存储到从reactjs中的props接收的const变量如何在javascript中生成从flask到json数据格式的数据我希望我从API接收的数据被保存并传递到Angular中的URL？从数据帧的n列中为每一行随机选择k个值，并将它们存储到相同数据帧的k列中将数据从登录屏幕传递到主页。如果登录数据正确，则从返回用户数据的api接收数据我正在使用DOM生成一个下拉菜单，并用从API接收的数据填充选项从输入到y_col的具有多个列名的数据流生成类型错误为循环中的一组线生成绘图，以便从包含大量数据的文件中轻松创建不同的绘图？在php中查看以blob数据类型到新页面的形式从数据库接收的图像按从001到999的顺序生成数字，但不在数据中放置相同的数字如何从java中的数组列表生成二维码并存储到数据库？从文本文件中读取数据并将数据存储到表中会使用c++生成损坏的表有没有办法以预定义的顺序通过数据线将文件从S3复制到红移如何使用java生成一个从数据库读取数据的excel文件，这些数据应该分散到excel文件中的多个工作表中吗？

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

java应用监控之CAT简介

java应用监控之调用链跟踪选型之Zipkin、Pinpoint、SkyWalking、CAT

02

Linux CPU监控

负载为1表示当前单核CPU全部占用，如果一台机器有3个CPU，每个CPU都是双核的，这是负载最大值为1×2×3=6。如果5分钟以及15分钟的负载指标的大于CPU个数×CPU核数×0.7，并且长时间比较高，说明CPU不够用。

07

今日指数项目之项目介绍和数据采集【四】

基于flink实时流计算的，金融证券项目，实时大屏展示，预警模块和离线模块的处理。

01

实时应用监控平台，你值得拥有！

场景一：用户反馈 App 无法下单，用户反馈无法支付，用户反馈商品无法搜索等问题。

02

数字孪生在工厂中的应用方式

近些年来，数字孪生在越来越多的工业领域得以运用。一些人根据数字孪生理念提出了数字孪生车间;美国国防部将数字孪生理念引入到航空航天领域;PTC公司则基于数字孪生理念运用于产品售后服务与支持，为客户带来更好的售后体验。建立数字化工厂平台，以三维模型为载体，将数字化交付的各阶段数据整合并可视化地展示出来，从而构建出与现实工厂完全一致的数字化模型。

02

大众美团服务链监控CAT

CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。

02

收藏|如何做一个好的大数据平台架构

Lambda架构背后的需求是由于MR架构的延迟问题。MR虽然实现了分布式、可扩展数据处理系统的目的，但是在处理数据时延迟比较严重。实际上如果内存和CPU足够强大，MR也可以实现近实时运算，但实际业务环境并非如此，因此我们需要权衡，选择实时处理和批处理所需要数据量和恰当的资源。

05

美团点评CAT监控平台研究

支持 Transaction、Event、Heartbeat、Metric 四种消息模型

02

Apache Kylin最新的Streaming OLAP实现

本文来自作者在GitChat（ID：GitChat_Club）上的精彩分享，CSDN独家合作发布。 Apache Kylin是第一个来自中国的Apache顶级开源项目，连续两年获得了InfoWorld最佳开源大数据工具奖，2016年更是与Google TensorFlow一起获得该奖。 Apache Kylin的社区也非常活跃，目前Kylin被用于eBay、Expedia、网易、美团、百度、唯品会、京东、搜狐、OPPO等知名公司，在全球范围有200多家公司正式使用，而且都应用得非常大。 Kylin解决的

07

实时数仓：实时数仓3.0的演进之路

传统意义上我们通常将数据处理分为离线数据处理和实时数据处理。对于实时处理场景，我们一般又可以分为两类，一类诸如监控报警类、大屏展示类场景要求秒级甚至毫秒级；另一类诸如大部分实时报表的需求通常没有非常高的时效性要求，一般分钟级别，比如10分钟甚至30分钟以内都可以接受。

01

离线和实时大数据开发实战

这本书是公司一位负责数据库的同事推荐的，正好数据中心也在重构和优化，以应对更加海量的数据，所以便花了点时间读完了这本书。全书分了三个篇章：全局概览，从比较高的高度概述了大数据的概念及相关技术；离线数据开发，主要讲解了Hadoop和Hive以及相关的数据建模；实时数据开发，按照各个技术出现的时间先后，依次讲解了Storm、Spark、Flink和Beam。

03

今日指数项目之需求调研【三】

大数据平台作为底层的基础数据平台，集群规模、计算存储性能将决定流、批的性能指标上限。所以需要考虑整个大数据平台的吞吐量（网络、磁盘IO）、响应速率、计算能力、高并发性、高可用、维护性方便等，以满足多业务场景下，不同应用需求的建设任务，比如多维分析、实时计算、即席查询和数据统计分析等应用功能。本项目大数据平台在建设过程中，将满足如下性能指标： 批处理部分指标： 支持批处理集群批量总写入速度2GB/秒，批量读取速度300MB/秒； 平台支持并发执行300个查询和200个加载任务； 应用查询时间对于数据库的简单数据读取将不超过1~2秒，三个月统计计算查询时间将不超过15秒，复杂查询时间将不超过1分钟； 复杂批处理任务，ETL的处理时间将不超过2个小时； 实时流处理指标： 平台支持接收峰值为每秒100万条+的流数据； 平台能够在峰值条件下，完成2秒内的实时预警，2秒内完成针对当日数据的查询; 平台每日实时处理模块能够累积处理144亿笔（按4小时交易日保持峰值流速计）订单流数据； 平台支持至少50个并发访问/查询当日数据。 应用响应指标： 数仓应用项目离线报表30秒内完成数据响应查询； 实时大屏数据展示5秒内完成数据响应查询； 应用平台支持并发执行500个用户查询请求；

02

【用Rust玩嵌入式】用STM32做一个拇指琴音符指示器

本文来自 JiaYe 的投稿，原文地址：https://zhuanlan.zhihu.com/p/108104930

01

Streaming-大数据的未来

分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch

02

Streaming-大数据的未来

分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch

02

Storm VS Flink ——性能对比

Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。而 Apache Flink（以下简称“Flink”）在近期倍受关注，具有高吞吐、低延迟、高可靠和精确计算等特性，对事件窗口有很好的支持，目前在美团点评实时计算业务中也已有一定应用。为深入熟悉了解 Flink 框架，验证其稳定性和可靠性，评估其实时处理性能，识别该体系中的缺点，找到其性能瓶颈并进行优化，给用户提供最适合的实时计算引擎，我们以实践经验丰富的 Storm 框架作为对照，进行了一系列实验测试 Flink 框架的性能，计算 Flink 作为确保“至少一次”和“恰好一次”语义的实时计算框架时对资源的消耗，为实时计算平台资源规划、框架选择、性能调优等决策及 Flink 平台的建设提出建议并提供数据支持，为后续的 SLA 建设提供一定参考。 Flink 与 Storm 两个框架对比：

04

Storm VS Flink ——性能对比

Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。而 Apache Flink（以下简称“Flink”）在近期倍受关注，具有高吞吐、低延迟、高可靠和精确计算等特性，对事件窗口有很好的支持，目前在美团点评实时计算业务中也已有一定应用。为深入熟悉了解 Flink 框架，验证其稳定性和可靠性，评估其实时处理性能，识别该体系中的缺点，找到其性能瓶颈并进行优化，给用户提供最适合的实时计算引擎，我们以实践经验丰富的 Storm 框架作为对照，进行了一系列实验测试 Flink 框架的性能，计算 Flink 作为确保“至少一次”和“恰好一次”语义的实时计算框架时对资源的消耗，为实时计算平台资源规划、框架选择、性能调优等决策及 Flink 平台的建设提出建议并提供数据支持，为后续的 SLA 建设提供一定参考。 Flink 与 Storm 两个框架对比：

01

走近汽车制造(四)——总装

说起总装，我可是有很多话要说，刚参加工作时。到车间实习，就给分配到了总装车间。车间很有些年头了，环境不太好。夏天，干活干的总是一身臭汗。虽然在那里干的也都是些小活。

01

是什么让Flink成为最火计算引擎

我是在两年前随公司参加一个会议上知道的Flink,那是一家做大数据安全的公司，利用大数据分析安全威胁预警。当时会议上他们展示了三种流计算技术，大家应该都知道，也就是最常见的Storm、SparkStreaming与Flink。Storm的标记是‘过去’，SparkStreaming的标记是‘现在’，而Flink上的标记是‘未来’。当时我们的业务没有实时处理，所以对这方面不了解。但是我就记住了‘未来’这两个字。

01

2019年部分实习面经回顾

下面献上、年初开始的部分实习面试经历：地平线一上来手撕代码： 1.输入一个单向链表，输出该链表中倒数第k 个结点 2.有一段楼梯台阶有50级台阶，一个人一步最多只能跨3级，登上这段楼梯有多少种

02

python_库学习_01

可能会出现缺少依赖库的情况，依次安装，大概有lxml,pandas,bs4,requests,pandas依次安装后查看tushare官方文档详细接口的使用

02

数据揭秘：春运车票有多难抢？

传说中的春运抢票，是一项对手眼协调速度、徒手计算机操作速度、奇特图形辨识速度等个人身体能力，对计算机配置、网速、网络稳定性等硬件基础设施条件，对地区经济发展、交通运输水平等宏观经济背景，以及运气等不确定因素的综合比拼。

02

tick数据研究

经常听见tick数据，回测的时候也用过，但是还真的没有自己去处理过tick数据，据说tick数据有很多坑，所以打算自己研究一下。首先的第一步就是先拿正常的tick数据来生成bar，从而能够理解一些细节，然后就是自己用ctp去接收tick数据，看看ctp有没有坑。

02

iOS音视频接入- TRTC计费及套餐介绍

实时音视频 TRTC 的服务项根据服务类型划分为基础服务和增值服务两大类。除了这两大类之外，从2019年10月11日起，首次在实时音视频控制台创建应用的腾讯账号，还可有10000分钟的免费试用，也就是第一次使用实时音视频这个产品就会有免费试用。有免费试用可以先试用，试用之后再看使用效果在决定是否续费套餐及购买活动的超值套餐。

02

老鼠也会跟着音乐「蹦迪」，最喜欢Lady Gaga的歌｜日本新研究

日本东京大学的一项研究发现：老鼠也会踩点打节拍，并且和人类一样，对120-140bpm节拍的音乐最有感觉。

04

SENT信号介绍

提到车载总线，我们会立马想到经济可靠的CAN、Lin以及成本过高的FlexRay或Ethernet总线。但随着车载传感器数量的增加和对测量精度要求的提升，需要一种相比CAN或Lin更便捷、可靠、经济的车载数据通讯解决方案。

04

可观察性多方发问！日志易作出如下回应

Skywalking是开源的分布式应用性能监控产品，用于收集、分析、聚合、可视化来自不同服务和本地基础服务的数据，具备链路追踪和APM的能力，更像一个现代的性能管理系统。它功能丰富，具备对Tracing以及Metric的管理能力、性能分析能力，其关注的重点只是“可观察性”，但是从日志、运维监控以及扩展性方面来看，存在一些不足。

02

流计算框架 Flink 与 Storm 的性能对比

Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用，有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。

00

干货：流计算框架 Flink 与 Storm 的性能对比

02

流计算框架 Flink 与 Storm 的性能对比

背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。而 Apache Flink（以下简称“Flink”）在近期倍受关注，具有高吞吐、低延迟、高可靠和精确计算等特性，对事件窗口有很好的支持，目前在美团点评实时计算业务中也已有一定应用。为深

技术干货|eBay对流量控制说“so easy”！

流量控制对于保证Web服务的安全性和可靠性至关重要。在安全性方面，需要阻止黑客频繁访问某些API而获取大量信息。在可靠性方面，任何服务在有限资源的情况下能处理的TPS都有上限。如果超过上限，Service的SLA会急剧下降，甚至服务不可用。根据队列理论，越多的流量，就会导致更多的延迟。所以为了保证Service的SLA，必须进行流量控制。本文介绍了一个基于Kafka和Storm的异步通用的流量控制方案；同时描述了如何根据数据倾斜程度来自动切换处理流程，以确保系统灵活性和延展性。最后，性能测试结果验证了该方案在高吞吐量时也能将计算延迟控制在6ms左右。

02

股票历史数据下载接口汇总（动态更新）

接口名称 Api接口接口描述 A股列表 getStockHSABaseInfo 沪深A股基本信息每日行情 getStockHSADailyMarket 沪深A股每日行情数据实时数据 getStockHSAMinuteKLine 沪深A股实时数据，提供30个交易日内的每日实时交易数据，数据以分钟为粒度。时线数据 getStockHSAHourKLine 沪深A股分时数据，提供30个交易日内的5分钟、15分钟、30分钟、60分钟数据。日线数据 getStockHSADayKLine 沪深A股日线、周线、月线数据 B股列表 getStockHSBBaseInfo 沪深B股基本信息每日行情 getStockHSBDailyMarket 沪深B股每日行情数据实时数据 getStockHSBMinuteKLine 沪深B股实时数据，提供30个交易日内的每日实时交易数据，数据以分钟为粒度。时线数据 getStockHSBHourKLine 沪深B股分时数据。提供30个交易日内的5分钟、15分钟、30分钟、60分钟数据。日线数据 getStockHSBDayKLine 沪深B股日线、周线、月线数据股票账户 getStockAccount 股票账户统计详细数据交易日历 getTradeDate 股票市场交易日历市场两融交易 getRzRjMarket 沪市、深市融资融券交易信息个股两融交易 getStockRzRj 沪深A股融资融券交易信息两融账户信息 getRzRjAccount 沪深A股融资融券账户信息涨停股池 getPoolZT 涨停板行情之每日涨停股池强势股池 getPoolQS 涨停板行情之每日强势股池次新股池 getPoolCX 涨停板行情之次新股池炸板股池 getPoolZB 涨停板行情之每日炸板股池跌停股池 getPoolDT 涨停板行情之每日跌停股池基金列表 getCnFundBaseInfo ETF、LOF基本信息每日行情 testgetCnFundDailyMarket 场内基金每日行情数据实时数据 testgetCnFundMinuteKLine 场内基金实时数据，提供30个交易日内的每日实时交易数据，数据以分钟为粒度。时线数据 testgetCnFundHourKLine 场内基金分时数据，提供30个交易日内的5分钟、15分钟、30分钟、60分钟数据。日线数据 testgetCnFundADayKLine 场内基金日线、周线、月线数据每日行情 getFundRank 基金每日行情数据基金信息 getFundBaseInfo 所有基金基本信息基金净值 getFundNav 基金净值数据基金持仓 getFundPosition 基金持仓数据港股列表 getStockHKBaseInfo 港股股票基本信息每日行情 getStockHKDailyMarket 港股行情数据，提供30个交易日内的每日行情数据。实时数据 getStockHKMinuteKLine 港股实时数据，提供30个交易日内的每日实时交易数据，数据以分钟为粒度。时线数据 getStockHKHourKLine 港股分时数据，提供30个交易日内的5分钟、15分钟、30分钟、60分钟数据。日线数据 getStockHKDayKLine 港股日线、周线、月线数据沪深指数 getIndexHSBaseInfo 沪深指数基本信息香港指数 getIndexHKBaseInfo 香港指数基本信息全球指数 getIndexQQBaseInfo 全球指数基本信息债券指数 getIndexBondBaseInfo 债券指数基本信息每日行情 testgetIndexDailyMarket 所有指数行情数据，提供30个交易日内的每日行情数据。实时数据 testgetIndexMinuteKLine 所有指数实时数据，提供30个交易日内的每日实时交易数据，数据以分钟为粒度。时线数据 getIndexHourKLine 所有指数5分钟、15分钟、30分钟、60分钟数据。保留30个交易日内的5分钟、15分钟、30分钟成交数据，保留全部60分钟成交数据。日线数据 getIndexDayKLine 所有指数日线、周线、月线数据债券列表 getBondHSBaseInfo 沪深可转债基本信息债券信息 getBondHSDetailInfo 沪深可转债详细信息每日行情 testgetBondHSDailyMarket 可转债行情数据，提供30个交易日内的每日行情数据。实时数据 getBondHSMinuteKLine 可转

02

流计算框架 Flink 与 Storm 的性能对比

1. 背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试：https://tech.meituan.com/test-of-storms-reliability.html），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。而 Apache Flink（以下简称“Flink”）在近期倍受关注，

03

Netflix数据管道的变化历程

CSDN授权转载作者：Real-Time Data Infrastructure Team 译者：刘旭坤去年12月我们的Keystone数据管道正式投入使用，本文我们就来讲讲这些年Netflix数据管道的变化历程。数据是Netflix的中心，很多的商业决策和产品设计都是依据数据分析而做出的决定。在Netflix，数据管道的目的是对数据进行收集归纳和处理，几乎我们所有的应用都会用到数据管道。下面我们先来看看有关Netflix数据管道的一些统计数据：每天约5000亿个事件，1.3PB的数据高峰

05

流计算框架 Flink 与 Storm 的性能对比

1. 背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试：https://tech.meituan.com/test-of-storms-reliability.html），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。而 Apache Flink（以下简称“Flink”）在近期倍受关注，

09

Netflix数据管道的演进

原文链接：Evolution of the Netflix Data Pipeline 作者：Real-Time Data Infrastructure Team 译者：刘旭坤（责编/仲浩）去年12月我们的Keystone数据管道正式投入使用，本文我们就来讲讲这些年Netflix数据管道的变化历程。数据是Netflix的中心，很多的商业决策和产品设计都是依据数据分析而做出的决定。在Netflix，数据管道的目的是对数据进行收集归纳和处理，几乎我们所有的应用都会用到数据管道。下面我们先来看看有关Net

python股票数据分析_用Python抓取新浪的股票数据「建议收藏」

最近做数据分析，先是找到了Tushare这个免费开源的第三方财经包，但后来用了几天之后发现，它的日交易历史数据有时候有不准确的情况，查看源代码发现，这个包的数据源是凤凰财经，而对比凤凰网站其站点的数据本身就是有出入的，所以到也不是Tushare的问题。于是百度了一圈，发现很多网友都是获取新浪的股票数据，包括其历史数据和实时数据。于是乎试了一下，发现速度还挺快，没有具体去测时间但从感官上要比Tushare获取的凤凰数据要快得多。并且数据也很丰富，囊括了每只票自上市以来的所有数据，对此Tushare貌似只有三年数据。当然，新浪数据也有不足的地方，细节上没凤凰数据那么丰富，没有价MA5、MA10以及量MA5、MA10等等，最重要的还是缺少每天的交易额。所幸我目前计算所需的数据里还不包括每天交易额。

02

从ZETA无线通信技术特点出发选择合适的物联网协议

不过，对于某些领域的应用，距离、速率、功耗等这些要求都会有所不同，很难通过一种特定的技术来满足所有应用的要求，例如：在无线通信领域，想要降低数据传输的时延，往往需要提高传输的数据速率，但是数据速率也并非越高越好，速率越高信号就越容易产生衰减，导致传输距离就会变短。

02

log1 | 自己做的一个股票辅助决策小程序

除去基本面的影响不说，对于散户而言，炒股最忌讳的就是两点：一是高频操作，二是因为贪心而忽视了自身事先设定的预期。

01

Spark适用场景以及与Hadoop MapReduce优势对比

Spark的适用场景从大数据处理需求来看，大数据的业务大概可以分为以下三类：（1）复杂的批量数据处理，通常的时间跨度在数十分钟到数小时之间。（2）基于历史数据的交互式查询，通常的时间跨度在数十秒到数分钟之间。（3）基于实时数据流的数据处理，通常的时间跨度在数百毫秒到数秒之间。目前已有很多相对成熟的开源和商业软件来处理以上三种情景：第一种业务，可以利用 MapReduce 来进行批量数据处理；第二种业务，可以用 Impala 来进行交互式查询；对于第三种流式数据处理，可以想到专业的流数据处理

03

简单实时计算方案（kafka+flink+druid/es）

最近在从事实时方面的工作，主要涉及到数据处理、加工及可视化，在采坑的过程中总结出一套比较简单的实时计算方案，供大家参考。主要涉及到几个组件，kafka，flink，redis，druid和es。相信大家对以上几个组件都比较熟悉了，这里就不细说了。我们从一个简单的需求，来说明各个组件是怎么协作的。

02

大数据入门：Flink核心概念详解

在流式计算越来越受到主流青睐的市场状况下，流式计算框架技术的掌握，正在成为大数据学习当中的重要部分。以Flink框架来说，作为新一代的流计算框架，越来越多地出现在大数据开发者们的技能树当中。今天的大数据入门分享，我们就来讲讲FLink的几个核心概念。

02

SwiftUI 动画进阶 — Part4：TimelineView

前三篇高级 SwiftUI 动画系列是作者在 WWDC 2021 之前实战总结的内容。对 2021 年 WWDC 介绍的 TimelineView 和 Canvas 感到激动。这开启了一个全新的可能性，笔者将试图在这一部分和下一部分的系列中阐释这些可能性。

03

AI自动剪辑生成视频探索实践

点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 // 编者按：随着短视频时代的到来，以短视频作为载体进行音乐推广具备了更大的想象空间。海量的视频和图像素材库使得音乐短片视频制作者往往需要花费大量的时间和精力去寻找或是制作与音乐短片相关的图像或视频，十分浪费人力物力。LiveVideoStackCon 2022上海站大会邀请到了网易云音乐音视频算法专家赵剑，详细介绍网易云音乐结合多年音乐领域多模态算法能力积累与实际业务需求，实现A

02

从SAP最佳业务实践看企业管理(100)-精益生产

精益生产产生的背景丰田的TPS就是为企业的现金流做贡献、消除库存，缩短制造时间。佐佐木元给出一个令人震惊的数据：制造过程降低10%的成本=经营层面在市场扩大销售额的一倍，资金周转率提高1%=市场占有率提高10%。如果销售额是10亿日元，周转率提高1%，那么，对现金流的贡献是100亿。佐佐木元曾经站在某家中国工厂的现场，观察一个工人30秒。他发现中国企业浪费太大！工人们工作起来没有章法、没有节奏，太乱。最后，佐佐木元的结论是：如果别的因素不考虑，在中国有效推行丰田生产方式，只要进行作业改善，不需要花钱进设

03

数仓指标一致性

正确性：正确性代表了指标的可信度，如果一个指标无法保证其正确性，那么是不能提供出去使用，因为很有可能会导致作出错误的业务决策，通常会使用明细数据对比、维度交叉对比、实时对比离线等方式校验数据的正确性；另外一方面可以增加一些DQC校验，例如唯一性验证、最大/最小值验证等。

04

外卖订单量预测异常报警模型实践

前言外卖业务的快速发展对系统稳定性提出了更高的要求，每一次订单量大盘的异常波动，都需要做出及时的应对，以保证系统的整体稳定性。如何做出较为准确的波动预警，显得尤为重要。从时间上看，外卖订单量时间序列有两个明显的特征（如下图所示）：周期性。每天订单量的变化趋势都大致相同，午高峰和晚高峰订单量集中。实时性。当天的订单量可能会受天气等因素影响，呈现整体的上涨或下降。订单量波动预警，初期外卖订单中心使用的是当前时刻和前一时刻订单量比较，超过一定阈值就报警的方式，误报率和漏报率都比较大。后期将业务数据上传到

04

腾讯看点视频推荐索引构建方案

一、背景在视频推荐场景中，一方面我们需要让新启用的视频尽可能快的触达用户，这一点对于新闻类的内容尤为关键；另一方面我们需要快速识别新物品的好坏，通过分发的流量，以及对应的后验数据，来判断新物品是否值得继续分发流量。而这两点对于索引先验数据和后验数据的延迟都有很高的要求。下文将为大家介绍看点视频推荐的索引构建方案，希望和大家一同交流。文章作者：纪文忠，腾讯QQ端推荐研发工程师。注：这里我们把视频创建时就带有的数据称为先验数据，如tag，作者账号id等，而把用户行为反馈的数据称为后验数据，如曝光、点击、

04

UAS：大众点评用户行为系统

随着整个中国互联网下半场的到来，用户红利所剩无几，原来粗放式的发展模式已经行不通，企业的发展越来越趋向于精耕细作。美团的价值观提倡以客户为中心，面对海量的用户行为数据，如何利用好这些数据，并通过技术手段发挥出数据的价值，提高用户的使用体验，是我们技术团队未来工作的重点。

03

浅析Lambda架构

Lambda架构（Lambda Architecture）是由Twitter工程师南森·马茨（Nathan Marz）提出的大数据处理架构。这一架构的提出基于马茨在BackType和Twitter上的分布式数据处理系统的经验。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭