背景 马老师曾提到三次技术革命：“第一次技术革命是体能的释放，是让人的力量更大，第二次技术革命是对能源的利用，使得人可以走得更遥远，而这一次技术革命是IT时代走向DT时代，是真正的大脑的释放。我们其实
移动推送（TencentPush Notification Service，TPNS）通过稳定、快速、高抵达的推送服务，助力APP与用户之间的连接。仅需快速植入SDK，便可通过设定精准的用户标签，使用有效提升消息抵达率的双Service联合保活通道和每分钟可容纳1800万推送消息的系统，实现终端消息秒级到达，满足App的各项推送需求。
一年一度的双十一又双叒叕来了，给技术人最好的礼物就是大促技术指南！而经过这些年的发展，大促早已不仅仅局限于电商行业，现在各行各业其实都会采用类似方式做运营活动，汽车界有 818，电商有 618 、11.11 等等，各种各样的大促场景，对包括数据库在内的基础软件提出了很多新挑战，同时也积累了诸多最佳实践。
618大促来临，在零点的时候，你打开购物车、点点点、清空，整个过程一气呵成。但背后，成千上万的数据在马不停蹄、加速流转，以保障消费体验流畅有序。 腾讯云和数据库服务是背后默默守护的“无名英雄”。电商订单、支付、物流等核心链路，都是以数据库为基础。一旦数据库成为瓶颈、或任何细微的疏忽，整个618大促将会变成一个大型“灾难现场”。 一场电商大促，涉及到的数据量有多大？ 以一个消费者的购买过程为例，一次下单行为，对于后端数据库就有多次读写调用；如果是秒杀场景就会产生“热点更新”的问题，更是对数据库内核优化能力
首先，数据湖可存储海量、低加工的原始数据。在数据湖中开发成本较低，可以支持灵活的构建，构建出来的数据的复用性也比较强。
针对电商平台上的作弊行为，阿里巴巴一直秉承着零容忍的态度，在虚假交易的识别防控以及处罚力度上没有最强只有更强。经过多年在全球最大的电商平台大数据上的沉淀和积累，阿里电商反作弊形成了一套监控预警、识别分析和处罚管控的多维度监管机制，特别是对虚假交易的数据监控和算法识别上应用了覆盖全链路大数据的实时分析处理能力以及大规模图搜索技术来鉴别作弊行为。
Apache Doris 是一款开源的 MPP 分析型数据库产品，不仅能够在亚秒级响应时间即可获得查询结果，有效的支持实时数据分析，而且支持 10PB 以上的超大的数据集。相较于其他业界比较火的 OLAP 数据库系统，Doris 的分布式架构非常简洁，支持弹性伸缩，易于运维，节省大量人力和时间成本。目前国内社区火热，也有美团、小米等大厂在使用。
本文讨论了京东搜索在实时流量数据分析方面，利用Apache Flink和Apache Doris进行的探索和实践。流式计算在近些年的热度与日俱增，从Google Dataflow论文的发表，到Apache Flink计算引擎逐渐站到舞台中央，再到Apache Druid等实时分析型数据库的广泛应用，流式计算引擎百花齐放。但不同的业务场景，面临着不同的问题，没有哪一种引擎是万能的。我们希望京东搜索业务在流计算的应用实践，能够给到大家一些启发，也欢迎大家多多交流，给我们提出宝贵的建议。
9月30日 饿了么发布《2018消费升级报告》：三四线城市消费升级更快，河北廊坊鹅肝订单增4倍
摘要：实时数仓以提供低延时数据指标为目的供业务实时决策，本文主要介绍基于Flink的广告实时数仓建设，主要包括以下内容：
管控面可以提供高可靠高效可持续运维保障、快速部署小时交付的能力，尤其是针对ClickHouse这种运维较弱但是性能很高的OLAP核心引擎，管控面就显示得尤其重要。
徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 1 方案介绍 大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。 典型的场景如电商大促和金
从 2009 年到 2021 年，从千万交易额到千亿交易额，双 11 已经开展了 12 年。如今，每年的双 11 以及一个月后的双 12，已经成为真正意义上的全民购物狂欢节。刚刚过去的 2021 年双 11，就有超过 8 亿消费者参与。
Redis在缓存应用场景中拥有不可取代的地位，被广泛应用于数据缓存、游戏存储、分布式会话存储、实时分析和机器学习等场景。腾讯云在Redis数据库领域的不断突破，将为用户提供极致易用、易维护、高可靠、低成本的云上数据库服务。
同盾科技是中国领先的人工智能科技企业。为了确保服务的低延迟和高可用性，同盾的技术团队不断寻找最佳的技术架构。经过长时间调研，他们最终选择了新一代分布式数据库 TiDB 作为离线层的核心数据库，基于 TiDB 打造的实时数据架构为风控智能决策保驾护航。
随着业务规模的不断扩大，面临着服务数量不断膨胀、线上环境日益复杂、服务依赖错综复杂等运维痛点，服务依赖自动梳理、拓扑自动生成、调用实时追踪、异常明细分析、调用来源追踪、实时容量规划、问题根因分析等基本的运维诉求及解决方案就尤其重要。
我之前呆过一家创业工作，是做商城业务的，商城这种业务，表面上看起来涉及的业务简单，包括：用户、商品、库存、订单、购物车、支付、物流等业务。但是，细分下来，还是比较复杂的。这其中往往会牵扯到很多提升用户体验的潜在需求。例如：为用户推荐商品，这就涉及到用户的行为分析和大数据的精准推荐。如果说具体的技术的话，那肯定就包含了：用户行为日志埋点、采集、上报，大数据实时统计分析，用户画像，商品推荐等大数据技术。
很多小伙伴留言说让我写一些工作过程中的真实案例，写些啥呢？想来想去，写一篇我在以前公司从零开始到用户超千万的数据库架构升级演变的过程吧。
疫情以来，餐饮行业总体的损失不可谓不沉重，但最先从打击中恢复的却是门店数量最多、经营最复杂的各大快餐巨头，或者更具体的说，是那些在 DTC 有着更多投入和积累的快餐企业。以去年双十一为例，多家快餐顶流仅用不到 12 小时就突破了去年双十一全天的销售额，业务涨势喜人。
Tech 导读 本文基于JDV平台在大促中的各种业务场景，讲解过程中使用情况和技术挑战，通过采取相应的技术创新、技术保障确保系统稳定性，推动数据可视化编排能力在大屏业务场景中发挥更大的价值
每年 Shopee 会在五至十二月的每个大促节点举行电视直播活动。每次大促活动时，各市场的运营人员会与当地电视台合作，在节目直播过程中插入一段玩 Shopee 小游戏的互动环节。
导读本次分享题目为StarRocks物化视图在滴滴的实践，由来自滴滴出行的资深开发工程师刘雨飞老师带来经验分享。
导·读 近日，“2016易观A10大数据应用峰会”主论坛“大数据基础框架设计-实时分析技术平台洞察与实践”上，易观CTO郭炜发表了“企业大数据的实时分析之路”的主题演讲，从技术角度给大家讲述如何用实时
“2016易观A10大数据应用峰会”主论坛“大数据基础框架设计-实时分析技术平台洞察与实践”上，易观CTO郭炜发表了“企业大数据的实时分析之路”的主题演讲，从技术角度给大家讲述如何用实时分析帮助企业进行数据运营。 各位嘉宾，各位领导，各位技术的小伙伴们，早上好！ 非常荣幸今天站在这里和大家分享一下我们易观对于实时分析技术的一些理解。其实昨天于老师也曾经讲过，我们的实时分析会助力我们的用户资产增长，究竟什么是实时分析，实时分析究竟怎么样帮助企业能够做到他的用户资产增长。今天上午主要有几个技术大咖，后面我相信王
小红书使用 TiDB 历史可以追溯到 2017 年甚至更早，那时在物流、仓库等对新技术比较感兴趣的场景下应用，在 2018 年 5 月之后，我们就开始逐步铺开，延展到其他适合 TiDB 的场景中去。截止目前，小红书使用的 TiDB 节点数在 200+ 个，未来也有更大扩展空间。
Cdn服务器在网络上承担着为用户网站访问加速的作用，并且加速的应用也非常的广泛，因此目前这种加速服务器在互联网中有着非常重要的价值，因此通常cdn服务器都需要进行日志，那么CDN日志实时分析的作用是什么？日志分析的好处是什么？
随着互联网、移动互联网、物联网和各种智能终端的快速发展，各种数据无时无刻地生成，新数据的产生成大爆炸趋势，如此大数据量的实时查询和分析能力已然成为企业报表分析系统的重要考量指标。
说到营销，就不可避免地谈到流量，也就是用户。当我们通过营销活动吸引用户进入线索系统，后续的流程就是对用户数据进行清洗、下发跟进，直到用户转化，而用户的转化率是有限的。
数据产品是个新兴的产品分类，每个人眼里都有一个自己的数据产品，尽管在绝大部分人的概念中都是一堆报表。在过去的 3 年里，我们在用户需求的推动下一步步构建了网易严选数据产品体系，下文分享我们在构建过程中自己的一些思考和总结。
导读：随着 K8s 不断更新迭代，使用 K8s 日志系统建设的开发者，逐渐遇到了各种复杂的问题和挑战。本篇文章中，作者结合自己多年经验，分析 K8s 日志系统建设难点，期待为读者提供有益参考。
本文主要是整理博主收集的 Flink 高频面试题。之后每周都会有一篇，助力大家拿下面试。
数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。
翻译自 Real-time Analytic Databases — Thing or Not a Thing?
在过去几年里，实时计算的受欢迎程度呈爆炸式增长。这源于互联网、物联网、人工智能技术的高速发展，以及国家政策层面的大力支持。然而，在企业层面上，实时计算这种技术仍难以得到有效应用。究其原因，主要在于技术门槛高，开发、运维成本难以控制，缺乏成熟的产品化功能。
网络安全态势越来越复杂，传统的基于单点的防护和攻击检测系统在应对现代网络攻击方面有着很大的局限性。
PingCAP DevCon 是 PingCAP 一年一度的技术盛会，致力于探讨前沿科技与数字化趋势的融合，被誉为观测开源产业、数据库前瞻趋势的风向标。**7 月 24 日，以 "开放、连接、预见" 为主题的 PingCAP DevCon 2021 在京举行，为线上线下数万观众带来一场技术盛宴。PingCAP 创始人兼 CEO 刘奇，在大会上介绍了 PingCAP 在开源、企业级、国际化、未来发展方向的思考。**以下是演讲实录，字数 10366 ，需要 55 分钟阅读。
为实现实时分析，通常需要付出巨大努力来实现查询层。开源 StarRocks 可以支持一种无需传统数据流水线即可进行数据分析的方法。
2019年“618大促”告一段落。作为上半年规模最大的促销活动，各大电商平台给出了最大的优惠力度，成绩也都再创新高。
腾讯计费平台是产品端到端在线交易平台，其核心是帮助用户与产品安全、便捷的完成支付和收款，在交易过程中帮助产品盈收最大化。平台承载了公司每天数亿收入大盘，为180+个国家(地区)、万级业务代码、100+W结算商户提供支付渠道、营销、账户托管、风控、结算以及推荐等服务。
本文转载自：AI前线 记者 | 冉叶兰 嘉宾 | 邓启斌 Hermes 是腾讯数据平台部自研的实时分析平台，在公司内服务于上百个业务，集群规模 5000 个节点，每日数据接入量 4 万亿，查询量千万级别。作为一个公共的平台，面对的业务场景非常复杂，包括在线高并发分析、即席交互分析、海量日志分析、实时接入数据和近实时增量更新。这样一个万亿级的实时计算开发引擎到底是怎么实现的？研发过程中遇到哪些难点？作为开发者，我该怎么借鉴和避免；作为用户，又有哪些新的思考？ 在2021年4月22-24日举办的 QCo
数仓建设是公司数据发展到一定规模后必然会提供的一种基础服务，其中数仓建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。
9月14-15日，GOPS全球运维大会上海站圆满举行，为期两天的运维盛宴，为各位运维人带来了相互交流和学习的绝佳平台，来自腾讯技术工程事业群（TEG）计费平台部的黄宇给大家带来了「亿万级大促活动自动化保障体系」的主题分享。 我们同步了嘉宾现场沙龙分享视频（内含高清PPT），请点击下方「腾讯技术课小程序」卡片即可查看： 同时附上整理好的演讲稿： 黄宇，来自腾讯技术事业群的计费平台部，在鹅厂长期从事虚拟支付、多终端支付、账户存储、风控、结算等领域的工作，带领团队负责腾讯千亿级计费大盘的整体运营和质量，目前
什么是实时分析？ 实时分析就是在数据生成后立即使用它来回答问题、做出预测、理解关系和自动化流程。 其定义为“将逻辑和数学应用于数据以提供洞察力以快速做出更好决策的学科。” 实时分析的核心需求是访问新鲜数据和快速查询，这本质上是延迟的两种衡量标准：数据延迟和查询延迟。
当你在暴雨中行驶，地图软件会提醒你：“前方道路已严重积水，您的车辆驶入可能会遭水淹，建议您绕道文三路。”这并非好莱坞电影中的场景，而是不久的将来，高德地图将实现的重要功能。 昨日，中国气象局与阿里云达成战略合作，共同挖掘气象大数据的深层价值；海量气象数据将通过阿里云计算平台，变成可实时分析应用的“活数据”。据《第一财经日报》记者了解，这也是中国国家部委首次采用民营科技公司提供的云计算和大数据服务。 2013年7月，亚马逊击败IBM，赢得美国中央情报局6亿美元云计算的合同，引发轰动效应。阿里云此次为中国气象局
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
