腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
圈层
工具
MCP广场
返回腾讯云官网
腾讯大数据的专栏
专栏成员
举报
333
文章
507623
阅读量
126
订阅数
订阅专栏
申请加入专栏
全部文章 (333)
大数据 (173)
机器学习 (41)
数据库 (37)
编程算法 (33)
腾讯 (31)
spark (26)
sql (24)
神经网络 (24)
深度学习 (24)
开源 (23)
angel (23)
数据 (21)
数据处理 (20)
人工智能 (18)
hadoop (17)
数据分析 (17)
存储 (16)
分布式 (16)
jdk (16)
https (16)
apache (14)
网络安全 (14)
微信 (13)
游戏 (12)
运维 (12)
java (11)
云数据库 SQL Server (10)
腾讯云开发者社区 (10)
联邦学习 (10)
数据结构 (9)
云直播 (8)
hive (8)
数据湖 (8)
优化 (8)
隐私计算 (7)
postgresql (6)
api (6)
腾讯移动推送 (6)
容器 (6)
缓存 (6)
安全 (6)
其他 (5)
ios (5)
node.js (5)
linux (5)
容器镜像服务 (5)
短视频 (5)
TDSQL MySQL 版 (5)
kubernetes (5)
小程序 (5)
系统架构 (5)
实践 (5)
腾讯移动分析 (4)
数据安全 (4)
jvm (4)
推荐系统 (4)
云计算 (4)
flink (4)
架构 (4)
数据挖掘 (3)
android (3)
打包 (3)
github (3)
文件存储 (3)
文字识别 (3)
mongodb (3)
网站 (3)
企业 (3)
serverless (3)
数据可视化 (3)
微服务 (3)
数据集成 (3)
基础 (3)
开发者 (3)
模型 (3)
视频 (3)
NLP技术 (2)
自动驾驶 (2)
python (2)
ide (2)
git (2)
微信小程序音视频 (2)
数据迁移 (2)
html5 (2)
pytorch (2)
模式识别 (2)
任务调度 (2)
特征工程 (2)
性能测试 (2)
Elasticsearch Service (2)
智能客服机器人 (2)
大数据存储 (2)
腾讯云 (2)
内存 (2)
软件 (2)
系统 (2)
费用中心 (1)
私有网络 (1)
对象存储 (1)
语音识别 (1)
人脸识别 (1)
创业扶持 (1)
iphone (1)
php (1)
javascript (1)
jquery (1)
单片机 (1)
oracle (1)
云数据库 Redis® (1)
mvc (1)
svn (1)
spring (1)
mapreduce (1)
容器服务 (1)
消息队列 CMQ 版 (1)
SSL 证书 (1)
知识图谱 (1)
腾讯计费 (1)
腾讯云测试服务 (1)
图像处理 (1)
高性能计算 (1)
日志数据 (1)
电商 (1)
金融 (1)
o2o (1)
出行 (1)
http (1)
yarn (1)
云+未来 (1)
devops (1)
压力测试 (1)
无人驾驶 (1)
图像识别 (1)
强化学习 (1)
sql server (1)
jdbc (1)
决策树 (1)
zookeeper (1)
自动化测试 (1)
tcp/ip (1)
gcc (1)
迁移学习 (1)
机器人 (1)
架构设计 (1)
图片加速 (1)
kafka (1)
虚拟化 (1)
安全治理 (1)
sdk (1)
迁移 (1)
raft (1)
腾讯广告算法大赛 (1)
数据接入平台 (1)
数据库管理 (1)
流计算 Oceanus (1)
移动推送 (1)
可信计算 (1)
教育 (1)
app (1)
bi (1)
im (1)
jit (1)
meta (1)
wifi (1)
报表 (1)
编程 (1)
编译器 (1)
并发 (1)
产品 (1)
服务 (1)
高性能 (1)
工程师 (1)
工具 (1)
行业 (1)
互联网 (1)
集群 (1)
解决方案 (1)
开发 (1)
客户端 (1)
流计算 (1)
论文 (1)
搜索 (1)
统计 (1)
网络 (1)
芯片 (1)
研发 (1)
硬件 (1)
云原生 (1)
智慧城市 (1)
搜索文章
搜索
搜索
关闭
SIGMOD 2025|腾讯 Oceanus 开创云原生流计算弹性新纪元
服务
流计算
内存
腾讯
云原生
随着互联网海量数据爆发,各行各业对实时计算的需求愈发强烈,尤其是短视频、AI 应用、搜广推等场景。但是,实时计算面临着资源浪费、超用和分布不均衡等问题,业界常规的重启手段无法有效解决这些问题,还会因为断流严重影响在线服务的 SLA。针对这种情况,腾讯实时计算团队提出了一站式资源弹性解决方案,通过 AI 模型预测、细粒度资源管理和零断流的垂直伸缩,做到了提前感知、无损调整和自动化运维,实现了云原生场景下的极致弹性。腾讯实时计算团队联合 KonaJDK、基础算法、峰峦团队以及北京师范大学将该方案成功落地于腾讯大数据生产环境中,并将成果整理成论文《Oceanus: Enable SLO-Aware Vertical Autoscaling for Cloud-Native Streaming Service in Tencent》发表于 SIGMOD 2025 INDUSTRIAL TRACK,本次为大家带来该篇论文的核心内容解读。
腾讯大数据
2025-05-08
162
1
腾讯 Oceanus 实时平台在状态存算分离上的探索与实践
腾讯
存储
缓存
实践
数据
随着云原生概念的普及和云技术的高速展,如何利用云的弹性优势,为计算赋予高效灵活弹性扩展的能力成为探索的方向。相比于存算一体架构,存算分离架构将数据存储和计算解耦,使二者可以独立根据实际需求动态调整资源配置,按需扩展,更加适应/满足现代云计算环境下的复杂多变的需求。在此背景下,腾讯 Oceanus 实时平台联合 DOP 数据加速团队在状态存算分离架构上进行了探索,实现 Flink 存储和计算解耦的同时,快照恢复速度提升 70%,极大地缩短了由于快照恢复导致的数据断流时间。
腾讯大数据
2025-04-28
117
0
Kona CodeRevive:高性能JIT缓存方案及在腾讯大数据应用
大数据
jit
高性能
腾讯
缓存
| 导语 Kona JDK是经过腾讯大规模生产实践验证的JDK发行版本,并且提供长期稳定的支持,CodeRevive是Kona JDK针对大数据实际应用中Just-In-Time(JIT)编译开销进行优化的新特性。通过在线的缓存和聚合JIT编译的结果,大幅度减少腾讯大数据现网JIT编译的开销并且提升整体吞吐量。
腾讯大数据
2025-02-05
206
1
Meta AI研究员、英伟达工程师称赞的数据分析工具DataLab是什么
工程师
工具
数据
数据分析
meta
近日,腾讯大数据发布在arXiv的一篇学术论文《DataLab: A Unified Platform for LLM-Powered Business Intelligence》引起了各界同仁的广泛关注,前Meta AI研究员在推特和领英上分享该论文,同时又有领域大V相继转载,使得DataLab被推到了大数据领域的风口浪尖。
腾讯大数据
2025-02-05
809
0
基于 Iceberg 打造高效、统一的腾讯广告特征数据湖
数据湖
数据
腾讯
优化
存储
概述:腾讯广告业务的特征生产计算每天都会处理万亿级的新增记录和 PB 级的中间数据,并管理数十 PB 规模的历史结果。为了解决海量数据在读写性能(含更新)和存储管理上的痛点,广告特征工程团队和智能湖仓团队在对比业内主流存储组件后,选取 Iceberg 来构建广告特征数据湖。
腾讯大数据
2025-02-05
431
0
腾讯大数据基于StarRocks的向量检索的技术实现与实践分享
腾讯
大数据
架构
实践
数据
此次分享讲介绍当前业内向量检索技术及其在大数据领域的实现方式,并详细介绍了腾讯大数据在StarRocks上实现向量检索的技术原理及在腾讯内的实践案例,同时总结当前碰到的挑战及未来规划,干货满满!
腾讯大数据
2025-02-05
162
0
活动|腾讯大数据×2024数据智能大会技术交流回顾
大数据
数据分析
模型
数据
腾讯
6月19-20日,由中国通信标准化协会主办,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)承办的首届“数据智能大会”在京召开。
腾讯大数据
2024-06-27
455
0
天穹DOP 在腾讯广告经营数仓场景的应用实践
存储
缓存
实践
数据
腾讯
■ 腾讯广告经营数仓是腾讯广告打造的数据分析和数据服务平台,它提供了包括数据运营分析、广告优化分析在内数据分析支持,以及数据可视化服务。经营数仓积累了大量的广告效果数据、客户管理信息和产品工具数据,为腾讯内众多的数据分析和运营分析用户提供便捷高效的 SQL 取数服务。为了保障数据查询服务的稳定与高效,该数仓不仅采用了Spark引擎,还部署了Presto集群,目的是能够根据用户提交的SQL的特点,智能选择最合适的查询引擎。
腾讯大数据
2024-06-27
339
0
腾讯联合生态伙伴,共同推动业界首个异构硬件编程模型标准立项!
硬件
编程
模型
腾讯
芯片
近期,由腾讯联合中国移动、中国联通、中国信通院、中国科学院计算技术研究所共同发起,在中国通信标准化协会(CCSA)互联网与应用委员会(TC1)推动异构硬件两项行业标准成功立项。
腾讯大数据
2024-06-19
268
0
腾讯大数据|面向AB场景的DOP存缓一体解决方案
腾讯
大数据
解决方案
客户端
数据
腾讯数据编排技术开源协同团队负责人——毛宝龙出席并分享了:《面向AB场景的DOP存缓一体解决方案》。
腾讯大数据
2024-05-23
348
0
腾讯大数据|天穹SuperSQL执行核心剖析
优化
大数据
并发
数据
腾讯
1. 数据孤岛:由于历史原因以及不同数据中心的业务差异性,众多异构数据源形成了数据孤岛,导致大量且繁重的人工数据搬迁。与此同时,由于不同国家的数据安全法限制,很多数据无法搬迁,数据安全和查询效率都难以保证
腾讯大数据
2024-04-28
1.8K
0
腾讯天穹 StarRocks 一站式湖仓融合平台架构揭秘
架构
数据
腾讯
优化
数据湖
腾讯天穹是协同腾讯内各 BG 大数据能力而生的 Oteam,作为腾讯大数据领域的代名词,旨在拉通大数据各个技术组件,打造一个具有统一技术栈的公司级大数据平台体系。从底层数据接入、数据存储、资源管理、计算引擎、作业调度,到上层数据治理及数据应用等多个环节,支持腾讯内部近 EB 级数据的存储和计算,为业务提供海量、高效、稳定的大数据平台支撑和决策支持。
腾讯大数据
2024-03-07
1.2K
0
我们正在热招@腾讯TEG数据平台部
数据
腾讯
腾讯大数据
2023-10-25
964
0
四届赛事,拿下18冠!
模型
视频
数据
腾讯
网络
在全球文字识别(OCR)领域顶级盛会ICDAR 2023上,腾讯OCR团队基于自研算法,斩获四项冠军,这是继2017年、2019年、2021年以来,连续四届参会同时创造佳绩,共获得18项官方认证冠军,展示了腾讯OCR技术在全球的一流水平。
腾讯大数据
2023-10-25
404
0
【活动回顾】腾讯大数据 x StarRocks|构建新一代实时湖仓
大数据
架构
视频
数据
腾讯
2023 年 9 月 26 日,腾讯大数据团队与 StarRocks 社区携手举办了一场名为“构建新一代实时湖仓”的盛大活动。活动聚集了来自腾讯大数据、腾讯视频、腾讯游戏、同程旅行以及StarRocks 社区的技术专家,共同深入探讨了湖仓一体技术以及其应用实践等多个备受瞩目的话题,观看人数过万。
腾讯大数据
2023-10-23
699
0
直播预约中!9.26腾讯大数据XStarRocks技术专题探讨
游戏
大数据
视频
数据
腾讯
随着数据爆炸式增长,如何高效处理和分析海量数据已经成为关键挑战,结合传统数仓与数据湖优势的湖仓一体(Lakehouse)架构崭露头角,成为大数据领域势不可挡的趋势。
腾讯大数据
2023-09-17
262
0
腾讯大数据平台大脑AI探索与实践
大数据
实践
数据
腾讯
优化
导读 近年来大数据业务规模迅速增长,为大数据平台运营治理带来了新的挑战:海量大数据任务的治理,缺乏统一、标准的数据与评估模型和治理工具,难以支持对大数据任务执行效率、稳定性等进行持续优化。腾讯大数据平台摸索出数据+算法驱动的“平台自治”方案,对于万亿级大数据分析逐步实现“自动化运营”,以一站式的自诊断、自优化、自管理能力,大大降低大数据产品使用门槛。
腾讯大数据
2023-07-25
918
0
直播|分析型湖仓论坛
大数据
数据湖
架构
腾讯
优化
随着湖仓技术的持续演进,数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时,二者之间的边界也逐渐淡化,湖上建仓、仓中数据降冷到湖、物化视图、冷热融合查询等方案也越来越多的成为各个公司的标配,各大厂商也陆续提出了自己的湖仓融合方案,通过湖仓融合技术来提升业务使用体验的同时也降低了业务的使用成本。
腾讯大数据
2023-07-12
404
0
腾讯捐赠编译器基础软件,为中国开发者“添了双筷子”
编译器
基础
开发者
软件
腾讯
6月11日,在2023开放原子全球开源峰会上,腾讯正式宣布将打磨多年的Java应用操作系统“OpenKona”捐赠给开放原子开源基金会,联合基金会以及数以百万计开发者,共建国产编译器基础软件,推动数字基础设施加速突破。
腾讯大数据
2023-07-12
400
0
内存省一半、CPU降三成,腾讯大数据团队论文入选数据库顶会 VLDB!
数据库
大数据
论文
内存
腾讯
2023 年 8 月 28 日至 9 月 1 日,第49届VLDB国际会议将在加拿大温哥华举行。腾讯大数据平台大脑团队在Spark自动调优领域的研究成果入选了VLDB 2023,并受邀在大会上进行现场报告。 VLDB国际会议 (全称为International Conference on Very Large Data Bases)于1975年在美国的弗雷明汉马成立, 与另外两大数据库会议 SIGMOD、ICDE 构成了数据库领域的三大顶级会议,已成为数据库研究人员,供应商,参与者,应用开发者,以及用户一
腾讯大数据
2023-05-24
640
0
点击加载更多
活动推荐
【玩转 EdgeOne Pages】体验 MCP Server 和 DeepSeek 模板的百变玩法
技术创作特训营 | 33 天实现自己的 AI 进化论
新邀入驻腾讯云开发者社区,福利多多!
社区活动
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
不再提示