今天,中国信息通信研究院“原生聚力,云数赋能”第四届云原生产业大会首日活动取得圆满成功。作为云原生领域盛会,本次大会将邀请云原生业界顶级专家代表共探云原生产业发展方向,见证云原生发展阶段性成果,分享云原生应用先进经验。 腾讯云数据库专家团携顶尖云原生数据库TDSQL-C亮相,腾讯云数据库技术负责人程彬在主论坛分享了云原生时代数据库的技术沿革,四位鹅厂专家在下午的《云原生数据库架构探索与实践》专场中详细剖析了腾讯云在云原生数据库领域的技术演进历程、架构探索、问题解决思路和发展方向。 此外,凭借创新技术和领先实
本文根据王义成在【第十三届中国数据库技术大会(DTCC2022)】线上演讲内容整理而成。
开局先来一张礼品清单~ 5月26日(本周三)下午,腾讯云知识分享季公开课又要开播啦~ 这一次,我们邀请到了腾讯云存储团队的两位大牛和科技媒体TechSugar的媒体编辑,给大家带来一场干货满满的主题分享以及圆桌对话。 数据湖是能够把各种数据进行集中存储并进行分析的系统。在存算分离架构趋势下, 以对象存储作为底座的存储技术进行了哪些架构调整演进,提供了什么样的方案, 来满足数据湖上的各种计算分析应用? 作为网络内容的运营者,如何杜绝各种场景下的敏感信息,给企业审核带来的巨大挑战?互联网企业要如何做好
2021年4月25-26日,ArchSummit 全球架构师峰会 2021(上海站)将在上海·宝华万豪酒店举办,本次峰会设置了云原生容器化、业务架构、Flutter 一线实战、网关系统实践等 17 大专场。其中,由腾讯云高级工程师程力老师演讲的“存算分离架构下的数据湖架构”专题,已经开始报名啦!
AWS的S3, 阿里云的OSS, 腾讯云的COS, 都是常见的对象存储服务。对象存储服务面向非结构化数据,支持通过HTTP/HTTPS协议访问,支持存入文本、图片、视频等多种类型的数据。
这一次,腾讯云存储团队的两位大牛和科技媒体 TechSugar 的媒体编辑,将给大家带来一场干货满满的主题分享以及圆桌对话。
企业数字化转型过程中,数据价值被显著放大,大数据应用成为不少企业探索的重点。 从技术上看,大数据业务由于数据体量大,且数据量很多时候呈急速膨胀状态;在进行大数据计算分析时,对资源的需求呈现浪涌式特征,又偶有突发性,因此通过上云充分发挥资源按需使用按需付费的优势,成为了不少企业在探索大数据应用时的常见模式。 这其中,企业在综合考量数据安全性、可扩展、可管理和成本效益等因素后,混合云部署的方式就成为了企业的主流选择。 近日,腾讯云存储高级产品经理贺永红在混合云主题论坛上发表演讲,详解了大数据应用上云的新
日前,腾讯云高级工程师程力老师在 ArchSummit 全球架构师峰会上分享了存算分离架构下的数据湖架构。
相较于行业常见的256vCPU,星星海SA5的最大实例规格高达512vCPU。部署大规模云原生应用,更有底气!
“传统的IT存储厂商,‘存’是其核心关注点;而互联网企业,不仅要做好‘存’,还要做强‘用’。”
由中国信息通信研究院、工信部新闻宣传中心联合主办,开放数据中心委员会(ODCC)、《人民邮电》报、风向Talks联合组织的“2021数据中心高质量发展大会”,于5月13日在国家会议中心召开,在2021年世界电信和信息社会日即将来临之际,共襄数据中心行业高质量发展。
国际权威市场研究机构IDC近日发布了《IDC PeerScape:金融领域中数据管理分析服务最佳实践案例》报告,腾讯云大数据TBDS和某股份制银行的存算分离数据湖项目凭借其领先的技术架构、强大的数据能力以及全面的国产化适配,荣获该报告的最佳实践案例。这一荣誉证明了腾讯云在金融领域数据管理和分析方面的领先地位,以及其为客户提供卓越解决方案的承诺。
为了分享过去一年云原生产业联盟(CNIA)在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态,云原生产业联盟于2023年1月9日举办了2022年度线上年会,发布了“大数据云原生能力成熟度模型”,并进行了标准解读。 云原生时代,数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合,可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级,已
场景二:硬盘故障,而且坏的很彻底,硬盘数据完全读不出来了(binlog损毁,无法恢复全部数据)
在海量数据的背景下,数据的写入、存储、分析、搜索都会遇到不小的挑战(存储成本大,写入查询慢等),Elasticsearch技术栈一直是日志、安全、搜索的首选。随着数据规模的海量增长,降本增效的诉求也越来越高。本次分享将解析腾讯云全新技术栈下的系统架构,基于腾讯云ES自研存算分离、读写分离、查询/IO并行化等一套完整的降本增效解决方案。主要内容包括:
日前,腾讯云专家工程师严俊明老师,在云+社区技术沙龙「云原生」专场,分享了基于对象存储的云原生数据湖最新技术突破,包括云原生数据湖业务场景以及技术架构。
近日,腾讯云原生数据库 TDSQL-C 发布列存索引(Column store Index)能力,这一企业级特性将大幅提高用户在使用数据库进行复杂查询时的速度,并降低数据存储空间的使用。
摘要:MySQL在充分利用多核计算资源方面比较欠缺,无法同时满足在线业务和分析型业务的客户需求,而单独部署一套专用的分析型数据库意味着额外的成本和复杂的数据链路。本次主题将介绍腾讯云数据库为满足此类场景而在HTAP for MySQL产品方面进行的尝试。
作者 | 腾讯游戏公共数据平台部基础数据平台团队 开源运动旗手 Eric S. Raymond 在《大教堂和集市》中说,一个项目若想成功,“要将用户当做合作者”。这也一直是 StarRocks 社区的理念。对于 StarRocks 社区,腾讯游戏公共数据平台部既是 StarRocks 社区的用户,也是合作者。他们为腾讯数百款游戏提供基础的数据平台支撑,业务环境复杂,技术组件多样。 他们在数据分析加速项目中,经过多方的技术栈选型,引入 StarRocks 作为数据分析平台的引擎底座。同时,在和
随着技术的创新和应用场景的拓展,以云原生数据湖为代表的新一代数据技术架构既解决大数据“存”的问题,同时在“用”的维度上也产生了更大的价值。 在分布式计算框架中,shuffle的性能和稳定性一直是核心优化点。随着云原生、存算分离和在离线混部等新场景的出现,对于shuffle更是有了新的需求, 腾讯自主研发Firestorm,是国内第一个开源的RSS。支持存算分离,云原生部署,稳定提升计算效率,支持多计算引擎。 而大数据离线任务不仅数量庞大,还有复杂的依赖关系,大数据调度系统高效地将各类大数据任务链路匹配合
2023腾讯全球数字生态大会将于9月7日—8日在深圳国际会展中心举行,主题为“智变加速,产业焕新”。届时,腾讯将与生态合作伙伴、技术开发者、政府及社会组织共话千行百业产业创新升级的前沿趋势,共赴智能变革时代新征程。
数据库已经成为企业实现数字化和高质量发展的重要驱动力。9月7日,在2023腾讯全球数字生态大会腾讯云数据库TDSQL技术与实践专场上,腾讯云正式发布TDSQL融合版,并重点分享了TDSQL核心自研能力升级、技术优势、实践应用等多项内容,为广大企业更加高效、低成本推进数字化进程的选型决策提供了有效参考。
2022 导语 伴随数字经济市场稳步扩张, AI和富媒体融合的场景式体验、营销模式、分享渠道已经成为数字商业中不可或缺的部分。12月1日,在2022腾讯全球数字生态大会存储专场,腾讯云数据万象发布产品更新,与腾讯云对象存储COS共同打造智能存储生态,提供各类开箱即用的智能数据处理能力,帮助各行业用户挖掘数据价值,提高云上存储效能,释放内容生产潜能。 作为一站式存+管+数据处理生产力平台,腾讯云数据万象聚焦云上内容生产场景,实现存用联动,为用户提供API、SDK、控制台、卡片式工具箱多种调用方式,提升用户体验
百数和百宝云是同一款产品,百数的前身是叫做百宝云。百数是一站式企业数字化办公平台,通过可视化、拖拽式、低代码的方式快速搭建数据中台、移动办公平台、工作流引擎、协同办公、进销存管理系统等企业级管理软件。可以实现简单实用的CRM管理系统、进销存、生产管理、人事管理系统、财务系统,或者是调查问卷、报名登记申请等等应用场景。
2023 腾讯全球数字生态大会将于 9 月 7 日—8 日在深圳国际会展中心举行,主题为「智变加速,产业焕新」。届时,腾讯将与生态合作伙伴、技术开发者、政府及社会组织共话千行百业产业创新升级的前沿趋势,共赴智能变革时代新征程。
在2022第三届银行业数字化创新(中国)峰会上,“华信奖”获奖名单正式公布,腾讯云大数据团队凭借领先的技术优势、丰富的金融科技服务经验,斩获“年度金融科技创新之星”,这也意味着腾讯云大数据在金融科技行业的应用创新与建设能力得到了权威认可。 据了解,“华信奖”组委会成员主要来自上海浦东国际金融学会、亚洲财金联合会、以及麦肯锡、普华永道、罗兰贝格等全球知名咨询机构。 伴随着数据要素上升为国家数字化战略的重点,如何加强数据能力建设、解决技术和架构异构、数据合规等难题,打造具备高度自主可控的核心技术与产品体系,从
2022腾讯全球数字生态大会 倒计时2天! “数实创新,产业共进”,届时,产业互联网峰会、云湾峰会、Techo前沿技术论坛、腾讯产业合作伙伴峰会、腾讯云国际峰会,以及50+分会场将带来腾讯数字生态的全景式呈现。 期待与您一起,共话数字技术与实体产业的前沿趋势,探索全真互联时代的数实融合新机遇。 腾讯云大数据历经十余年技术沉淀形成包含基础引擎、平台治理、数据应用和BI在内领先的全产品矩阵。本专场将重点介绍如何运用智能推荐与BI帮助客户实现业务的增长转型、精细化运营与快速商业决策,释放数据价值。同时还有客户案
背景 一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天,小伙伴们技术交流的方式也变得多样化。2021年8月21日下午,ES 中文社区联合腾讯云在腾讯滨海大厦举办了深圳地区年度首次 Meetup,活动采用线下现场参与、腾讯会议、云+社区线上同步直播的方式进行。来自腾讯、Tapdata、字节跳动、vivo 的技术专家们给 ES 社区的小伙伴们带来了一场精彩的技术视听盛宴。 一、社区发展 活动开始, ES 深圳分会主席杨振涛先生回顾了深圳 Meetup 历史并对本次活动表达了祝福,
本次Techo Day腾讯技术开放日,腾讯云以存储、数据库、大数据和数据安全四大重点产品为议题,详细解读数据管理趋势发展。通过一系列“全面、系统”的数据管理解决方案,重点分享客户将数据管理与具体业务场景相结合的行业最佳案例。助力企业构建统一、智能、安全的数据管理平台,实现数据资产的最大化。
自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
由 AscentStream 谙流科技和腾讯云中间件联合主办的 Pulsar Meetup 深圳 2024 将于 2024年04月27日 14:00-18:00 在深圳腾讯大厦 2 楼多功能厅,精彩呈现,期待大家多多报名!
日志领域是Elasticsearch(ES)最重要也是规模最大的应用场景之一。这得益于 ES 有高性能倒排索引、灵活的 schema、易用的分布式架构,支持高吞吐写入、高性能查询,同时有强大的数据治理生态、端到端的完整解决方案。但原生 ES 在高吞吐写入、低成本存储、高性能查询等方面还有非常大的优化空间,本文重点剖析腾讯云大数据 ES 团队在这三个方面的内核增强优化。
2021年12月8-9日,由中国电子技术标准化研究院、苏州市金融科技协会、中国计算机用户协会政务信息化分会指导,企智未来科技(RPA中国、LowCode低码时代、信创中国)、亿欧EqualOcean等单位联合举办的 “第二届ISIG中国产业智能大会” 在上海中庚聚龙酒店举行。
腾讯云存储团队两位技术大牛,围绕“数据湖”、“内容安全”、“存算分离”等热门话题展开演讲,下面让我们一起回顾下两位老师的精彩演讲内容。
摘要 日前,腾讯云大数据数据湖计算 DLC 与国内两家知名云厂商的数据湖产品进行了性能对比,其中腾讯云 DLC 在三款产品中SQL平均执行查询时间短,性能表现优。腾讯云大数据 DLC 在存算分离和大数据量查询场景下,海量查询性能较 A 厂商 产品提升 248%,较 B 厂商产品提升36%。 在存算分离大数据量查询场景下,腾讯云大数据 DLC 较 A 厂商 、B 厂商表现更优,同时在较大任务上的任务执行成功率更高,所有任务均成功执行。结合性能、性价比、使用体验等因素,腾讯云 DLC 在云原生数据湖选择上整体上
8月8日晚19:00,腾讯云大数据“数智话”技术沙龙 第六期《腾讯云大数据ES—结合AI大模型与向量检索的新一代云端检索分析引擎》准时开启线上直播。
日志领域是 ES 最重要也是规模最大的应用场景之一。这得益于 ES 有高性能倒排索引、灵活的 schema、易用的分布式架构,支持高吞吐写入、高性能查询,同时有强大的数据治理生态、端到端的完整解决方案。但原生 ES 在高吞吐写入、低成本存储、高性能查询等方面还有非常大的优化空间,本文重点剖析腾讯云大数据 ES 团队在这三个方面的内核增强优化。
11月4日,2021腾讯数字生态大会微搭低代码专场圆满结束,专场不仅集结了腾讯技术和产品专家、业内领先的低代码实践者,还有全球权威研究机构、「低代码」概念提出者 Forrester 带来低代码行业最新趋势的解读。此外,微搭还在会上发布了微搭 C2B 连接器,宣布与腾讯文档、腾讯会议和企业微信多场景数据打通,让更多开发者和中小企业可以便利地利用腾讯丰富的场景来开发应用,有效降低创新门槛。下文为本次专场各议题的精彩回顾:
数据是企业的核心资产,随着数据规模的快速增长,企业对存储功能和性能的要求也在不断增加。对云厂商和企业用户来说,如何在提升业务性能的同时降低成本是一巨大挑战。11月26日在QCon大会上,腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术,并分享了数据湖存储在大数据及自动驾驶场景下的落地实践,助力用户业务降本增效。 下面,让我们一起回顾下两位老师的精彩演讲内容👇 数据湖是一种可拓展的技术架构,将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案,从数据中挖掘价值;支持
腾讯云存储业务中心副总监-刘金明,在云+未来峰会上做了主题为《腾讯云 EB 级对象存储架构深度剖析及实践》的分享,以下内容整理自演讲。
2022年,搜狐智能媒体完成了迁移腾讯云的弹性计算项目,其中大数据业务整体都迁移了腾讯云,上云之后的整体服务性能、成本控制、运维效率等方面都取得了不错的效果,达到了预期的降本增效目标。
一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天,小伙伴们技术交流的方式也变得多样化。2021年8月21日下午,ES 中文社区联合腾讯云在腾讯滨海大厦举办了深圳地区年度首次 Meetup,活动采用线下现场参与、腾讯会议、云+社区线上同步直播的方式进行。来自腾讯、Tapdata、字节跳动、vivo 的技术专家们给 ES 社区的小伙伴们带来了一场精彩的技术视听盛宴。
近日,由权威机构赛迪顾问主办的“2024IT市场年会”隆重召开,并在会上发布了备受瞩目的“2024IT市场权威榜单”。腾讯云大数据处理套件TBDS凭借其卓越的创新能力和实践案例,荣获两大奖项:
Elasticsearch是一个基于Lucene库的开源搜索引擎,简称ES。腾讯联合 Elastic 公司在腾讯云上提供了内核增强版 ES 云服务,目前在腾讯内外部广泛应用于日志实时分析、结构化数据分析、全文检索等场景。海量规模、丰富的应用场景不断推动着腾讯云ES团队对原生ES进行持续的高可用、高性能、低成本等全方位的优化。 本文旨在介绍腾讯云ES 在优化查询性能之路上的探索历程,是对大量内外部客户不断优化实践的一个阶段性总结。本文会先从ES基本原理入手,在此基础上,从内核角度引导大家如何才能充分“压榨” ES 的查询性能。
领取专属 10元无门槛券
手把手带您无忧上云