企业数字化转型过程中,数据价值被显著放大,大数据应用成为不少企业探索的重点。 从技术上看,大数据业务由于数据体量大,且数据量很多时候呈急速膨胀状态;在进行大数据计算分析时,对资源的需求呈现浪涌式特征,又偶有突发性,因此通过上云充分发挥资源按需使用按需付费的优势,成为了不少企业在探索大数据应用时的常见模式。 这其中,企业在综合考量数据安全性、可扩展、可管理和成本效益等因素后,混合云部署的方式就成为了企业的主流选择。 近日,腾讯云存储高级产品经理贺永红在混合云主题论坛上发表演讲,详解了大数据应用上云的新
这原本是一个基本的经济学常识,但互联网“羊毛出在猪身上”的“免费逻辑”,已经让绝大多数网民对“购买”这件事产生了应激反应。
由中国信息通信研究院、工信部新闻宣传中心联合主办,开放数据中心委员会(ODCC)、《人民邮电》报、风向Talks联合组织的“2021数据中心高质量发展大会”,于5月13日在国家会议中心召开,在2021年世界电信和信息社会日即将来临之际,共襄数据中心行业高质量发展。
正因如此,国家通过“东数西算”工程,布局建设“新型算力网络体系”,推动算力集约化发展。
|导语 随着企业大数据规模和应用的增长和发展,计算与存储分离的架构渐渐成为主流,它解决了计算量和存储量不匹配问题, 实现了算力的按需使用,但也引来了一些新的问题。腾讯云EMR团队与Alluxio社区合作,探索出了开箱即用的计算存储分离优化版本,大幅优化网络带宽,带宽削峰20%-50%,节省总带宽10%-50%,同时能在IO密集型场景提升性能5%-40%,下面就让我们来一探究竟。 一、当前大数据挑战 近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构
2023年3月10日,由百易传媒(DOIT)主办,上海市计算机学会与上海交通大学支持的第六届分布式存储高峰论坛成功召开。腾讯云存储团队产品负责人崔剑受邀分享“下一代云原生存储的探索与落地”;腾讯云首席存储技术专家温涛受邀分享“腾讯云智能监控解决方案及实践”。论坛期间大奖榜单正式发布,腾讯云荣获2023对象存储服务金奖。 下面,让我们来一起回顾下两位老师的精彩演讲。 腾讯云存储团队多年服务国内以及海外市场,不难看出云原生时代下存储市场大致会往四个需求方向进行演进:海量弹性、稳定可靠、高性价比、挖掘数据价值。
2021年4月25-26日,ArchSummit 全球架构师峰会 2021(上海站)将在上海·宝华万豪酒店举办,本次峰会设置了云原生容器化、业务架构、Flutter 一线实战、网关系统实践等 17 大专场。其中,由腾讯云高级工程师程力老师演讲的“存算分离架构下的数据湖架构”专题,已经开始报名啦!
全球分布式云大会是分布式云技术和商业交流的旗舰级平台,2023全球分布式云大会·北京站将于6月28日-29日正式召开,本次大会以“云智筑基”为主题,探究人工智能(AI)在大模型全新的发展风口,构建新型泛在算力网络的趋势,如何利用分布式云、分布式数据库、分布式存储、边缘云等构建新型算力网络,打造更强大的数字经济价值引擎。
导语 | 随着企业大数据规模和应用的增长和发展,计算与存储分离的架构渐渐成为主流,它解决了计算量和存储量不匹配问题, 实现了算力的按需使用,但也引来了一些新的问题。腾讯云EMR团队与Alluxio社区合作,探索出了开箱即用的计算存储分离优化版本,大幅优化网络带宽,带宽削峰20%-50%,节省总带宽10%-50%,同时能在IO密集型场景提升性能5%-40%,下面就让我们来一探究竟。 一、当前大数据挑战 近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构是计
近年来,随着大数据规模的增长,以及大数据应用的发展,大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合,计算和存储资源一体化存在以下明显的挑战:
进入互联网网络信息时代后,数据成为了一个极具价值的资源。随着网络持续产生海量的数据,存储市场规模增长迅猛。
杨净 边策 发自 凹非寺 量子位 报道 | 公众号 QbitAI 挖矿的现在连硬盘都不放过了。 一块大容量硬盘涨价超过了100%,做视频的朋友现在是叫苦不迭。 u1s1(有一说一),云存储现在好像有点性价比那意思了。 这时候一定又有人说,云存储的读写速度拿来剪视频,真的不是开玩笑吗? 以前不一定,现在没准还真的可以。 我发四,这是我一动画渲染师朋友告诉我的。 “云渲染”是一种什么体验? 所谓渲染,作为模型到动画的一个关键步骤,需要大量算力来计算。 有这样一组数据。 CG动画经典《阿丽塔:战斗天使》,就
“东数西算”是通过构建数据中心、云计算、大数据一体化的新型算力网络体系,将东部算力需求有序引导到西部,对优化数据中心建设布局,提升国家整体算力水平,促进绿色发展,扩大有效投资,具有重要意义。
日前,腾讯云专家工程师严俊明老师,在云+社区技术沙龙「云原生」专场,分享了基于对象存储的云原生数据湖最新技术突破,包括云原生数据湖业务场景以及技术架构。
数字经济发展日新月异,企业走向数字化,诞生了海量的软件和服务。软件行业高数据规模,高自动化、高迭代速度的要求,给传统软件行业带来了挑战。为推动软件架构更加健全,管理更加高效,云原生的概念应运而生,强调云技术架构中的弹性能力、自愈能力、可复制能力,进一步解放数字化行业生产力,赋能业务创新。 存储服务是云原生体系中的关键环节。云原生场景下,用户在云存储基本能力之上又提出了效率、弹性、自治、稳定、应用低耦合、安全等方面的新诉求。腾讯云存储团队与中国信通院及业界同仁一起将经验量化为标准,参与了《云原生存储能力要求》
过去一年半,AI大模型标志性的应用相继出现,从ChatGPT到Sora一次次刷新人们的认知。震撼的背后,是大模型参数指数级的增长。
1/ 正所谓:华山派早年曾无剑宗、气宗之分。如果从更大视角来看,互联网是剑宗,区块链是气宗。如果单看互联网,商业应用是剑,数字基建是气。同样,单看区块链,挖矿基建是剑,应用落地是气。
在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上,腾讯云存储高级产品经理熊建刚老师发表主题演讲,就高性能存储和大模型融合创新相关研究展开探讨,以及腾讯云存储的实践案例。
数据是企业的核心资产,随着数据规模的快速增长,企业对存储功能和性能的要求也在不断增加。对云厂商和企业用户来说,如何在提升业务性能的同时降低成本是一巨大挑战。11月26日在QCon大会上,腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术,并分享了数据湖存储在大数据及自动驾驶场景下的落地实践,助力用户业务降本增效。 下面,让我们一起回顾下两位老师的精彩演讲内容👇 数据湖是一种可拓展的技术架构,将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案,从数据中挖掘价值;支持
痛并快乐着,是黄海最近一两年繁忙工作的写照。新能源发电渐成共识与补贴政策即将到期的叠加效应,引发了风电抢装潮。作为上海电气风电集团系统与网络副主任,黄海每天接触的项目多如牛毛,而每个项目的细节又千头万绪。
随着云原生概念在业界的推广,传统应用部署的方式被容器化部署所取代。基于云原生的容器化部署和运维,给开发和运维人员带来DevOps快速部署和自动化运维等诸多便利的同时,对于基础架构服务也提出了更高的要求,其中存算分离就是保障云原生应用故障快速转移、算力负载均衡的基石。因此云原生存储的概念也在云原生的基础上应运而生,接下来本文将会逐步梳理云原生存储的概念、工具的选型,最后会选择一个代表性的云原生存储工具来演示如何使用。
随着上云企业越来越多,企业对用云成本问题也越发重视。业务的发展会产生海量存储需求,在云端存储数据时,如何进行成本优化,减轻业务负担呢?
9月5日,浪潮信息新产品“互联网+AIGC”行业巡展在深圳举行。本次巡展以“智算 开新局·创新机”为主题,腾讯云存储受邀分享数据湖存储在大模型中的应用,并在展区对腾讯云存储解决方案进行了全面的展示,引来众多参会者围观。
腾讯云存储团队两位技术大牛,围绕“数据湖”、“内容安全”、“存算分离”等热门话题展开演讲,下面让我们一起回顾下两位老师的精彩演讲内容。
近期,AIGC 相关产品如同雨后春笋一般不断涌现。但在技术层面,大家普遍的关注点更多集中在性能方面,却经常忽略了存储对推理和训练效率的影响,以及 AIGC 内容可能带来的合规风险。我们特邀腾讯云存储的产品负责人 崔剑老师和益企研究院创始人、腾讯云 TVP 张广彬老师(狒哥)围绕以上话题展开讨论。
近几年,国内外网盘服务大量关停,一方面由于服务器的运行、维护成本以及带宽成本高企,普遍面临盈利困局,让其成为费力不讨好的业务;另外,由于版权问题、各种违反公序良俗内容丛生,在监管重拳出击下,大批网盘不得不转型或关停。
针对以上痛点, 腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。
云 HDFS(Cloud HDFS,CHDFS)是腾讯云提供的支持标准 HDFS 访问协议、卓越性能、分层命名空间的分布式文件系统。
“传统的IT存储厂商,‘存’是其核心关注点;而互联网企业,不仅要做好‘存’,还要做强‘用’。”
一、背景 云 HDFS(Cloud HDFS,CHDFS)是腾讯云提供的支持标准 HDFS 访问协议、卓越性能、分层命名空间的分布式文件系统。 CHDFS 主要解决大数据场景下海量数据存储和数据分析,能够为大数据用户在无需更改现有代码的基础上,将本地自建的 HDFS 文件系统无缝迁移至具备高可用性、高扩展性、低成本、可靠和安全的 CHDFS 上。以此实现存算分离,实现计算节点可动态的扩缩容。 因此 CHDFS 主要的用户群体是大数据体系的研发人员,为了满足用户在传统的 Hadoop 环境下的使用习惯,同时满
作者 | 南京大学顾荣、吴侗雨 1 背景 公有云是一种为用户提供经济方便的计算资源的平台。随着云计算技术的快速发展,以及大数据查询需求的日益增加,很多公有云的云计算应用市场中,出现了越来越多云上 OLAP 引擎服务。为了能够根据自己的业务需求选择合适的 OLAP 引擎,并通过合适的配置使引擎在最佳状态运行,用户需要对当前使用的查询引擎性能进行评估。 当前 OLAP 引擎性能评估框架在云上部署使用时面临三个主要挑战: 1、对云环境适应能力弱。传统性能评估框架诞生时,尚未具备云上特有的 PaaS、IaaS
Filecoin测试网络上线近4个月,经历第一阶段、互操作阶段,即将进入第二阶段,主网预计会在7月左右上线。Filecoin的大厦看似即将落成,所剩的只是一些修饰工作。
大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方面提出了更高要求。在9月7日举行的2023腾讯全球数字生态大会“AI超级底座专场”上,腾讯云介绍异构计算全新产品矩阵“AI超级底座”及其新能力。
过去十年,随着技术的颠覆性创新和新应用场景的大量涌现,企业IT架构出现了稳态和敏态的混合化趋势。
Apache Kafka 自诞生之日起,就以其卓越的设计和强大的功能,成为了流处理领域的标杆。它不仅定义了现代流处理架构,更以其独特的分布式日志抽象,为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功,在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求,经过多年的发展铸就了极其丰富的 Kafka 生态,成为了事实上的行业标准。
计算云存储成本似乎看起来很简单。当用户查看云计算供应商提供的存储服务的定价时,显而易见的成本是数据的存储成本。但是如果深入研究的话,就会发现与云存储成本相关的其他各种费用。在云中存储数据的总拥有成本(TCO)通常比简单的存储费用高出许多。
2022 年 6 月 15 日,云原生计算基金会 (CNCF) 宣布,分布式存储系统 Curve 被正式接纳为 CNCF 沙箱(Sandbox)项目。Curve 由网易开源,提供块存储和文件存储能力,旨在以网易分布式架构和云原生实践经验反哺社区,填补高性能、易运维、云原生的开源分布式存储的空白。
近日百度直接将免费空间扩容至1T只要一元钱,之后360、腾讯微云纷纷跟进。现在,百度云免费空间又升级到了2T。2T也就是2048GB,可以几千部泷泽萝拉了。这个免费空间的速度比摩尔定律还快。 再过几个月免费空间会升级为4T吗?我估计不会。因为再过几个月,一定有至少一家云存储服务商会提供无限容量的免费空间。互联网进入免费云存储时代。 云存储目前还处于早期市场,据北京大学一份调查显示,目前中国使用云服务的网民比例仅为8.9%。一方面用户习惯正在培育,另外一方面云存储也受到网络带宽和存
导语 | 近几年炙手可热的云原生首先由Matt Stine提出并延续使用至今,但其并没有标准的、严格的定义,比较公认的四要素是:DevOps、微服务、持续交付、以及容器,更多的则是偏向应用系统的一种体系架构和方法论。那么在云上如何改进大数据基础架构让其符合云原生标准,同时给企业客户带来真真切切的数据分析成本降低和性能保障是一个开放性的话题。本文由腾讯专家工程师、腾讯云EMR技术负责人陈龙在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《云原生环境下大数据基础技术演进》演讲分享整理而成,与大家分享和探讨在云上如何实现存储计算云原生,以及未来下一代云原生大数据基础架构。
作者:陈龙 腾讯专家工程师、腾讯云EMR技术负责人 |导语 在金融行业IT系统国产化的大背景下,国内金融行业开始推动IT基础设施国产化,逐渐摆脱对于传统IOE架构的依赖。微众银行自成立之初,就放弃了传统IOE架构路红,结合腾讯金融级分布式数据库TDSQL,建立了基于DCN单元化架构模式的分布式基础平台。如今这套架构承载了微众银行数亿级别的用户规模,数百套银行核心系统,和每天数亿次的金融交易。 近几年炙手可热的云原生首先由Matt Stine提出并延续使用至今,但其并没有标准的、严格的定义,比较公认的四要
腾讯云存储首席技术专家 温涛 受邀在6月2日由焉知汽车主办的第三届焉知智能电动汽车年会“ADAS与智能驾驶论坛”中分享自动驾驶和AIGC场景下的存储解决方案,下面让我们一起回顾下温涛的精彩演讲:
分布式存储是近几年的热门话题之一,它和传统SAN/NAS存储的区别是,分布式存储使用标准硬件(比如x86服务器和10GbE网络),而传统SAN/NAS存储使用的是专有硬件。使用标准硬件的好处是通用,不会受限于产商,而且成本上也更便宜,还可以做到按需扩容。
最近搜IPFS矿机,我们关注到百度上有一篇叫做《一文带你细数IPFS矿机的种种坑》的热文,引起了国内IPFS矿工朋友们的强烈的反响。这篇文章将目前鱼龙混杂的IPFS矿机市场做了一个全面的体检,我们也被自己社群的粉丝问及IPFS码蜂矿机是否存在文章里指出的其他矿机商各种不专业不靠谱的状况。
爆炸性的数据让企业考虑混合云存储来满足容量需求。但云的成本和安全问题需要解决。 各种规模的企业都面临非结构化数据集前所未有的增长速度。 增长的速度和使用的容量主要是源于捕捉和传输数据的物联网设备的快速部署。 许多小型企业正寻求公共云来帮助他们跟上这种爆炸性增长。 虽然他们的独特需求和成本现实要求小型企业与大型企业相比,寻求不同的云方案,但是,企业混合云方案可能可行。 企业混合云在企业内部数据中心中保存一部分数据,并在公共云存储设施中保存一部分。通常,企业内部存储保存大部分活跃数据,减轻公共云存储中固有的延迟
导读:对于云计算的阐述,我们将从云计算概念、原理、分类、特点和应用这5个方面展开。
开局先来一张礼品清单~ 5月26日(本周三)下午,腾讯云知识分享季公开课又要开播啦~ 这一次,我们邀请到了腾讯云存储团队的两位大牛和科技媒体TechSugar的媒体编辑,给大家带来一场干货满满的主题分享以及圆桌对话。 数据湖是能够把各种数据进行集中存储并进行分析的系统。在存算分离架构趋势下, 以对象存储作为底座的存储技术进行了哪些架构调整演进,提供了什么样的方案, 来满足数据湖上的各种计算分析应用? 作为网络内容的运营者,如何杜绝各种场景下的敏感信息,给企业审核带来的巨大挑战?互联网企业要如何做好
AI大模型触动AIGC产业爆发,是AI领域算力、数据、算法多年沉淀精进的结果。国内外云服务商们正积极将业务重心转移至AI领域,将云计算赛道竞争升格为大模型竞争,这也将加速云计算服务向大模型时代迁移,从模型驱动云服务到模型引领云服务转型,开始借助大模型的易延展能力,将AIGC接入至产业。
如今,企业越来越多地采用云存储选项,因为它们需要更多的容量、弹性容量以及更好的方式来管理存储成本。事实证明,越来越多的企业数据和云数据难以让IT部门单独使用他们的数据中心进行管理。
这一次,腾讯云存储团队的两位大牛和科技媒体 TechSugar 的媒体编辑,将给大家带来一场干货满满的主题分享以及圆桌对话。
领取专属 10元无门槛券
手把手带您无忧上云