AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储 OSS、块存储 ESSD、弹性伸缩 ESS 以及抢占式实例实现了相比 Apache Kafka 10 倍的成本优势并且提供了自动弹性的能力。
很多人提到云计算,一定会说到云计算具备自动伸缩能力,会按照客户的业务负载自动伸缩,我在刚接触云计算时也这么认真。真是这样吗?没这么简单!
Apache Kafka 自诞生之日起,就以其卓越的设计和强大的功能,成为了流处理领域的标杆。它不仅定义了现代流处理架构,更以其独特的分布式日志抽象,为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功,在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求,经过多年的发展铸就了极其丰富的 Kafka 生态,成为了事实上的行业标准。
历史上,数据分析需求的不断提升(更大的数据规模、更快的处理速度、更低的使用成本)和计算基础设施的不断进化(从专用的高端硬件、到低成本的商用硬件、到云计算服务),这两大因素推动数据仓库的架构大体经历了三个时代:软硬一体的一体机时代、存算一体的分布式时代以及存算分离的云原生时代。
云原生Clickhouse 优势概述 以Clickhouse为基础,借鉴Snowflake等系统的设计思路,打造一款高性能的云原生OLAP系统,为用户提供多场景下的一站式的数据分析平台。 简单、易维护:集群管理、统一共享分布式调度服务 高可用、可扩展:支持500万以上的Table 低成本:存储成本至少降低了50% 兼容开源,复用超高性能:兼容协议、语法、数据库存储格式 Clickhouse是一款性能十分强悍的OLAP引擎,凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩,但是目前C
近日,AutoMQ 团队发布了基于云的开源云原生 Kafka—— AutoMQ for Kafka,所有的代码采用 Apache 2.0 开源许可。AutoMQ 充分挖掘了云原生的技术红利和成本优势,再结合 Serverless 弹性技术,实现了 Apache Kafka 十倍的降本增效。本文从技术架构的角度,来揭秘 AutoMQ 为 Kafka 量身打造的云原生十倍降本方案。
今天,中国信息通信研究院“原生聚力,云数赋能”第四届云原生产业大会首日活动取得圆满成功。作为云原生领域盛会,本次大会将邀请云原生业界顶级专家代表共探云原生产业发展方向,见证云原生发展阶段性成果,分享云原生应用先进经验。 腾讯云数据库专家团携顶尖云原生数据库TDSQL-C亮相,腾讯云数据库技术负责人程彬在主论坛分享了云原生时代数据库的技术沿革,四位鹅厂专家在下午的《云原生数据库架构探索与实践》专场中详细剖析了腾讯云在云原生数据库领域的技术演进历程、架构探索、问题解决思路和发展方向。 此外,凭借创新技术和领先实
日前,第11届PostgreSQL中国技术大会圆满落幕,大会上腾讯云多位顶级技术达人携手亮相,分别对腾讯云PostgreSQL系列产品技术亮点和创新实践案例进行了深入解读,针对TDSQL-C PostreSQL高可用特性、TDSQL-A发展历程、技术架构等做出了详细介绍。 会上腾讯云数据库开源产品TDSQL PostgreSQL版(开源代号Tbase)再次公布升级:分区表能力增强,分区剪枝性能提升30%,分布区表关联查询性能(Join)提升超十倍。此外,异地多活易用性增强、分布式死锁自动检测并解锁功能上线
最近,隔壁部门的工程师小刘正在探索如何搞一套支持多地域容灾、且能共享访问的文件服务解决方案。在之前他尝试过本地的NAS存储,无奈扩容艰难、远程访问性能和吞吐量都很受限,管理复杂且成本高昂,多地备份服务更是代价巨大。其实这些功能,利用腾讯云的公有云基础服务,简单几步就可以实现。这篇小教程中,将和大家一起轻松探索,在腾讯云上搭建高可用的共享存储解决方案。
本文介绍了如何在腾讯云上构建企业级应用环境,从安全、网络、服务器、应用、集群、存储、监控、运维等多个方面进行阐述。同时,本文还提供了详细的操作步骤和截图,以帮助读者快速掌握腾讯云上的企业级应用环境构建方法。
Blog: https://databend.rs/blog/databend-0-7-0-release
TDSQL-C再创佳绩 9月16日,Distributed Cloud|2021全球分布式云大会在上海召开,腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项,TDSQL-C 是腾讯自研的云原生分布式数据库(原CynosDB), 基于共享存储,实现了强大的扩展能力和超百万级QPS的高吞吐性能,深度定制的数据库内核TXSQL是支撑关键业务平稳运行的基石。 (云原生卓越技术提供商奖项) TDSQL-C的总体架构是基于共享存储,存储和计算分离的架构。 (传统的MySQL主备架构和TDSQL
在云计算中,存储扮演着非常重要的作用,采用共享存储的方式可以实现Oracle RAC等应用场景的需要。实际上云计算中的NAS、SAN存储中,有着不同的应用场景,我们来看一看。
腾讯云文件存储CFS在中国香港地区上线,提供企业出海高速直通车服务。这是国内首家在中国香港地区提供该服务的云厂商。CFS主要为云主机服务的可多客户端共享、弹性拓展的高性能NAS存储服务。随着中国社交软件、视频点播产品、游戏等业务在国外的扩张,如何保障海外用户体验的诉求越来越强烈。腾讯云文件存储CFS作为最便捷易用的静态文件存储产品,此次中国香港节点的推出,既免去用户用云主机自建NAS的繁琐及高成本,也为用户出海提供更高效便捷的共享存储方案。
贾晶晶,Zilliz 数据工程师 & 高昌健,Juicedata 解决方案架构师,十年互联网行业从业经历,曾在知乎、即刻、小红书多个团队担任架构师职位,专注于分布式系统、大数据、AI 领域的技术研究。
在数据量持续爆增、数据日益多样化的今天,传统数据库的迭代速度已经追不上数据的增速,且企业对数据库计算和存储能力的要求越来越高。面对当前的挑战和机遇,国产数据库厂商的研发创新速度不断加快,可以说云计算时代的到来,扭转了国外商业数据库一家独大的局面。 目前,国产数据库领域正处于百花齐放的状态,已经有越来越多的行业巨头参与到了数据库的建设中,腾讯云便是其中之一。为了更深入地了解腾讯云数据库的发展历程,从而进一步透视国产数据库的发展方向,InfoQ 和腾讯云数据库专家工程师窦贤明就云数据库的发展、前景与挑战进行
Dropbox允许存储您的文档,是Dropbox公司的线上存储服务,通过云计算实现互联网上的文件同步,用户可以存储并共享文件和文件夹。Dropbox提供免费和收费服务,在不同作业系统下有客户端软件,也可以在安装在服务器上使用。本文将简介Dropbox如何在服务器上使用,本文需要一台CentOS或Ubuntu服务器,推荐你使用免费的腾讯云开发者实验室进行试验,学会安装后在购买服务器。
POLARDB 是一个具有国际性质的数据库产品,虽是一个“国产数据库” ,可最专业的资料还要看 E 文。以下为翻译
【编者按】对比虚拟机,Docker在体量等方面拥有显著的优势。然而,当DevOps享受Docker带来扩展性、资源利用率和弹性提升的同时,其所面临的安全隐患同样值得重视,近日Chris Taschner在SEI上撰文进行了总结。 以下为译文 基于容器的虚拟化平台提供了一种方式在隔离的实例中运行多个应用程序。容器技术可以为DevOps提供显著的优势,包括提高系统的扩展性、资源利用率和弹性。然而除下容器与主系统完全解耦,这种使用就会存在潜在的安全隐患。因此,这篇博文主要描述了为什么系统管理员应该密切关在容器中运
大数据领域对ClickHouse可谓非常的熟悉了。这个最初由俄罗斯的Yandex公司开发并开源的数据仓库,以单表查询快闻名于世,一改传统Hadoop技术栈“笨,重,慢”的特点。很多时候,ClickHouse的性能相对于Hadoop技术栈,性能有百倍的提升。 ClickHouse的查询性能快,不仅仅在老东家Yandex得到了证实,更是征服了世界各地大量的互联网公司,成为了它们数据分析的不二选择。 然而开源版的ClickHouse要想用好并不是很容易。很多企业用ClickHouse不但没有见到它传说中的极速
从传统关系型数据库到云数据库,数据库在不断演进。与此同时,它也发挥着越来越重要的作用。从云计算、新媒体、音视频、云游戏到移动 App,几乎各行各业都离不开数据库。一方面,数据库作为 IT 基础设施的关键一环,对企业业务的发展起着支撑作用;另一方面,数字化在经济社会中不断深入,数据成为核心要素,围绕数据的生产、存储和消费均依赖数据库。
2024年1月22日,沙利文分析师对《2023年中国云原生数据库十大厂商推荐-市场综合力表现》报告进行了线上解读,在分享云原生数据库发展现状以及最新技术趋势的同时,对腾讯云在云原生数据库领域的产品能力给与了最高评价。
李飞飞,现任阿里巴巴集团副总裁、高级研究员,阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。
云服务器无需提前购买硬件,即可迅速创建或释放任意多台云服务器,一切计算均在云端实现,降低开发运维的难度和整体IT成本。
随着“云”的热度不断升温,作为最新兴的产业之一,如果连云存储是什么,你都不知道,是不是离Out不远啦~
当时买存储服务器的速度,根本赶不上用户增长,所以用户每天最多上传 800 万张图片。
Elasticsearch技术栈一直是日志、安全、搜索场景的开源首选方案。随着数据规模的海量增长,数据的写入、存储、分析、搜索、排序等场景都会遇到非常大的挑战(存储成本大、写入查询慢等),同时客户降本增效的诉求也越来越高。本文主要解析基于腾讯云ES构建低成本、高性能、高可用日志平台所利用的核心架构和技术。基于腾讯云ES自研存算分离、读写分离、查询/IO并行化、查询裁剪等一套完整的降本增效解决方案。本文将围绕以下几个关键自研技术点进行深入分析:
1. 概览 本文记录经典的IPC:pipes, FIFOs, message queues, semaphores, and shared memory。 2. PIPES 管道是UNIX系统IPC的最古老形式,并且所有的UNIX系统都提供此通信机制。但管道有两个局限性: 历史上,它们是半双工的,现在某些系统提供全双工管道。 它们只能在共有祖先的进程间使用。通常,一个管道由一个进程创建,然后该进程调用fork,此后父进程与子进程之间就可以使用管道通讯。 管道由pipe创建。 #include <unistd
开源列式数据库ClickHouse以极致的性能、超高的性价比获得了广泛好评。在PB级查询分析场景下ClickHouse是最佳解决方案之一。开源ClickHouse集群采用SHARED-NOTHING架构,增加计算节点非常容易。
之前讲过一篇文章 一步步教你Linux7安装Oracle RAC(11GR2版本) 教大家如何安装 Oracle RAC。
共享内存是System V版本的最后一个进程间通信方式。共享内存,顾名思义就是允许两个不相关的进程访问同一个逻辑内存,共享内存是两个正在运行的进程之间共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常为同一段物理内存。进程可以将同一段物理内存连接到他们自己的地址空间中,所有的进程都可以访问共享内存中的地址。如果某个进程向共享内存写入数据,所做的改动将立即影响到可以访问同一段共享内存的任何其他进程。
1. 前言 开源列式数据库ClickHouse以极致的性能、超高的性价比获得了广泛好评。在PB级查询分析场景下ClickHouse是最佳解决方案之一。开源ClickHouse集群采用SHARED-NOTHING架构,增加计算节点非常容易。 图1:开源ClickHouse架构 但是,开源ClickHouse也有明显的不足之处: 采用存算一体架构,计算与存储耦合。 存储与计算资源无法独立扩展。用户对计算与存储资源非对称需求越发强烈,并且希望云服务商能够提供更为灵活的资源编排能力。 不具备弹性能力。 开源Cl
管道是Unix系统IPC最古老的方式。管道有下列两种局限性: (1) 历史上,它们是半双工的(即数据只能在一个方向上流动)。 (2) 它们只能在具有公共祖先的进程之间使用。通常,一个管道由一个进程创建,然后该进程调用fork,此后父子进程就可以应用该管道
我常用ISCSI配置共享存储的软件:Openfiler 和 StarWind,本文主要讲解的是 StarWind 软件。
当DevOps团队同时使用Rancher和Longhorn 1.1时,他们可以轻松管理位于任意位置的持久化数据卷,无论这些持久化数据卷位于云端、数据中心抑或边缘。
随着云时代的到来,数据库也开始拥抱云数据库时代,各类数据库系统(OLTP、OLAP、NoSQL等)在各内外云平台(AWS、Azure、阿里云)百花齐放,有开源的MySQL、PostgreSQL、MongoDB,传统数据库厂商的SQLServer、Oracle,云厂商自研的Aurora、Redshift、PolarDB、AnalyticDB、AzureSQL等。有些数据库还处于Cloud Hosting阶段,仅仅是将原有架构迁移到云主机上,利用了云的资源。有些数据库则已经进入了Cloud Native阶段,基于云平台IAAS层的基础设施,构建弹性、serverless、数据共享等能力。
为了传送大量信息,在存储器中划出一块共享存储区,进程可通过对共享存储区进行读或写来实现通信,属于高级通信方式。
鹏 飞 专注于OpenStack计算、Python。 热爱大海、雪山。 导 语 在云中使用虚拟机HA,热迁移等功能的时候,可能会出现两个主机上的虚拟机同时对共享存储上同一个磁盘进行读写操作,导致磁盘数据损坏的问题。Libvirt提供了两种方式实现磁盘资源的互斥,分别是sanlock和lockd。 相关的配置可以参考文档: https://libvirt.org/locking.html; 本篇描述libvirt使用sanlock作为磁盘锁的使用方法。 一、安装与配置 1 安装sanlock sa
对于静态迁移,你可以在宿主机上保存一个完整的客户机镜像快照,然后在宿主机中关闭或者暂停该客户机,然后将该客户机的镜像文件复制到另一台宿主机中,使用在源主机中启动该客户机时的命令来启动复制过来的镜像。
日前,Distributed Cloud|2021全球分布式云大会·上海站隆重召开。腾讯云凭借其信息技术系统的安全可控性和前沿技术的创新性,在一众企业中脱颖而出,荣获“分布式数据库创新技术奖”。这是继腾讯云数据库TDSQL获第四届中国保险大数据分析与人工智能创新国际峰会年度“保险创新者大奖”之后再次获评。 在云原生专题论坛上,腾讯云数据库产品专家梁文灿先生就腾讯云企业级分布式数据库TDSQL生态发展战略、落地应用案例做出了详细介绍。同时腾讯云数据库专家工程师张远先生对云原生数据库TDSQL-C的内核关键技
在Hadoop 中,NameNode 所处的位置是非常重要的,整个HDFS文件系统的元数据信息都由NameNode 来管理,NameNode的可用性直接决定了Hadoop 的可用性,一旦NameNode进程不能工作了,就会影响整个集群的正常使用。
本文之前在腾讯云tstack上已经发布过了https://cloud.tencent.com/developer/article/1658665,此处自己记录保留一份。
生产环境一般有独立的存储网络,和管理网络以及用户虚拟机的业务网络隔离开,互不影响网络的传输性能。
k8s对有状态的容器应用或者需要对数据进行持久化的应用,在之前的篇章说过,可以将容器内的目录挂载到宿主机的容器目录或者emptyDir临时存储卷。另外,k8s还开放了两个资源,分别是PersistentVolume(PV)和PersistentVolumeClaim(PVC),这两个资源对象可允许k8s使用外部的存储设备。比如在生产环境中有一个专门的文件服务器,那么就可以使用PV对文件服务器的资源进行定义,比如总共有多少容量等,然后用PVC对PV资源进行申请,申请多少容量,然后再容器里引用PVC即可。
NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问。为了提高HDFS的高可用性,在 Hadoop2.0 中,HDFS NameNode支持了高可用架构,如下图。
云原生(Cloud Native),有利于在公有云、私有云和混合云等动态环境中,构建和运行可弹性扩展的应用。云原生包括容器、服务网格、微服务、不可变基础设施和声明式API。 docker swarm的功能,k8s的编排,mesos的调度管理。
在过去数十年,Oracle与微软是软件行业当之无愧的两大巨头,同时也是数十年的竞争对手——从数据库到ERP,从营销策略到法律诉讼。2013年之前,两位巨头在企业级市场的厮杀可谓是乐此不疲,然而现在它们却坚定的走在一起: 从“恨到爱”只用半年 2013年6月的一则消息“惊呆了”IT领域的小伙伴们——微软宣布Hyper-V和Azure支持Oracle软件;而在之前,Oracle的CEO 拉里·埃里森更宣布将成立一个新的技术联盟,其内部成员可能会是Salesforce.com、NetSuite以及微
领取专属 10元无门槛券
手把手带您无忧上云