Apache Spark 、 Apache Ignite 两个都是顶级开源软件，同属于内存计算框架与平台。在功能上有交集也有侧重点，一山不容二虎，但是在IgniteRDD的作用下，将两个内存计算平台无缝的连接了起来变成了一个新的完美的内存计算框架。
MongoDB是NoSQL排名第一的数据库，Docker是最流行的容器引擎，Kubernetes是谷歌开源的容器编排工具！Kubernetes和Docker使MongoDB的开发运维部署变得更加简单和强大。
Etcd 是 CoreOS 团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，Etcd基于 Go 语言实现。
混合云架构的势头汹涌而来，除了大批互联网企业在积极拥抱混合云以外，不少传统企业也开始逐渐探索数字化转型，寻求智能化发展。据 Gartner 报告预测，到 2025 年，超融合基础架构在数据中心、云、边缘的应用比例将基本相当。
最近 ChatGPT 和其公司 OpenAI 特别火：ChatGPT 3, ChatGPT 3.5, New Bing, ChatGPT 4...
OpenTelemetry 的 Baggage 功能以及 Istio 和 Linkerd 等服务网格可以协同使用，以实现高度可扩展的开发、预览和测试环境。
持久卷（Persistent Volume）是Kubernetes中用于存储数据的抽象概念，可以在容器之间共享和重用。
温馨提示:本文内容较长，如果觉得有用，建议收藏。另外记得分享、点赞、在看，素质三连哦！
MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。
如果您正在构建软件即服务 (SaaS) 应用程序，您可能已经在数据模型中内置了租赁的概念。通常，大多数信息与租户/客户/帐户相关，并且数据库表捕获这种自然关系。
Monolith、SOA、DDD、The two-pizza rule、分库分表这些概念跟微服务有啥关系，你知道吗？这篇文章记录我的理解，分享给大家。
微服务架构的目标是帮助工程团队安全快速地完成高质量的产品交付。良好解耦的服务能够在最小化对其它系统的影响的条件下进行快速迭代。
influxdb是一款开源的时序数据库，可以用作监控系统的数据存储或用来存储基于时序进行分析的业务系统的数据存储。
我们经常说 Kubernetes 已经取代了 Linux 成为下一代的操作系统了。此话怎讲，看下面这张图片，传统Linux不管是用户态还是内核态，在 k8s 里面都有与其对应的服务。
Apache Ignite是一个高性能、可扩展的分布式内存计算和数据存储平台，它允许开发者在内存中处理大规模数据集，实现高速的实时计算和事务处理。Ignite不仅仅是一个缓存系统，它还支持SQL查询、分布式计算、事件处理和机器学习等多种高级功能。本文将简明扼要地介绍Ignite的核心优势、常见问题、易错点及其避免策略，并辅以代码示例，帮助读者快速掌握Ignite的使用。
【编者按】飞速增长的数据需要大量存储，对这些数据的管理也不是一件容易的事。但相比于存储和管理，如何处理数据才是开发人员真正的挑战。对于TB级别数据的存储和处理通常会让开发人员陷入速度、可扩展性和开销的矛盾困境中。近日，Dmitriy Setrakyan在Dzone上撰文，为大家介绍了新一代数据库缓存系统Apache Ignite，由OneAPM工程师编译。 以下为译文 将数据存储在缓存中能够显著地提高应用的速度，因为缓存能够降低数据在应用和数据库中的传输频率。Apache Ignite允许用户将常用的热数据
当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。“ 消息 ”是在两台计算机间传送的数据单位。消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。消息被发送到队列中，“ 消息队列 ”是在消息的传输过程中保存消息的容器 。
译自：rearchitecting-kubernetes-for-the-edge
Prometheus是继Kubernetes后第2个正式加入CNCF基金会的项目，容器和云原生领域事实的监控标准解决方案。在这次分享将从Prometheus的基础说起，学习和了解Prometheus强大的数据处理能力，了解如何使用Prometheus进行白盒和黑盒监控，以及Prometheus在规模化监控下的解决方案等。最后将从0开始构建完整的Kubernetes监控架构。
本文的部分内容摘自《使用 Apache Ignite 进行内存高性能计算 》一书。如果对此感兴趣，请查阅此书的其余部分以获取更多有用的信息。
好消息 我们改名啦！ 腾讯云容器团队公众号 正式升级更名为 腾讯云原生 我们改版啦！ 腾讯云原生特别版月报来袭 好消息当然少不了给大伙的福利，惊喜赶紧往下翻，数量有限，过时不候哦~ 云原生 新势力 云原生新势力，新鲜出炉、热气腾腾的产品新特性，总有一款牵动你的心~ 腾讯云容器服务公有云版TKE ● 新增ContainerNative网络负载均衡 ——支持CLB直连Pod 公有云版TKE为应用程序提供了负载平衡直通Pod的产品功能。优点如下： 1. 可以按照业务诉求自定义负载
向量搜索引擎 Milvus 旨在帮助用户实现海量非结构化数据的近似检索和分析。单个 Milvus 实例可处理十亿级数据规模，而对于百亿或者千亿规模数据的需求，则需要一个 Milvus 集群实例，该实例对于上层应用可以像单机实例一样使用，同时满足海量数据低延迟、高并发业务需求。集群内部处理请求转发、读写分离、水平扩展、动态扩容，为用户提供内存和算力可以无限扩容的 Milvus 实例。Mishards 就是一个 Milvus 分布式解决方案。
背景 饿了么对时序数据库的需求主要来自各监控系统，主要用于存储监控指标。原来使用graphite，后来慢慢有对指标有多维的需求(主要体现在对一个指标加多个Tag， 来组成Series，然后对Tag进行Filter和Group进行计算)，这时graphite基本很难满足需求。 业界现在用的比较多的主要有如下几类TSDB： InfluxDB：很多公司都在用，包括饿了么有部分监控系统也是用InfluxDB。优点，支持多维和多字段，存储也根据TSDB的特点做了优化。但开源的部分不支持，很多公司自己做集群化， 但大
Hadoop：Apache Hadoop是一个开源的分布式系统基础框架，离线数据的分布式存储和计算的解决方案。Hadoop最早起源于Nutch，Nutch基于2003 年、2004年谷歌发表的两篇论文分布式文件系统GFS和分布式计算框架MapReduce的开源实现HDFS和MapReduce。2005年推出，2008年1月成为Apache顶级项目。Hadoop分布式文件系统(HDFS)是革命性的一大改进，它将服务器与普通硬盘驱动器结合，并将它们转变为能够由Java应用程序兼容并行IO的分布式存储系统。Hadoop作为数据分布式处理系统的典型代表，形了成完整的生态圈，已经成为事实上的大数据标准，开源大数据目前已经成为互联网企业的基础设施。Hadoop主要包含分布式存储HDFS、离线计算引擎MapRduce、资源调度Apache YARN三部分。Hadoop2.0引入了Apache YARN作为资源调度。Hadoop3.0以后的版本对MR做了大量优化，增加了基于内存计算模型，提高了计算效率。比较普及的稳定版本是2.x，目前最新版本为3.2.0。
在 Kubernetes 采用的早期阶段，单集群部署是常态，为管理应用程序和服务提供了简单直接的方法。随着 Kubernetes 的采用扩大，单集群模型的局限性显现出来。对 Kubernetes 集群的需求不断增加，需要转向多集群部署，并采用创新的托管控制平面架构。
Kubernetes 是一个可移植、可扩展的开源平台，用于管理容器化工作负载和服务，有助于声明式配置和自动化，它拥有庞大且快速发展的生态系统，Kubernetes 服务、支持和工具随处可见。
OpenAI已经将Kubernetes集群规模扩展至7500个节点，为大型神经网络模型（如GPT-3，CLIP和DALL·E）及小型实验性研究提供了可扩展的基础架构。很少将单个Kubernetes集群扩展到如此规模，为此进行了一些必要的改进，但好处是单一的基础架构使我们的机器学习研究团队可以在不修改代码的前提下，快速扩展以缩短实验时间、加速研发进度。
Etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。 Etcd内部采用raft协议作为一致性算法，Etcd基于Go语言实现。
物流人资数据预处理平台，负责接收一线几十万员工不同条线的工作量，每日数据量约2000w，系统负责加工转换并提供数据查询的同时，还需保证查询性能，以及修改单个业务量功能。本文通过HBase在物流人资数据预处理平台中实践，讲解HBase集群如何协同工作，并概述读取数据以及存储数据的原理，以及使用HBase注意事项。
虽然 Docker 已经很强大了，但是在实际使用上还是有诸多不便，比如集群管理、资源调度、文件管理等等。那么在这样一个百花齐放的容器时代涌现出了很多解决方案，比如 Mesos、Swarm、Kubernetes 等等，其中谷歌开源的 Kubernetes 是作为老大哥的存在。也可参考：k8s 和 Docker 关系简单说明
虽然 Docker 已经很强大了，但是在实际使用上还是有诸多不便，比如集群管理、资源调度、文件管理等等。那么在这样一个百花齐放的容器时代涌现出了很多解决方案，比如 Mesos、Swarm、Kubernetes 等等，其中谷歌开源的 Kubernetes 是作为老大哥的存在。
Apache Ignite初步认识 今年4月开始倒腾openfire，过程中经历了许多，更学到了许多。特别是在集群方面有了很多的认识，真正开始认识到集群的概念及应用方法。 在openfire中使用的集群解决方案是代理+分布式内存。所谓代理便是通过一个入口转发请求到多个服务实例。而分布式内存就是解决服务实例间数据共享问题。通过这两步就可以搭建出一套水平扩展的集群系统。 openfire使用的分布式内存计算框架是hazelcast，并不了解它，大概只知道它是分布式网格内存计算框架。听许多openfire开发者都
随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用强一致性的服务发现存储仓库，渐渐为开发人员所关注。在云计算时代，如何让服务快速透明地接入到计算集群中，如何让共享配置信息快速被集群中的所有机器发现，更为重要的是，如何构建这样一套高可用、安全、易于部署以及响应快速的服务集群，已经成为了迫切需要解决的问题。etcd为解决这类问题带来了福音，本文将从etcd的应用场景开始，深入解读etcd的实现方式，以供开发者们更为充分地享用etcd所带来的便利。
Scaling a real-time streaming warehouse with Apache Flink, Parquet and Kubernetes--Aditi Verma (Branch Metrics) & Ramesh Shanmugam (Branch Metrics)
鲍永成 京东商城基础架构部技术总监 京东技术11.11基础架构峰会讲师 2013年加入京东，负责京东容器集群平台研发，带领团队完成京东容器大规模落地战略项目，有效承载京东全部业务系统以及数据库和中间
像 Cloud Foundry 这样的 PaaS 项目，最核心的组件就是一套应用的打包和分发机制。更好地模拟本地服务器环境，能带来更好的“上云”体验。
近年来，兼具公有云和私有云优势的混合云模式逐渐成为主流。Flexera 发布的 2021 云状态报告显示，92% 的企业在 IT 架构上选择多云战略, 其中 82% 的企业选择混合云。随着混合云的应用越来越广泛，越来越多用户发现在复杂的混合云环境完成容器编排并不容易。虽然 Kubernetes 已成为容器编排和调度的事实标准，但是 Kubernetes 操作复杂，且只专注于单集群租户管理，在多集群管理，尤其是涉及跨云的多集群管理方面并不完善。此外，Kubernetes 为云数据中心设计在边缘计算场景中也有一定的局限性。
etcd 是一个基于 Raft 协议实现。开源的、分布式的键值存储系统。主要用于在分布式系统中提供强一致性和高可用性的数据存储。
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构，通过和阿里云合作，深度使用阿里云可靠、先进的云服务如对象存储 OSS、块存储 ESSD、弹性伸缩 ESS 以及抢占式实例实现了相比 Apache Kafka 10 倍的成本优势并且提供了自动弹性的能力。
分析用例几乎只使用查询表中列的子集，并且通常在广泛的行上聚合值。面向列的数据极大地加速了这种访问模式。操作用例更有可能访问一行中的大部分或所有列，并且可能更适合由面向行的存储提供服务。Kudu 选择了面向列的存储格式，因为它主要针对分析用例。
在 Kubernetes 中，PersistentVolume（PV）是一种资源类型，它提供了与存储卷（如硬盘、SAN、NFS）的抽象接口。了解并合理配置 PV 的回收策略对于有效管理存储资源至关重要。
我更喜欢把 Elasticsearch 作为一种 nosql 去理解，它的一些开发概念和 MongoDB 以及 Redis 没有太大的区别，不过了解 Elasticsearch 中的一些核心概念对于你后续使用它仍然有非常大的帮助。 1. 近实时查询（Near RealTime） Elasticsearch 是一个能提供近实时查询的搜索服务引擎，这意味着从索引文档到真正可搜索之间会有一个轻微的延迟（大概在一秒内）。 2. 节点和集群 节点(node)是一个运行着的 Elasticsearch 实例，你可以认为
SPIRE 的容量是有限的，随着工作负载强度的不同，需要有不同的规模。一套 SPIRE 中的 Server 部分，可能由一或多个共享数据存储的 SPIRE Server 组成；还可以是同一信任域的多个 SPIRE Server；至少有一个 SPIRE Agent，当然，多数时候是多个 Agent。 部署规模和负载规模相关。单个 SPIRE Server 能够承载一定数量的 Agent 和注册项。SPIRE Server 负责管理和签发注册项的身份，因此它的内存和 CPU 消耗是随着负载注册条目的数量线性增长的。单一的 SPIRE Server 部署还可能导致单点失败。
在这篇博客文章中，我们主要深入看一下H Base 的体系结构以及在 NoSQL 数据存储解决方案主要优势。
Kubernetes 的 Pod Security Policy（PSP）即将被淘汰和移除，所以需要找到一个替代方案来填补这个即将出现的空白。目前看来，Kubernetes 自身并没有准备相应的替代方案，因此需要在 Kubernetes 之外寻求解决之道。CNCF 的两个头部项目可能会成为首选的替代产品，它们分别是基于 Open Policy Agent（OPA）的 Gatekeeper 以及 Kyverno，两个产品各行有千秋，但是目前还没有对这两个产品进行过正式的比较，这就让面临选择的用户无从下手了。这两个项目都是全功能的 Kubernetes 策略引擎，因此其功能不仅限于替代 PSP。本文尝试对 Gatekeeper 和 Kyverno 进行一个中立客观的比较，让用户能够据此作出决策。这里仅从 Kubernetes 的视角来对这两个项目来进行评价。
作者黄雷，腾讯云工程师，曾负责构建腾讯云云监控新一代多维业务监控系统，擅长大规模分布式监控系统设计，对golang后台项目架构设计有较深理解，后加入TKE团队，致力于研究Kubernetes相关运维技术，拥有多年Kubernetes集群联邦运维管理经验，目前在团队主要负责大规模集群联邦可观测性提升，主导研发了腾讯云万级Kubernetes集群监控告警系统，智能巡检与风险探测系统。 引言 TKE团队负责公有云，私有云场景下近万个集群，数百万核节点的运维管理工作。为了监控规模如此庞大的集群联邦，TKE团队在原
众所周知，在数据库的历史上，每次存储介质的变化都会引发软件的变革。从 SAN 存储到 SSD 到大内存到 NVM，都触发了数据库内核从理论到工程的演进。
作者 | OpenAI 译者 | Sambodhi 策划 | 褚杏娟 在本文中，OpenAI 的工程师团队分享了他们在 Kubernetes 集群扩展过程中遇到的各种挑战和解决方案，以及他们取得的性能和效果。 我们已经将 Kubernetes 集群扩展到 7500 个节点，为大型模型（如 GPT-3、 CLIP 和 DALL·E）创建了可扩展的基础设施，同时也为快速小规模迭代研究（如 神经语言模型的缩放定律）创建了可扩展的基础设施。 将单个 Kubernetes 集群扩展到这种规模很少见，但好
以下视频时长55分钟，包含中英文字幕。详细分析了Cloudera为什么要做SDX，包括Cloudera推出这个功能的动机，它为什么是Cloudera企业版的核心竞争力，它可以解决什么问题，后面还有一个demo演示，不过是云上基于Altus的版本，SDX本地on-premise版本已经在最新的CDH6.2中支持，具体也可以参考后面的文字介绍，视频最后还分享了几个SDX的客户案例，以及回答了用户关心的一些问题比如：SDX和联邦的区别，SDX要怎么试用等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
