焱融科技-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

焱融科技

专栏成员

34

文章

57057

阅读量

14

订阅数

有状态容器应用，从入门到实践

文件存储存储容器 kubernetes 分布式

什么是无状态或有状态容器呢？所谓无状态容器应用，意味着容器上应用所使用的历史数据或运行状态不需要进行持久化，重新拉起这个应用时，无需关注这些历史输入。简单来说，例如你要运行一个计算器（而且这个计算器不需要支持历史记录功能），当你重新拉起这个计算器时，之前的数据不需要重新被加载上来，计算器可以认为是一个无状态应用。其它类似的无状态容器应用还包括一些协议转换、请求转发等应用，大体都可以认为是无状态的。

2021-03-15

9230

关于MPI-IO，你该知道的

文件存储存储高性能计算分布式混合云存储

在高性能计算中，经常会用到MPI或者MPI-IO，那MPI和MPI-IO到底是什么呢？

2021-03-08

2.2K0

CIO/CTO 必读 | 数字转型时代，企业存储支出知多少

存储文件存储对象存储混合云存储

企业的CIO、CTO们除了关注业务支撑、技术演进之外，还有关心一个永恒的话题：IT成本优化和投入产出比。关于这个话题，我们最近在Gartner上读到一篇很有意思的报告，迫不及待分享给大家《IT Key Metrics Data 2021 Infrastructure Measures — Storage Analysis》。

2021-02-25

4240

解读｜2020年CNCF云原生调研报告

kubernetes 容器文件存储混合云存储存储

随着2013年3月Docker 0.1版本发布以及2015年Kubernetes容器编排框架的开源，容器技术发展走上了快车道。容器架构的敏捷、轻简和高度兼容性使得容器成为云原生生态中最基础的一环，在DevOps、微服务应用的推进中，容器和编排框架都扮演至关重要的角色。目前容器技术的发展已经到了第三个阶段：第一阶段2014-2016年的技术探索期；第二阶段2017-2018年的行业试水期；第三阶段2019年以后的规模应用期。

2021-02-02

8680

一名分布式存储工程师的技能树是怎样的？

文件存储存储混合云存储分布式 TDSQL MySQL 版

很多刚刚进入存储行业或者想要转行到分布式存储行业的工程师，经常有困惑，就是“一名分布式存储工程师的技能树是怎样的？”

2021-01-07

1.2K1

如何提升存储性能之IO模型和AIO大揭秘

文件存储存储高性能计算数据处理混合云存储

如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。

2020-11-13

1.8K0

如果说数据是推动自动驾驶的原动力，那么存储扮演什么角色？

自动驾驶数据挖掘文件存储存储混合云存储

近年来，互联网、IT技术正在带动整个汽车产业迎来深刻变革。在此之前，信息技术帮助汽车行业完成了设计、供应链、营销等体系的数字化和互联网化。在传统汽车厂商进行数字化转型的同时，新能源汽车、车联网、自动驾驶等新技术兴起，特斯拉、蔚来、理想、小鹏等新厂商涌入汽车制造行业，汽车行业竞争愈发激烈，十年内实现全自动或“无人驾驶”汽车，成为了传统汽车制造商、新兴汽车制造商、专业自动驾驶解决方案供应商共同争夺的新的技术制高点。

2020-11-06

7180

EDA最强攻略，如何为EDA选择存储？

存储文件存储混合云存储高性能计算

当今数字芯片技术飞速发展，数字半导体芯片已经渗透到社会生活的各个领域，从消费电子产品、工业自动化设备到航天技术都能看到半导体芯片技术的身影。国家在芯片技术上的投入和重视程度也提升到战略层面，芯片设计制造正在成为新一代的国之重器。

2020-10-30

1.4K0

「深度解析」告诉你如何选择容器存储

文件存储存储容器 kubernetes 容器服务

随着容器技术在生产环境中越来越多被使用，实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。我们深度解读Gartner报告，就存储类型及应用类型两个维度来帮技术专业人员分析容器存储的选择。

2020-10-26

1.2K0

分布式QoS算法解析

分布式文件存储混合云存储存储存储网关

QoS对于服务多租户多业务的整体系统来说，不管对网络还是存储，都格外重要，没有QoS，会造成不同租户及业务之间对资源的抢占，用户A用爽了，用户B却遭了殃，频频投诉，这是系统管理员最头疼的事情。我们今天就来讨论一下分布式存储系统中的QoS算法。进入正题之前，我们先来了解背景知识，即什么是QoS，分布式QoS又是什么，有哪些常见的QoS算法。最后我们再来讨论本文正题：mClock算法和dmClock算法。

2020-09-03

2.4K0

存储性能加速引擎之预读

文件存储存储腾讯云 tce 解决方案数据库对象存储

顺序预读（prefetch，在Linux中也称为预读，read ahead）是一种用于提升顺序读性能的技术，用于缩小存储设备和应用程序之间巨大的效率差距。Linux内核在通用预读框架中执行顺序文件预读，它主动拦截VFS层中的文件读取请求，并将顺序的请求转换为异步预读请求，为即将到来的请求引入数据块，并在大块中进行。

2020-07-20

2.5K0

当容器遇见存储

容器 kubernetes 文件存储存储容器镜像服务

IT领域，变革的速度令人瞠舌。快速增长的数据，云计算规模的处理正推动企业向着更高效、更可靠和可扩展的方向前行。传统的应用架构已日趋极限，所幸的是，最被看好的容器化技术正成为应对上述难题的妙药良方。

2020-07-17

5800

构建可靠的磁盘系统：故障判定和自动化处理

腾讯云 tce 解决方案分布式自动化运维

存储系统以保证数据可靠为首要任务，传统单机存储以极低成本对外提供存储服务，但存在多处单点故障，可用性较低，扩展性差等问题。

2020-07-17

7800

盗梦空间之VLAN in VLAN

openstack 私有网络存储网关腾讯云 tce 解决方案混合云存储

只要做过软件开发，想必一定听说过“吃狗食”这样的说法，说的就是软件开发者应该使用自己开发的软件，这样便于理解你的系统，从而发现问题并解决问题。

2020-07-17

1.3K0

「深度解析」AI训练之数据缓存

批量计算编程算法缓存深度学习

深度学习或者AI的出现，改变了我们以往的解决问题的编程方式，不再是代码上直观的表达。

2020-07-03

1.4K0

「首度揭秘」大规模HPC生产环境 IO 特征

高性能计算大数据存储文件存储

在王坚博士的《在线》一书中提到，单纯谈数据的“大”，意义是不大的。欧洲核子研究中心（CERN）进行一次原子对撞产生的数据大到惊人，而如何通过计算的方式去挖掘出这些数据背后的价值，才是数据意义的本身。HPC高性能计算，就是完成这种价值转换的重要手段。近年来，HPC的应用范围已经从纯学术扩展到资源勘探、气象预测、流体力学分析、计算机辅助设计等更多场景。这些HPC应用程序会产生或依赖大量数据，并将其存储在PB级别的共享的高性能文件系统中。然而，无论是HPC应用的用户，还是高性能文件系统的开发人员，对这些文件的访问模式了解都非常有限。

2020-05-22

1.2K0

性能8倍提升，YRCloudFile Windows客户端破解SMB性能困局

windows dns 渲染腾讯云测试服务数据分析

说起存储性能，我们就不得不说存储访问协议，Windows场景下的存储访问协议主要有：标准的SMB协议和私有客户端协议。SMB是Windows系统上主要的共享文件访问协议，与操作系统的兼容性好。但众所周知的，SMB也存在性能问题，在文件传输期间，会有较高的协议开销。对于大文件传输，这些开销仅发生一次，但传输大量小文件时，这种开销则是重复的，这导致SMB协议难以满足渲染以及一些EDA、CAD等高性能计算场景的需求。为了解决这些场景下共享文件系统的性能访问瓶颈，焱融科技发布了YRCloudFile的Windows客户端，实现了在Windows服务器上对YRCloudFile集群的并行访问，从而提升Windows应用对大小文件的访问性能。

2020-05-09

3.3K0

什么是ReadWriteMany?

wordpress 网站建设存储 https 网络安全

在Kubenetes体系内，针对每一个持久化存储卷，都有三种访问方式： ReadWriteOnce(RWO)， ReadOnlyMany(ROX)， ReadWriteMany(RWX)。在当前的定义中，这三种方式都是针对节点级别的，也就是说，对于一个Persistent Volume, 如果是RWO, 那么只能被挂载在某一个Kubernetes的工作节点（以下简称节点）上，当再次尝试在其他节点挂载的时候，系统会报Multi-Attach的错误（当然，在只有一台可调度节点的情况，即使RWO也是能够被多个Pod同时使用的，但除了开发测试，有谁会这么用呢？）；如果是RMX, 那么可以同时在多个节点上挂载并被不同的Pod使用。举例如下:

2020-04-27

2.5K0

你不知道的SSD那些事

存储编程算法

从2005年三星作为第一个进入SSD市场的巨头，到现在短短15年，SSD已经成为非常普遍的存储介质了，相对于机械硬盘HDD，SSD在IOPS上提升了数百倍，带宽提升了数倍，如今NVMe硬盘又进一步将普通SATA SSD的性能提升了近十倍。不管是普通的SATA SSD，还是NVMe SSD，对于大多数人说，只是介质和性能上的变化，普通人甚至IT工程师会简单地认为，只要使用了SSD，存储系统访问数据的性能也会随之获得数百倍性能的提升，事实真的是这样吗？这个问题，其实很像是这样的，只要装上法拉利的发动机，车就一定快了吗？我想只有法拉利的工程师知道车身任何一度的变化，会增加多少风阻，影响百分之几秒的速度。

2020-04-24

1.2K0

你了解自己的业务IO么？

腾讯云 tce 解决方案文件存储日志数据数据库

我们为什么要关注业务的IO行为，或者IO访问模型呢？原因很简单，任何系统都要关注自己服务的对象，存储系统服务的对象就是上层应用，所以存储的研发离不开对业务行为的分析和研究。存储系统的整体设计和架构，是多种因素综合权衡的结果。在存储系统性能达到极限的时候，无论是存储的开发者还是使用者，都想知道IO的具体表现行为，开发者是为了能够找到瓶颈点，更好地优化存储系统，使用者是为了能够更优地使用存储系统，让业务稳定运行。

2020-04-17

7390

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态