存储知识-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

存储知识

专栏成员

81

文章

69052

阅读量

14

订阅数

GPT模型训练阶段概述

机器学习强化学习 gpt 模型数据

2022年末，生成式对话型人工智能ChatGPT和AI生成图片应用Midjourney问世，1个月内获取过亿用户。根据IDC发布的《2022-2023中国人工智能计算力发展评估报告》显示，我国AI计算力保持快速增长，2022年智能算力规模达到268百亿亿次/秒（EFLOPS），超过通用算力规模，AI行业发展迅速。AI领域的大部分问题都是如何提高机器学习效率的问题，即如何能让机器更高效地学习客观物理世界并代替人类执行工作任务。让机器学习客观物理世界，听懂人类指令执行任务，这个愿景实现的首要难点就是如何能让机器学习读懂人类语言。

2023-06-08

5580

从绿色节能趋势看存储资源盘活系统HBlock

数据中心约超过一半的成本是电费，数据存储系统作为数据中心三大件之一，能耗也约占三分之一，面对非结构化数据量的快速增长挑战，以及国家对数据中心绿色节能要求的提高，分布式存储的绿色节能愈来愈加重要。

2023-05-25

3800

从分布式存储管理功能发展趋势看存储资源盘活系统HBlock

随着企业IT的架构复杂化、多样化，非结构化数据进入到企业生产决策流程，企业对非结构数据的安全可靠、自动化管理、跨云共享提出了新的要求，为满足新的数据管理需要，分布式存储正向着硬件异构、多数据中心容灾、智能化运维的方向创新演进。

2023-05-18

1880

论存储资源的盘活

研究表明，各机房广泛存在存储资源利用率低的问题，《计算机世界》中指出：30%的服务器处于沉睡状态。斯坦福大学研究员乔纳森·库米使用能效软件分析了近4000台物理服务器，也得出30%的结论。为满足系统性能和升级扩容等要求，客户一般购买超过实际数据容量需求3-4倍的磁盘，从而造成了闲置，平均40%-50%的磁盘容量从未被利用过。麦肯锡公司发布研究表明有高达30%的数据中心服务器“功能失效”。Uptime 研究组织根据从其客户收集的数据进一步确认了“高达30%的数据中心服务器‘功能失效’”。

2023-04-20

4400

如何提升AI资源利用率

云原生存储技术

研究显示，AI工程化落地过程中，出现痛点从高到底依次是资源利用率、大模型落地、分布式训练效率、推理效率、国产化、异构芯片调度。其中，资源利用率出现频率接近后面五名的总和。深挖痛点，其背后是资源分配不均衡、资源规划不合理、资源碎片多的问题。

2023-04-13

4420

东数西存场景的探索与实践

“东数西算”是通过构建数据中心、云计算、大数据一体化的新型算力网络体系，将东部算力需求有序引导到西部，对优化数据中心建设布局，提升国家整体算力水平，促进绿色发展，扩大有效投资，具有重要意义。

2023-04-06

4660

解析存储资源盘活系统的三种缓存模式

缓存，是利用局部性原理，将高频操作的数据存放到访问速度更快的介质中，后续读取相同数据时无需再访问慢速设备，从而可以显著降低操作延时，提高读写速度。局部性原理有两种：

2023-03-30

3430

盘活存储资源，HBlock助力绿色高效发展

企业存储分布式存储服务器系统

2023年3月10日，由百易传媒（DOIT）主办、上海市计算机学会与上海交通大学支持的第六届分布式存储高峰论坛在线上成功举办。存储资源盘活系统荣获“2023分布式存储产品金奖”。

2023-03-23

3950

深度解析内容生成式AI背后的大语言模型

iphone gpt lstm nlp

几个月前以ChatGPT为首的内容生成式AI就已经火得不能再火了，然而，随着本周GPT-4和文心一言的发布，AI在国内外又“火上加火”了一次。

2023-03-16

1.2K0

一个机房当做两个用？混合部署打造新型绿色数据中心

巴拿赫-塔斯基定理（又名“分球怪论”），指出在选择公理成立的情况下，可以将一个三维实心球分成有限部分，然后仅仅通过旋转和平移到其他地方重新组合，就可以组成两个半径和原来相同的完整的球。这种凭空倍增的结论违反很多人的直觉，但确实符合数学定理。而现实中的数据中心，也存在类似的方法，可以通过在一个机房中混合部署两个环境，来实现原本两个机房才能办的事情。

2023-03-02

6310

ChatGPT后台揭秘！存储资源盘活系统构建AI时代的存储底座

NLP 服务 linux 存储分布式

ChatGPT最近火了。ChatGPT在发布5天内吸引了100w用户，用户获取速度超过了任何一家科技产品。人们一直梦想着计算机能更多地参与到生产活动中来，如翻译文字、识别语言、检索、生成文字图片等。2022年末，生成式对话型人工智能ChatGPT和AI生成图片应用Midjourney问世，1个月内获取过亿用户。尽管根据用户使用后的的反馈，它们的表现还不能堪称完美，但已经是令大众惊喜的程度了。ChatGPT和Midjourney背后的公司是OpenAI，成立于2015年，由Elon Musk和Sam Altman等个人和组织创建，旨在推进和促进人工智能领域的研究。

2023-02-23

8640

3个命令行就能给机房省电？用户态存储开启节能新思路

位于南极洲西南部的斯怀茨冰川是地球上最宽的冰川之一，它又被科学家们称为“末日冰川”（doomsday glacier）。因为它一旦崩塌，将导致全球海平面急剧上升4.87米。全球变暖是“末日冰川”崩塌的罪魁祸首。为了缓解全球变暖和气候变化的负面影响，构建可持续的技术基础设施，降低碳排放就成为了IT厂商追逐的目标。

2023-02-16

4930

SRRS推进“云减碳”计划

云计算存储

目前国内外政策层面均已经关注到云计算这一高碳排放行业，并对云计算的低碳发展提出相关的政策要求和支持。主要集中在优化现存数据中心的能耗、限制新建数据中心的PUE以及推广可再生能源的使用三个方面。目前海外云服务商在节能减碳方面较为领先，多数头部云服务商均已达成碳中和的目标，下一步准备实现净零排放；国内云服务商均响应国家2030前实现碳中和的目标，承诺在2030年前至少实现自身运营的碳中和，并提出相关的节能减碳计划。

2023-02-09

5380

容器时代的存储底座：存储资源盘活系统SRRS

kubernetes 容器 api 虚拟化分布式

容器是软件的可执行单元，它采用通用方式封装了应用程序代码及其库和依赖项，因此可以随时随地运行容器（无论是在桌面、传统 IT 还是云端）。为此，容器利用操作系统 (OS) 虚拟化形式，这里会利用操作系统的功能（在 Linux 内核中，即名称空间和 cgroups 原语）来隔离进程，并控制这些进程有权访问的 CPU、内存和磁盘的数量。容器小巧轻便、速度快且可移植，提供快捷弹性伸缩，结合 Kubernetes 或 Mesos 这类管理平台，有着强大的弹性管理能力。

2023-01-17

9440

利用Kubernetes与SRRS打造云原生基础架构

kubernetes 容器 api 分布式

云原生，“云”表示应用程序位于云中，而不是传统的数据中心；“原生”表示应用程序从设计之初即考虑到云的环境，原生为云而设计，在云上以最佳姿势运行，充分利用和发挥云平台的弹性+分布式优势。云原生应用也就是面向“云”而设计的应用，在使用云原生技术后，开发者无需考虑底层的技术实现，可以充分发挥云平台的弹性和分布式优势，实现快速部署、按需伸缩、不停机交付等。

2023-01-12

8940

解析SRRS：如何盘活存储资源

存储运维企业

随着IT技术的发展，数据规模爆炸式增加，存储技术的地位变得越来越重要。与此同时，存储能力逐渐地从应用系统中分离出来，形成了专业的存储系统，进而发展成了存储网络。IT技术经历了以处理器、传输技术为核心的阶段后，已进入了以存储技术为核心的发展阶段。考核一个存储系统的性能指标有很多，如容量、可扩展性、可伸缩性、可管理性、高可用性等，存储系统的容量是基础。

2023-01-05

4210

存储资源盘活系统助力地方政府推行信创工作

信创，即信息技术应用创新，它与“863计划”“核高基”一脉相承，始于2013，兴于2020年，是我国IT产业发展升级采取的长久之计。信创建设从关键环节核心组件的自主创新入手，从党政军和关系国计民生的关键行业试点，为国产IT厂商提供实践创新的市场，从而逐步建立自主的IT底层架构和标准，实现IT全产业链实力和结构的优化升级。

2022-12-29

5200

顺应时代趋势，CSN的安全可控之路

存储安全 cdn 网络安全

新型基础设施建设，简称“新基建”，已成为构建支撑中国数字经济新动能的基础网络，给中国的新经济带来巨大的加速度，同时也会带动形成短期及长期的经济增长点。新基建的建设是一步一步、循序渐进的过程，但想要每一步都走得稳，就要牢牢守住安全底线。强调“科技政策要聚焦自立自强”，可见以自主可控、安全可信为主的信创产品大有可为。我国12部门联合发布了《网络安全审查办法》，为新基建明确了保障安全的重要方向，其中明确规定，自主可控是网络安全的必要条件。为了确保重要领域的安全性与稳定性，有关部门对核心技术产品实施了包括自主可控测评的多维度测评，其构成为：自主可控测评、质量测评、安全测评。而内容存储网络CSN就是满足以上三个维度的自研产品，通过构建安全可控的存储底座来助力新基建建设。下面，我们先来了解一下内容存储网络的概念。

2022-12-21

2870

从存储层面打造自主可控的信创链

存储编程算法安全分布式 linux

当前，互联网发展正处于Web2.0向Web3.0演进的重要节点，Web3.0为数字经济发展提供了全新的场景和机遇，但风险和挑战也随之而来。

2022-12-14

3280

存储资源盘活系统助力信创：自主可控的存储控制器

安全存储安全治理网络安全

信创，即信息技术应用创新产业，它是数据安全、网络安全的基础，也是新基建的重要组成部分。信息技术应用创新发展是目前的一项国家战略，也是当今形势下国家经济发展的新动能。发展信创是为了解决本质安全的问题。本质安全也就是说，把它变成我们自己可掌控、可研究、可发展、可生产的。信创产业发展已经成为经济数字化转型、提升产业链发展的关键，从技术体系引进、强化产业基础、加强保障能力等方面着手，促进信创产业在本地落地生根，带动传统IT信息产业转型，构建区域级产业聚集集群。

2022-12-07

4750

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态