作者陈广镇、李焕,微众银行容器平台负责人,拥有大规模 Kubernetes 集群开发运维经验。目前负责微众银行容器项目规划、容器平台架构和开发。 本文整理自微众银行容器负责人陈广镇和李焕 在 Techo 开发者大会云原生专题的分享内容——微众容器化实践。本文主要和大家介绍微众的容器化实践,具体分为三个部分:里程碑、实践之路,以及未来的规划。 微众应用容器化项目始于2018年底,我们的生产环境在私有机房上,由于基础设施的差异,容器管理系统主要走自研路线,基于开源产品定制。 2019年1月,微众上线了第一
为什么需要GPU虚拟化 根据平台收集的GPU使用率的历史,我们发现独占卡的模式会对GPU这种宝贵计算资源存在浪费现象,即不同用户对模型的理解深度不同,导致申请了独立的卡却没有把资源用满的情况。针对这种情况,虚拟化GPU技术可以更好的解决这种痛点,让机器的计算资源得到充分利用。 现有技术情况 目前来看,绝大多数公司使用的是英伟达(NVIDIA)的公司的计算卡,所以下面主要介绍NVIDIA的技术现状。 NVIDIA在前几年释放出来一个NVIDIA vGPU的一个硬件虚拟化的技术,该技术的介绍是 NVIDIA
K8S 容器云平台(如: K8S, OpenShift, Rancher, 博云, 才云, DaoCloud...) 是基于K8S的容器即服务(CAAS)和平台即服务(PAAS)的平台. 提供完整的企业级PAAS平台能力:
吕力,腾讯云容器团队高级工程师。负责腾讯云内部上云容器服务平台的自研业务适配,资源管理与成本优化的工作。 前言 TKEx-CSIG 是基于腾讯公有云 TKE 和 EKS 容器服务开发的内部上云容器服务平台,为解决公司内部容器上云提供云原生平台,以兼容云原生、适配自研业务、开源协同为最大特点。 业务容器上云过程中,会遇到一些问题,有的需要业务进行容器化改造,有的需要平台赋能。平台赋能的部分,有一类问题是 CVM 场景下已经有解决方案的,而因运维方式不同在 Kubernetes 平台上不兼容的,比如 Pod
周昕毅,携程系统研发部云平台高级研发经理。现负责携程容器云平台运维,Cloud Storage及Cloud Network基础设施研发及运维。
QData Cloud 高性能数据库云平台,不仅标志着沃趣科技云产品时代的开启,同时也是一次在数据库领域的重大技术创新,凭借强大的研发实力、创新技术、精益求精的工匠精神,将引领数据库一体化平台的新一轮革命。 遥想当年 转眼间,离2013年6月26日已经近五年之久,在那一天 Oracle 发布了12cR1正式版,给用户带来了很多强大的新特性。其中的容器数据库 (CDB) 特性应该算得上 Oracle 历史上最大的架构变化之一了。在那之前,一个实例只能与一个数据库相关联(RAC环境下可以为多对一)。然而,随着1
随着数字化转型的深入,基于中台和PaaS架构的一体化运维建设也在各行各业快速展开,但是如何将运维平台本身的能力与企业已有的工具能力进行中台化整合、工具场景如何联动,是个复杂而庞大的工程。
vivo 人工智能计算平台小组从 2018 年底开始建设 AI 计算平台至今,已经在 k8s 集群、以及离线的深度学习模型训练等方面,积累了众多宝贵的开发、运维经验,并逐步打造出稳定的基础容器平台 - AI 容器平台(VContainer)。为了支撑公司 AI 在线业务的发展,满足公司对算力资源的高效调度管控需求,需要将在线业务,主要包括 C 端、推理等业务,由原来的虚拟机或物理机迁移至 AI 容器平台。于是小组从 2020 年初开始,基于在线业务的需求对 AI 容器平台进行进一步建设,并将平台与公司的 CMDB、CICD 等基础模块进行打通,使在线业务能够顺利从虚拟机、物理机迁移至 AI 容器平台。
Yarn:为一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。
我们在上一篇中详细的介绍了消费功能开发,通过新增消费记录字段并新增了减少余额的自定义方法。而且我们也介绍了通过克隆页面来快速实现功能的开发。
其次是在调研阶段我们为什么选择了 Flink。在这个部分,主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。
同程旅行大数据集群从 2017 年开始容器化改造,经历了自研调度 docker 容器 ,到现在的云舱平台, 采用 Kubernetes 调度编排工具管理大数据集群服务。
数据猿导读 阿里体育启动12亿元A轮融资;微软收购容器管理平台Deis,全面提升Azure容器化服务竞争力;大数据技术服务商“达观数据”宣布获得5000万元融资……以下为您奉上更多大数据热点事件。 作
6月29日,DevOps国际峰会在北京盛大开幕。腾讯数据平台部高级工程师罗韩梅做了主题为“腾讯基于Kubernetes的企业级容器云平台GaiaStack”的演讲。 以下为演讲内容: GaiaStac
背景 美团点评作为国内最大的O2O平台,业务热度的高峰低谷非常显著且规律,如果遇到节假日或促销活动,流量还会在短时间内出现成倍的增长。过去传统虚拟机的服务运行及部署机制在应对服务快速扩容、缩容需求中存在诸多不足: 资源实例创建慢,需要预先安装好运行所需的环境,比如JDK等。 扩容后的实例,需要经过代码部署流程,一些情况下还需要修改配置后才能承接流量。 资源申请容易回收困难,促销活动后做相关资源的回收下线会比较漫长。 由于业务存在典型的高峰低谷,为保障业务稳定,资源实例数要保障能抗高峰期容量峰值的1-2倍,从
国内私有云现状 目前国内做私有云的公司,没有两百家也不少于一百。在很多客户云管平台投标的时候,往往是各个厂商群雄逐鹿,技术参数项全满足,报价却一个比一个低。最后中标价格不足客户预算的一半的情况也时有发生。竞争之惨烈,利润之低薄,令人惨不忍睹。 或许有人会认为私有云已没有前途,公有云才是未来。为此我专门和一些私有云厂商以及公有云厂商的架构师讨论过,大家的反馈基本都认为混合云才是未来。 就像10多年以前的Linux市场,目前CMP正是风起云涌,百家争鸣。但趋势其实逐渐走向明朗。 关于CMP目前的市场现状,Gar
陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风控平台开发。 导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。本文主要针对腾讯水滴平台上云过程中的实践总结,希望对其他业务迁移上云有一定参考价值。 水滴后台架构 腾讯水滴
【5分钟玩转Lighthouse】系列文章将为大家分享轻量应用服务器使用教程,提供丰富的实践指南,帮助大家快速上手并获得最佳产品体验。本期主要介绍如何借力 Lighthouse 实例与 bitwarden,快速搭建属于自己的密码管理器。 背景概述 在网上冲浪的每一天,我们会进入不同的网站和APP享受各类服务。「账号密码」就如同各个平台的身份证体系,来帮助确认我们独特的身份。 但显然,「账号密码」远不如身份证便捷安全。在互联网五花八门的使用场景下,如此多账号使用统一密码,就存在一个密码被攻破则其它密码都
ResourceManager(RM)是一个全局的资源管理器,负责整个系统的资源管理和分配,主要包括两个组件,即调度器(Scheduler)和应用程序管理器(Applications Manager)。
一、背景 AI时代已经来临,AI将越来越深刻的影响和改变我们的生活。还记得目光深邃,功能多样的机械姬吗?也许这一天也不会太远。 智造AI,需要数据、算力、算法,怎么样高效率的将这三者结合在一起,生产满足需求的AI,是每一个产品团队,尤其是团队中算法工程师面临的问题。 TEG星辰和机智团队希望搭建一个稳定高效可依赖的AI算力基础设施环境,帮助产品团队加速产品的研发迭代,目前看已初步取得了一些成果,星辰算力为全公司提供统一的CPU/GPU算力服务。机智加速机器学习平台 基于星辰算力,在计算加速能力上具备行
随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。本文主要针对腾讯水滴平台上云过程中的实践总结,希望对其他业务迁移上云有一定参考价值。
最近和很多金融同业、厂商讨论云平台建设,普遍感觉2018年是金融行业云计算的爆发之年,“天时、地利、人和”全部具备,春雷滚滚、祥云化雨。
tomdu,腾讯云高级工程师,主要负责宙斯盾安全防护系统管控中心架构设计和后台开发工作。 导语 宙斯盾 DDoS 防护系统作为公司级网络安全产品,为各类业务提供专业可靠的 DDoS/CC 攻击防护。在黑客攻防对抗日益激烈的环境下, DDoS 对抗不仅需要“降本”还需要“增效”。 随着云原生的普及,宙斯盾团队持续投入云原生架构改造和优化,以提升系统的处理能力及效率。本文主要介绍宙斯盾防护调度平台上云过程实践与思考。 为什么上云? 云原生作为近年来相当热门的概念,无论在公司内各部门,还是公司外各大同行友商,都
现在各种网站和手机APP都要求设置密码和输入密码,每个人都要设置大量的密码。如果都设为统一密码,就存在一旦一个密码被攻破,其他密码都失效的情况。如果要分别设置为不同密码,那么记住密码又成了一个困难的问题。所以密码管理工具也就应运而生,比较有名的密码管理工具有1Password,OneSafe,LastPass,但是这些工具大多数需要收费并且密码存储在其提供的服务器上。密码交给别人管理,还是有些不放心。
| 导语 腾讯太极机器学习平台由云架构平台部机智团队和数据平台部大数据团队共建 ,专注于资源的整合、高效利用、为算法工程师们提供统一的机器学习框架和加速方案,目前平台为多个公司级的业务提供训练平台与加速服务,涉及到NLP、计算机视觉、强化学习、语音、广告等不同AI技术。太极机器学习平台依托公司的星辰算力管理了近2万张GPU卡,对这些大规模GPU卡进行高低优先级调度,以任务化方式提供大规模、高效率、低成本的GPU算力服务。这篇文章我将重点介绍太极平台的高低优先级调度的设计。 一、高低优混合调度 太极机
导读:2018年7月6 - 7日,一年一度的技术圈盛会ArchSummit全球架构师峰会在深圳华侨城洲际酒店举办。100余位国内外技术专家将齐聚深圳,分享各类技术架构最佳实践。来自腾讯技术工程事业群架
作者 | 百度云原生团队 根据 Gartner 的调查数据,到 2022 年底,全球企业在云计算基础设施方面的支出约为 3330 亿美元。麦肯锡在调查报告中指出,2020 年,由于缺乏成本优化手段,80% 企业的云资源成本大幅超出预算;同时,45% 的企业由于缺乏优化措施,在直接迁移上云的过程中会超买 55% 的资源,并且在上云的头 18 个月会多花 70% 的费用。 随着全球经济持续下行,企业应该如何做好精细化运营和降本增效,如何优化云资源的分配、使用和管理成为了当下必须要考虑的问题。 本文将会具体介绍百
导读:了解Serverless架构,必须与深入理解其中的弹性计算以及资源分配逻辑。本文摘自2018年的ArchSummit全球架构师峰会。根据来自腾讯技术工程事业群研发专家jerome所做的主题为《基于弹性计算的无服务器化实践》的演讲内容整理而成。
导读:2018年7月6 - 7日,一年一度的技术圈盛会ArchSummit全球架构师峰会在深圳华侨城洲际酒店举办。100余位国内外技术专家将齐聚深圳,分享各类技术架构最佳实践。来自腾讯技术工程事业群架构平台部的jerome作了主题为《基于弹性计算的无服务器化实践》的分享,以下为现场演讲内容。
【本文正在参与 “100%有奖 | 我的Serverless 实战”征稿活动】活动链接
密码管理这件事从我小学申请到QQ号之后就意识到是个问题,那个时候还停留在纸笔记录,虽说方法原始,但也很有用,就是安全性嘛。。。后来使用小米账号同步在加密便签里,首先就是同步问题,总是忘记更新密码,等了好久再进去就忘了。再后来习惯了使用Google Chrome就把密码保存在Google云端,虽说目前为止没啥毛病,甚至还有点方便,但还是莫名心慌。原本想自己写一个密码管理器,后来找了找,轮子都有了,那就算了
在软件开发和IT运维领域,配置管理一直是不可或缺的一环。随着技术的发展,配置管理经历了多个时期,涌现出了各种工具和方法。本文将探讨配置管理的历史,并重点关注以下四个方面:版本控制、应用配置、系统配置以及云化的资源配置。
好久没 K8S 相关的原创了,懒得更新了,主要不知道写了是否会有帮助。直到最近几天有同学跟我探讨引入了一堆云原生组件,不仅没有提高效率,反而徒增了很多心智负担。我才想起来好久没有更文了,应该为大伙分享一些自己的所见所闻。本想写点硬核技术,后来作罢;一来技术文章读起来伤脑筋,二来 K8S 相关的技术及最佳实践文章泛滥,基本遇到的问题都有解决方案,所以今天主要聊聊 K8S 技术细节之外的一些另类话题。
作者 | 孙晓飞 整理 | 马可薇 策划 | 孙瑞瑞、丁晓昀 本文由 InfoQ 整理自小红书基础技术部后端开发 孙晓飞 在 QCon 全球软件开发大会(北京站)2022 上的演讲《小红书的降本增效之路》。 大家好,我是孙晓飞,目前就职于小红书容器架构组,负责团队内调度系统整体工作,拥有 6 年云原生相关开发设计经验,是 Kubernetes 和 Volcano member。本文将分享过去一年中,容器架构团队为小红书和整体容器服务在降本增效方面所采用的方案措施。 小红书与云原生 小红书早
10月29日,在成都举办的腾讯全球数字生态大会城市峰会上,腾讯云重磅发布自研 PaaS 一站式开发平台 TSF Serverless,TSF Serverless 是 TSF 产品的重大升级,是 Serverless 架构和微服务平台的完美融合。 TSF 是什么? TSF 是腾讯云打造的微服务解决方案,提供一站式应用全生命周期管理能力和数据化运营支持,并提供多维度应用和服务的监控数据,助力服务性能优化。 TSF 提供的核心能力包括:服务治理,应用生命周期管理,配置中心,分布式事务,数据化运营能力(日志 /
| 导语 腾讯轻舟平台(RAFT,Rapid Application Framework of Tencent)是一个致力于组件治理,为创新型应用提供“端云一体、开箱即用“的组件生态系统。本文先引入组件治理的概念,然后重点描述后台部分的组件治理思路。这里面有很多比较新颖的云化建设的理念,对传统后台的组件化建设和云化升级,希望也提供一些解决思路的参考。 一、“组件治理“的引入 为了让大家更好理解什么是组件治理,先简单回顾一下大家常见的公共组件的研发和推广流程。 大部分情况下,可能首先是因为业务需求,我做
要问2015年什么最火,耐人寻味的股票走势?黄晓明baby领证?Apple Watch 销量会有多好?我无法准确回答你,每个人心中都有自己的答案。不过要问技术领域2015什么最火,那“Docker”一定是当仁不让,这一年Docker又是融资,又是收购,又是办大会。它被爱好者冠以云计算新星、下一代虚拟机等称号,可见大家对其的期望之高。 小米雷布斯曾说过,“站在风口上,猪都能飞起来”。Gaia虽不是“猪”,但也着实借着“Docker”这股春风在腾讯内外,尤其运维和开发圈子里火了一把。Docker On Gai
在本周的SDNLAB【一期一会】直播活动中,英特尔平台解决方案架构师——高纪明与大家进行了在线交流,分享了基于OpenNESS的5G与边缘计算共部署的方案,介绍了Intel边缘计算整体解决方案,包括边缘计算硬件平台OTII和CERA,边缘计算软件管理平台OpenNESS架构,以及边缘计算与5G网络共部署的实践经验。
周昕毅,携程系统研发部云平台高级研发经理。目前负责携程K8S平台运维管理、分布式存储和云平台网络组件研发及运维管理。熟悉云基础设施建设,从事运维自动化及DevOps工具研发工作十年以上。长期关注云原生技术领域,Infrastructure AS Code理念的坚定践行者。
登录 http://ngc.nvidia.com 就能进入NGC中心(如下图),不过这个入口的更新频率很高,首页所看到的内容可能跳转至其他地方。网页最左边的“Explore Catalog”与右上角的 “用户名(未登录之前为Guest)”,大致是固定的。
作者 | 刘东阳 审校 | 赵钰莹 2018 年底,vivo AI 研究院为了解决统一高性能训练环境、大规模分布式训练、计算资源的高效利用调度等痛点,着手建设 AI 计算平台。经过四年多的持续迭代,平台建设和落地取得了很大进展,成为 vivo AI 领域的核心基础平台。平台从当初服务深度学习训练为主,到现在演进成包含 VTraining、VServing、VContainer 三大模块,对外提供模型训练、模型推理和容器化能力的基础设施。平台的容器集群有数千个节点,拥有超过数百 PFLOPS 的 GP
徐蓓,腾讯云容器技术专家,腾讯云异构计算容器负责人,多年云计算一线架构设计与研发经验,长期深耕 Kubernetes、在离线混部与 GPU 容器化领域,Kubernetes KEP Memory QoS 作者,Kubernetes 积极贡献者。 当前存在问题 GPU 具备大量核心和高速内存,擅长并行计算,非常适合训练和运行机器学习模型。由于近几年 AI 技术愈发成熟,落地场景越来越多,对 GPU 的需求呈井喷趋势。而在资源管理调度平台上,Kubernetes 已成为事实标准。所以很多客户选择在 Kubern
前言:一直以来,各个厂商的云管平台,对资源的纳管能力都比较强,大多可以管理异构虚拟化、容器、甚至公有云。比较而言,各个厂商的云管平台的自动化运维能力,相对与资源管理要弱,因此很多用户要在云管平台之外,单独搭建运维平台。造成的结果是:很多用户云管平台和运维平台相分离。实际上一个成熟的云管平台,必然在运维管理和资源管理两方面都很强,并且实现统一入口管理。 那么,针对红帽的云管平台CloudForms,我们如何在保持其资源管理优势的基础上,让他插上自动运维的翅膀,从而形成资源管理与运维管理一体化的平台呢? 通过将
导读:随着实时计算的发展,越来越多的业务利用实时计算平台开发实时数据。与离线任务不同,实时任务需要更小的时延和更高的可靠性,如何更好地保障实时数据的质量是每个实时计算平台都需要解决的问题。本次的分享题目为虎牙实时计算SLA实践之路,主要分为以下几个部分:
虛拟化技术是云计算平台的基础,其目标是对计算资源进行整合或划分,这是云计算管理平台中的关键技术。虚拟化技术为云计算管理乎台的资源管理提供了资源调配上的灵活性,从而使得云计算管理平台可以通过虚拟化层整合或划分计算资源。
01. FaaS 产品与容器生态的结合 容器镜像已成为云原生时代标准的交付物,并且有其强大的生态来解决 CICD、存储、编排等实际需求。云函数 SCF 从设计之初即是基于云原生架构的 FaaS 产品,同时也是 Serverless 思想的最佳产品化体现之一。在 Runtime 层支持自定义容器镜像后,意味着产品形态整体向容器化生态迈出了第一步。 一方面,解决函数运行时的环境依赖问题,给予用户更大的自由发挥空间;另一方面,产品形态层面的呈现使得用户无需受困于 Kubernetes 集群管理、安全维护、
今天我跟大家讲的是 Kubernetes 在网易的一些实践,目的是抛砖引玉,看看大家在这个方向有没有更好的实践方法。简单介绍一下网易云。网易云是从最早 Kubernetes 1.0 开始做起,后面 1.3 版本一直用了很长的时间。最近,对内部业务提供了 1.9 的版本。
2019年在网络科技领域最火热技术名称是什么?物联网、5G、边缘计算想必这些词汇大家早已是耳熟能详,听了这么久的热词,相信各位也会有很多的疑问。为什么边缘计算会突然热起来?为什么云计算刚刚成熟不久,又出现了边缘计算?边缘计算可以解决我们什么问题,又能为我们提供什么样的服务?下面「腾讯云大学」联合「云+社区」整理了腾讯云高级产品经理戴国超关于边缘计算技术的直播课程,将结合边缘计算的诞生、需求、框架、方案以及腾讯物联网边缘计算平台来为大家分享边缘计算技术和产品方案。
领取专属 10元无门槛券
手把手带您无忧上云