用户希望将历史数据迁移到OSS上的用户目标存储桶。需要迁移的源数据可能来自某个OSS桶,也可能来自本地或第三方云存储(例如腾讯云COS)。等等,HTTP等。
在近日的一个风和日丽的下午,正在快乐的写 bug 时,突然间钉钉就被 call 爆了,原来是 k8s 测试集群的一个 namespace 突然不见了。这个 namespace 里面有 60 多个服务,瞬间全部没有了……虽然得益于我们的 CI/CD 系统,这些服务很快都重新部署并正常运行了,但是如果在生产环境,那后果就是不可想象的了。在排查这个问题发生的原因的同时,集群资源的灾备和恢复功能就提上日程了,这时 Velero 就出现了。
Docker 变得越来越流行,它可以轻便灵活地隔离环境,进行扩容,运维管理。对于业务开发者而言,随着持续集成的发展,对代码质量及快速迭代的要求也越来越高。
作者简介:杜秋,云计算运维工程师,目前主要从事Kubernetes技术栈的CI/CD运维,多年一线运维工作,参与平台搭建、平台迁移、企业从自建IDC到上云、自动化建设等运维核心项目。
使用velero可以对集群进行备份和恢复,降低集群DR造成的影响。velero的基本原理就是将集群的数据备份到对象存储中,在恢复的时候将数据从对象存储中拉取下来。可以从官方文档查看可接收的对象存储,本地存储可以使用Minio。下面演示使用velero将openstack上的openshift集群备份恢复到阿里云的openshift上。
Docker 1. 简介 1.1 什么是虚拟化 在计算机中,虚拟化(Virtualization)是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部分是不受现有资源的架构方式,地域或物理组态所限制。一般所指的虚拟化资源包括计算能力和资料存储 在实际的生产环境中,虚拟化技术主要用来解决高性能的物理硬件产能过剩和老的旧的硬件产能过低的重组重用,透明化底层物理硬件,
3、从快照中恢复数据,注意:在源集群中全量备份数据,恢复的时候,会有索引冲突的现象
企业数据上云后,面临数据定期备份的需要,传统的一体机受制于网络带宽的限制不再适用于云上数据的灾备。为此,云服务商开发了很多备份的工具,最简单、易用的工具也就是快照。用过vmware等虚机环境的同学,一定非常喜欢“快照”服务,通过设置云快照服务(支持自动、手工),可以在故障环境快速恢复。今天我们来看一下该服务。
Kubernetes(简称K8S) 是Google开源的分布式的容器管理平台,方便我们在服务器集群中管理我们容器化应用。
“ 之前尝试过在各种不同的云平台、云算力,部署清华大模型 ChatGLM2-6B,有失败有成功,但不是很理想。这次使用免费的阿里云机器学习GPU资源,终于成功了。”
假设将带有 hash 值的静态资源推至 CDN 中,此时静态资源的地址为: https://cdn.shanyue.tech。而它即是我们将要在 webpack 中配置的 config.output.publicPath。
在企业环境中工作,无论是商业组织还是非商业组织,你会发现在互联网上获取信息存在着种种限制。
大家好,我是山月,这是我最近新开的专栏:「前端部署系列」。包括 Docker、CICD 等内容,大纲图示如下:
Verdaccio 是 Sinopia 开源框架的一个分支。它提供了自己的小数据库,以及代理其他注册中心的能力(例如:npmjs.org 网站),配置以及部署相对简单,一步到"胃"。如果公司的私包比较少的话或者你想偷懒,可以考虑一下。
最近开始自己摸一些小鱼,算是拓展一下知识面。因此开始寻找可以降低配置量的 CI 与 CD 方案。
关于thanos的介绍可以参考这篇官方博客的翻译文档,本文不作部署操作介绍。下图是thanos的官方架构图,主要有5个组件:
目前我们公司使用的基本上都是java开发的后端,本文详细的介绍了公司java程序docker 包构建的演变过程,这里面不对java包本身的构建做过多的赘述。
我的开源 Spring Cloud 项目 PassJava 一直可以在 Windows 上正常运行,最近不是换 Mac M1 了么,想把这个项目在 M1 上跑起来,毕竟我的那台 Windows 用起来发烫,是该体验下 M1 的性能了。
我的开源 Spring Cloud 项目 PassJava 一直是在 Windows 和 Ubuntu 上运行,最近不是换 Mac M1 了么,想把这个项目在 M1 上也跑起来,毕竟我的那台 Windows 用起来发烫,是该体验下 M1 的性能了!
以往我们都是买一台服务器托管,然后把前端页面和后端服务放在同一台机器上,把域名解析到这台服务器,通过nginx绑定域名,并指向到前端页面所在目录,前端页面请求接口,就配置nginx代理转发,比如匹配到 '/xxxx',就转发到后台服务上。
PeerDB 团队最近完成了针对 Elasticsearch 的数据集成目标连接器的初步开发,并已进入测试阶段。 EElasticsearch 是一个广泛使用的搜索和分析引擎,它建立在分布式多用户能力的文档数据库之上。在多个行业的数据架构案例中都有 Elasticsearch 的广泛应用。
估计很多人会有自己封装的一些工具类,今天怎么教大家怎么在docker环境下搭建maven私服,我这里用的版本是nexus2,虽然nexus3更新,并且支持docker镜像的存储,不过这个我们用不到,docker镜像我们都是放阿里云的,免费速度还快。
大家好,我们使用k8s已经有一段时间了,早些时间这篇文章的思想和技巧在使用的过程中也逐步被深度验证,主要是经验和坑,包括团队协作、技术落地、公有云的坑,自动化工具、CICD先后等。我觉得有必要更新2.0版本。
笔者之前在Web漏洞挖掘指南 -SSRF服务器端请求伪造介绍了SSRF某些场景下的利用和绕过方法,有时开发对于SSRF的限制可能是简单的禁用内网地址来实现的,这时如果传入一个外网地址,将其重定向至内网地址,则可以绕过限制对内网服务器发出请求。
在CI/CD中演示前端三种部署方案,镜像部署,服务器部署,OSS部署 这是一次总结。废话不说直接上代码 .gitlab-ci.yml image: node:latest stages: - install - code-lint - build - deploy-test - deploy-uat - deploy-pro cache: paths: - node_modules install: stage: install script: -
相关官网(需访问国外网站): sebp/elk历史镜像版本查询页 sebp/elk镜像官网
WPJAM Basic 最新版已经实现了对腾讯云 COS WebP 功能的支持,开启之后,可以大大节省 CDN 费用。
prometheus是时序数据库,相比传统数据库更适合存储监控类数据;是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统;同时也是云原生时代监控的事实标准。
不同的代码需要不同的环境,比如 JS 代码的构建需要 node 环境,Java 代码 需要 JVM 环境,一般我们会把它们隔离开来单独部署。
本文介绍了如何使用 Kubespray 在本地开发测试部署 Kubernetes 集群及其注意事项。
一看Maven之痛就知道是Java程序员。在与GraalVM匹配的Micronuat和Quarkus两个架构没成熟之前,Java在云原生领域非常尴尬。成熟的架构都是全家桶式设计,与容器小而精追求八字不合。如果不继承这些成熟的东西,另起炉灶。我干嘛不用GO多造点轮子?GO瞎写起来还没Java啰嗦。
今天再次收到了来自OSS的费用单,当我们购买了OSS对象存储后一般都会有指定的容量。这个容量的费用在选择开通对象存储后,就进行了支付。而之后产生的费用多是流量费用。
我们继续来解答 WPJAM Basic 插件「CDN 加速」功能的常见问题,今天是关于图片同步的问题。
根据格像科技公司的业务需求,我们需要搭建一个近似最近邻(Approximate Nearest Neighbor,即 ANN)搜索引擎,以便将在线向量相似搜索功能应用到公司其他业务中。我们搭建的 ANN 搜索引擎需要满足以下几个要求:
Devops和k8s的火热,越来越多的企业将docker运用到自动化运维中,不管是为了保证开发、测试、生产环境的环境一致性,还是和CI/CD工具的集成度,比如jenkins对docker或k8s的自动构建部署等,亦或利用docker进行自动化测试等
就在前段时间,NewsBlur的创始人SamuelClay在将MongoDB集群迁移到Docker容器过程中,一名黑客获得了NewsBlur数据库的访问权限,删除掉了250GB的原始数据,并要求他支付0.03 BTC的赎金。
lsmod命令用于显示已经加载到内核中的模块的状态信息。执行lsmod命令后会列出所有已载入系统的模块。Linux操作系统的核心具有模块化的特性,应此在编译核心时,务须把全部的功能都放入核心。您可以将这些功能编译成一个个单独的模块,待需要时再分别载入。
本文介绍的Nexus不是谷歌的一个手机品牌哈,而是一个非常强大的仓库管理平台。支持常见的Docker、Maven、npm、PyPI等仓库的管理。
我们继续来解答 WPJAM Basic 插件「CDN 加速」功能的常见问题,今天是图片不能正常显示和没有替换为 CDN 域名这两个问题:
所以Logstash一般可以用fluentd或者filebeat替代,这就有了EFK
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。
Dokcer篇 1:Docker的用处 2:Docker的三个概念 3:Dokcer启动镜像的参数介绍 4:如何制作一个镜像,Dockerfike的编写 命令的讲解 5:使用Docker启动一些常用的项目 前端部署方案 1:Nginx,IIS, tomcat 2:Dokcer镜像 3:OSS CDN 流水线篇 CI/CD 流水线部分 1:Gitlab,Runner,流水线,Devops 的概念介绍及安装 2:流水线内容编写,指令讲解,制作一个最简单的流水线 3:使用docker部署前端项目
良好的监控环境为腾讯云容器服务高可靠性、高可用性和高性能提供重要保证。您可以方便为不同资源收集不同维度的监控数据,能方便掌握资源的使用状况,轻松定位故障。 腾讯云容器服务提供集群、节点、工作负载、Pod、Container 5个层面的监控数据收集和展示功能。 收集监控数据有助于您建立容器集群性能的正常标准。通过在不同时间、不同负载条件下测量容集群的性能并收集历史监控数据,您可以较为清楚的了解容器集群和服务运行时的正常性能,并能快速根据当前监控数据判断服务运行时是否处于异常状态,及时找出解决问题的方法。例如,您可以监控服务的 CPU 利用率、内存使用率和磁盘 I/O
基于此,OWASP发布了开源软件风险清单TOP 10,旨在解决帮助企业用户更好地解决开源软件组件安全问题,帮助安全从业者更成熟地治理和安全使用OSS。风险清单TOP 10由Endor Labs首创,该公司专注于OSS安全、CI/CD管道和漏洞管理、软件供应链安全等。
现在成熟的前端团队里面都有自己的内部构建平台,我司云长便是我们 CI/CD 的提效利器。我先来简单介绍下我司的云长,此云长非彼云长,云长主要做的是:获取部署的项目,分支,环境基本信息后开始拉取代码,安装依赖,打包,并且将项目的一些资源静态文件上传 CDN,再将生成的代码再打包成镜像文件,然后将这份镜像上传到镜像仓库后,最后调用 K8S 的镜像部署服务,进行镜像按环境的部署,这就是我们云长做的事情。如果想从零开始搭建一个自己团队的部署平台可以看下我们往期文章 如何搭建适合自己团队的构建部署平台,本期我们只是针对云长中静态资源本地化的功能做细致阐述。
本项目启动需要依赖MySql、Elasticsearch、Redis、MongoDb、RabbitMq等服务,安装依赖服务请参考mall在Windows环境下的部署,数据库中需要导入mall_tiny.sql脚本。
陌溪这次和小伙伴们来聊一聊蘑菇博客的部署,在经过项目的不断更新迭代,部署方式也是经历了多个阶段。分别是:手动部署,Docker部署,Docker-Compose部署。而在这两天,陌溪应小伙伴们的要求,继续简化部署流程,完成了使用 一条命令部署蘑菇博客 。下面,让我们一起来看看蘑菇博客部署方式的变化。
前面我们已经实现了一个简单的 etcd operator,要实现 etcd 集群的完整运维,备份和恢复肯定也是必不可少的,本文主要和大家介绍如何编写一个用于 etcd 备份的 Operator。
领取专属 10元无门槛券
手把手带您无忧上云