devops探索-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

devops探索

专栏成员

230

文章

384076

阅读量

29

订阅数

使用python多进程爬取高清美图

当我们打开一个网页，在上面发现一些了有用的信息之后，于是通过人工的方式从网页上一顿操作将信息记录起来，而通过爬虫，则可以利用一些设定好的规则以及方法来自动的从该网页上获取信息，总而言之就是解放双手，释放天性。

2021-08-08

9930

日志收集详解之logstash解析日志格式(一)

logstash就是用来处理数据的，通过建一个管道，将数据按照不同的阶段，进行处理，并最终输出的一个过程，以输入到elasticsearch为例，如下图：

2021-08-02

3.5K0

不到200行代码，使用python写一个超简单的跳板机工具

在写这个小工具之前，我就在想一定要非常简单，足够简单，所以这里用了不到 200 行代码，写了一个，可以说是非常简单。

2021-06-20

8800

不到200行代码，使用python写一个超简单的跳板机工具

在写这个小工具之前，我就在想一定要非常简单，足够简单，所以这里用了不到 200 行代码，写了一个，可以说是非常简单。

2021-06-20

1.2K1

百亿架构之filebeat讲解

这是关于k8s的日志采集，部署方式是采用DaemonSet的方式，采集时按照k8s集群的namespace进行分类，然后根据namespace的名称创建不同的topic到kafka中

2021-04-22

1.2K1

装X神器，让你的grafana看板变得炫酷起来

腾讯云可观测平台

正常grafana看板的颜色非常单调，时间长了也会审美疲劳，对于那些喜新厌旧的人来说，多少有点不能满足，于是我就在网上找了一些方式来让我的grafana看板变得更加炫酷，讲之前先贴个对比图吧

2021-02-03

3.6K0

prometheus中使用python手写webhook完成告警

腾讯云可观测平台 python

prometheus我们都知道它是最近几年特别火的一个开源的监控工具，原生支持kubernetes，如果你使用的是kubernetes集群，那么使用prometheus将会是非常方便的，而且prometheus也提供了报警工具alertmanager，实际上在prometheus的架构中，告警能力是单独的一部分，主要是通过自定义一堆的rule即告警规则，来周期性的对告警规则进行计算，并且会根据设置的报警触发条件，如果满足，就会进行告警，也就是会向alertmanager发送告警信息，进而由alertmanager进行告警。

2021-01-30

5K1

结合k8s和pipeline的流水线，并通过k8s接口完成镜像升级

jenkins python kubernetes

现在这家单位的CICD比较的混乱，然后突发奇想，想改造下，于是就用pipeline做了一个简单的流水线，下面是关于它的一些介绍

2021-01-27

7490

nginx反向代理’/’的问题记录

问题记录一个vue项目的前端，在登录时去请求另一个接口进行登录，请求时返回404，原因就是在请求www.a.com/forward/login/v1/doLogin?loginName=test&p

2020-09-18

4530

go基础-格式化输出时的占位符总结(draft)

占位符类型通用占位符整型浮点数字符串结构体布尔值指针下文将结合fmt.Printf来进行举例说明 1. 通用占位符 1.1 %v 万能占位符以默认方式打印变量的值 1 2 3 4 5 6 7 8 9 package main import "fmt" func main() { name := "dogfei" country := "中国" fmt.Printf("name: %v, country: %v\n", name, country) } 1.2 %T 打印变量类型

2020-09-11

8600

Jenkins使用脚本批量复制视图内的所有任务

每有一个新的项目，就要把现有环境的所有任务都再复制一遍，一个一个的太烦琐了，且不敢保证能100%正确，所以有没有一个脚本可以代替我们去批量执行呢？ groovy脚本

2020-08-31

2K0

ingress通过daemonSet,nodeSelector,hostNetwork方式部署

nginx node.js html kubernetes jenkins

首先我们需要在k8s集群中准备边缘节点，用来部署ingress（需要对边缘节点打污点或者使用亲和性/反亲和性），如果是私有化部署，需要对ingress做高可用，如果资源充足，还可以再做一次负载均衡，这里在本地测试的话，直接在其中一个node上启动一个就可以了

2020-08-19

3.9K0

ingress中虚拟路径解决方案

有这样一种场景，当我们有一个使用java写的项目，比如这个时候做了前后端分离，由一个服务变成了俩服务，这个时候前端访问地址比如说是：www.a.com，这个服务需要掉后端接口，比如www.b.com，这个时候倒是可以，但是使用了两个不同的域名，并且这本来就是一个项目，所以正常来说应该使用一个域名，即www.a.com/api，类似这种。但是这样会有一个问题，在进行请求时，由于使用了一个域名，而后面的URI是不一样的，所以要么修改代码，加上这么一层路径，要么修改nginx的location，在转发时把携带的路径给去掉。第一种方式可行，但是如果项目非常多，几十个项目，这种情况协调起来都费劲，所以通过nginx，把路径去掉，这种方式不需要研发做任务调整，还是非常灵活的。

2020-08-19

2.8K1

删除处于Terminating状态的namespace

html unix api javascript

可以看到monitoring这个namespace一直处于Terminating状态，一般情况下强删是删不掉的，强删的方法如下：

2020-08-19

1.1K0

k8s中pod的自动扩缩容

api kubernetes php

Kubernetes从1.1版本开始，新增了名为Horizontal Pod Autoscaler（HPA）的控制器，用于实现基于CPU使用率进行自动Pod扩缩容的功能。 HPA控制器基于Master的kube-controller-manager服务启动参数–horizontal-pod-autoscaler-sync-period定义的探测周期（默认值为15s），周期性地监测目标Pod的资源性能指标，并与HPA资源对象中的扩缩容条件进行对比，在满足条件时对Pod副本数量进行调整。Kubernetes在早期版本中，只能基于Pod的CPU使用率进行自动扩缩容操作，关于CPU使用率的数据来源于Heapster组件。 Kubernetes从1.6版本开始，引入了基于应用自定义性能指标的HPA机制，并在1.9版本之后逐步成熟。

2020-08-06

3.6K0

django基础之MVC和MVT介绍与理解

mvc 数据库 sql

MVC(Model View Controller) 传统的Web开发的标准设计模型 1 2 3 C: 用于接收请求，处理业务逻辑，与Model和View交互，返回结果 M: 主要封装对数据库的访问，

2020-08-03

8510

命令小技巧总结

当我们查看java日志的时候，有一些报错日志，并不会是输出到一行中，而是唰唰唰打印一堆，就像下面这样

2020-07-31

3420

新增项目时如何修改Jenkins

对象存储 kubernetes

点击“+”，新建视图，然后输入名称，选择列表视图，勾选”使用正则表达式在视图中显示任务“

2020-07-31

1.2K0

LVM添加硬盘并扩容至已有分区

node.js 存储 centos linux

LVM是 Logical Volume Manager（逻辑卷管理）的简写，它是Linux环境下对磁盘分区进行管理的一种机制。LVM将一个或多个磁盘分区（PV）虚拟为一个卷组（VG），相当于一个大的硬盘，我们可以在上面划分一些逻辑卷（LV）。当卷组的空间不够使用时，可以将新的磁盘分区加入进来。我们还可以从卷组剩余空间上划分一些空间给空间不够用的逻辑卷使用。

2020-07-31

25.7K2

Jenkins结合ansible实现虚机部署

DevOps 解决方案 ssh jenkins jar api

由于使用虚机部署，跟结合k8s和docker有一些区别，且此部署是针对私有化部署，例如本例中的重庆项目，外面是无法访问到服务器的，像这种场景的部署，需要具备以下条件：

2020-07-31

2.5K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态