python爬虫实战之路-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

python爬虫实战之路

专栏成员

85

文章

210483

阅读量

28

订阅数

搭建Gitea+Drone轻量级代码管理和CI服务

git hook ip server web

Gitea 是一个开源社区驱动的轻量级代码托管解决方案，后端采用 Go 编写，采用 MIT 许可证，它是从Gogs发展而来的，因为Gogs由单一管理者做决定，因此诞生了Gitea，它采用社区管理模式，增加了诸多新特性，而且由社区众多的维护者来决定它的发展方向，因此拥有更强的生命力和发展潜力。

2023-03-20

2K0

Django Swagger文档库drf-spectacular

django api default schema swagger

在使用DRF的时候，通常的文档有：默认文档RestFrameWork、CoreAPI、Swagger，Swagger是最流行的API文档库，在绝大多数服务端开发中都有用到，之前我们使用了CoreAPI来生成文档，一方面是它不够流行，没办法和其他工具结合，另一方面可能是我不熟悉，所有有些接口并不能按照我们的要求来使用。因此我选择使用Swagger文档，之前使用过drf-yasg，但是drf-yasg现在还不支持OpenAPI 3.0，而在drf-yasg的官方文档中为我们推荐了另一个库：drf-spectacular，而且声明了drf-yasg不太可能支持OpenAPI 3.0，因此推荐我们使用drf-spectacular这个库。

2023-03-20

1.9K0

JS系列2-怎么把一个对象当做数组使用

callback foreach object proxy target

我们知道在JS中对象和数组的操作方式是不一样的，但是我们可以通过封装，给对象加一层包装器，让它可以和数组拥有同样的使用方式。我们主要借助Object.keys()、Object.values()、Object.entries()、Proxy。

2023-03-20

1.8K0

JS系列1-布尔陷阱以及如何避免

布尔陷阱当一个布尔型变量在表达某种意思存在歧义的时候，我们称之为布尔陷阱。通常最常见的布尔陷阱示例是一个接收布尔参数的函数。

2023-03-20

4810

docker网段冲突导致主机网络异常处理

容器镜像服务 host ping 异常处理主机

最近公司服务器网络出现了问题，现象就是有台主机不能访问某个网段的机器，无法ping通。原因是在启动docker容器的时候突然断开连接，然后就连接不上了。服务器网段是100.10.x.x，被访问机器是172.17.x.x。

2023-03-20

2.5K0

Electron+Vue3.2+TypeScript+Vite开发桌面端

electron 打包 vue.js json javascript

Electron可以让程序员重用Web的代码，使用HTML、CSS、JavaScript来构建桌面应用，并在不同平台上使用。

2022-08-31

2.4K0

搭建 sonarqube 代码质量扫描环境

java 容器镜像服务 jdk postgresql

最近在给公司搞代码质量管理，因为之前出了线上事故，以前都没人关注的，代码风格五花八门，尤其是前端代码，因为最新的 TypeScript 是支持类型注释的，而很多前端程序员使用 JS 时间比较长，一下子适应不过来，写代码时不做类型检查、不做异常判断，把 BUG 都抛给浏览器，这就导致项目可靠性差、安全度低、可维护性极差。因此借着这个机会，把祖传代码也规范一下。

2022-04-27

2.1K0

手把手搭建koa2后端服务器-登录认证

koa json javascript node.js

现在我们的开发方式都是采用前后端分离的方式，因此后端一般都只提供数据，这就造成前后端域名不同，存在跨域请求的问题，浏览器为了安全方面考虑，对跨域请求有限制。为了避免非同源请求的失败，我们需要采取跨域资源共享 CORS 来解决这个问题。

2022-04-27

6610

手把手搭建koa2后端服务器-请求参数与数据校验

koa typescript javascript node.js

koa-body 可以代替代替 koa-bodyparser 和 koa-multer 处理请求参数和文件上传

2022-04-27

1.1K0

手把手搭建koa2后端服务器-日志模块和文件上传

添加日志模块日志记录是网站开发必备的模块，方便我们进行线上问题定位。安装 log4js yarn add log4js yarn add -D @types/log4js 配置和使用配置文件中增加日志配置 src/config/index.ts log: { appenders: { out: { type: 'stdout' }, app: { type: 'file', filename: 'logs/app.log',

2022-03-29

8070

手把手搭建koa2后端服务器-项目初始化

node.js koa json typescript 编程算法

koa2 作为 nodejs 中面向未来的 web 开发框架，对于想做全栈的工程师基本是必学的，但是它并不是一个开箱即用的框架，很多必要模块需要我们自己去安装配置，整个项目框架都需要我们自己搭建，因此我把自己搭建框架的步骤记录下来，仅供参考。

2022-03-29

2.1K0

Docker 搭建 GibLab 代码管理仓库

git ssh 容器镜像服务 http linux

GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的Web服务。

2021-07-14

9660

K8S包管理神器-Helm

kubernetes 存储 nginx https 网络安全

在我们学习 kubernetes 的过程中，用的最多的是 kubectl 命令行工具，使用 kubectl 工具需要我们编写好各种部署文件，这在生产中是非常不方便的，因此 Helm 这个 kubernetes 包管理工具就应运而生了。

2021-01-04

5K0

Python 中的魔法函数

python 编程算法

魔法函数是Python中的特性，学习好魔法函数将有助于我们写出优秀的pythonic（优雅的、地道的、整洁的）代码，同时因为Python语言的特性，我们在进行框架设计的时候除了设计模式等高级技能，魔法函数是必须使用的，因此学习好魔法函数是Python语言进阶的必经之路。下面我们就为大家介绍Python里的常用魔法函数。

2021-01-04

8380

kubernetes ConfigMap使用详解

在应用部署时，配置文件几乎是绕不开的，通常我们是把配置文件放置在指定目录下，通过配置文件使应用修改的灵活性更高。但是如果我们把应用打包成容器镜像后，容器内的镜像文件就不容易修改了，一般我们会采用以下方式修改容器中的配置文件：

2020-11-19

1.9K0

实战｜手把手教你用Python爬取存储数据，还能自动在Excel中可视化！

php 爬虫 gui http

大家好，在之前我们讲过如何用Python构建一个带有GUI的爬虫小程序，很多本文将迎合热点，延续上次的NBA爬虫GUI，探讨如何爬取虎扑NBA官网数据。并且将数据写入Excel中同时自动生成折线图，主要有以下几个步骤

2020-11-19

1.7K0

kubernetes 采用 Ingress 发布服务

nginx 负载均衡负载均衡缓存 kubernetes

我们要将kubernetes集群内的服务发布到集群外使用，之前使用的方法都是 NodePort、LoadBalancer的 Service，或者是给 Service 配置 ExternalIP，也可以通过 Pod 的 HostPort 进行配置。但是这些方式都存在一些问题，几乎都是通过节点端口的形式向外暴露服务的，了解 Service 的人应该知道，通过 Service 向外暴露端口，实际是在集群中的所有节点上监听同一个端口，如果 Service 非常多，那每个节点上开启的端口就会变得很多，这样维护起来很复杂，而且也非常不安全。

2020-11-11

1K0

kubernetes的基本单位Pod详解

容器 tcp/ip api node.js kubernetes

Pod 是 kubernetes 中的基本单位，容器本身不会直接分配到主机上，而是会封装到 Pod 对象中。一个 Pod 通常表示单个应用程序，有一个或者多个相关的容器组成，这些容器的生命周期都是相同的，而且会作为一个整体在同一个 node 上调度起来，这些容器共享环境、存储卷和 IP 控件。尽管 Pod 中可能存在多个容器，但是在 kubernetes 中是以 Pod 为最小单位进行调度、伸缩并共享资源、管理生命周期。

2020-11-03

1.2K0

详解kubeadm安装k8s集群常见问题

node.js 容器镜像服务容器 bash

因为kubeadm需要用到容器，这些镜像都是k8s.gcr网站，因为众所周知的原因，国内是访问不到的，所以无法创建成功。，从其他地方下载。我在docker hub上发现了kubernetes的同步库gotok8s，应该是官方同步过来了，更新比较及时，版本也相互对应，配置好加速器下载也非常快。如果对应版本的库不存在，就找版本相近的（kube开头的几个库版本要相同），在安装的时候指定好对应的版本。

2020-10-23

1.4K0

Jenkins配置SSH Key下载代码

ssh jenkins git

在写这篇文章之前，我一直使用用户名和密码方式进行各种操作，因为比较方便省心，但是在使用的过程中，偶尔会出现异常问题，导致Git下载失败，所以建议大家都使用ssh key方式更新代码。

2020-10-23

1.9K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态