微服务架构日记-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

微服务架构日记

专栏成员

39

文章

69973

阅读量

16

订阅数

如何优雅的进行错误重试

如何优雅的进行错误重试最近在爬取豆瓣电影所有演员和导演信息的过程中，遇到了一个小问题，目前豆瓣网页端的反爬还是很强的，只有使用代理IP来进行爬取，那么关键的问题来了，即使使用代理IP，也不能100%保证每次请求的不出错误的，那么如何优雅的进行错误重试呢？ Python异常判断 Python3版本为我们提供了简单明了的控制语句，即try...except...else，别小看else的加入，我们可以使用它来干很多事。else中的代码只有在没有任何异常发生的情况下才会执行，下一小节我们来看一下，真实业

2021-01-21

4320

MySQL亿级数据快速导出

云数据库 SQL Server 数据库 sql 存储编程算法

mysql千万级数据如何快速导出今天给大家讲解如何快速的导出千万级MySQL中的数据，大家平时在进行MySQL数据导出的时候，如何数据量不大（万级记录）可能不会遇到这样那样的问题，下面就我前段事件导出MySQL千万级（目前量级8千万，已快到一亿）数据遇到问题的一个回放和代码优化。查询优化当你接到需求，可能第一时间想到，直接全量查询不就好了，如果数据记录在几万条还好，当MySQL一个表的数据大于200W的时候，这个时候去查询已经非常吃力了，即使在添加索引的情况下。查询需求收到的需求是，

2021-01-21

3.7K0

数据库 sql 其他

事务为保证业务的完整性，当一条语句出现错误，则此步骤全部回退原子性(Atomicity)：事务中的全部操作在数据库中是不可分割的，要么全部完成，要么均不执行一致性(Consistency)：几个并行执行的事务，其执行结果必须与按某一顺序串行执行的结果相一致隔离性(Isolation)：事务的执行不受其他事务的干扰，事务执行的中间结果对其他事务必须是透明的持久性(Durability)：对于任意已提交事务，系统必须保证该事务对数据库的改变不被丢失，即使数据库出现故障提交默认隔离级别可重复读

2021-01-18

2.2K0

MySQL一主多从复制（基于GTID）

数据库 sql 云数据库 SQL Server 访问管理腾讯云测试服务

Mysql主从同步时Slave_IO_Running：Connecting ; Slave_SQL_Running：Yes的情况故障排除

2021-01-18

7870

文件上传控件bootstrap-fileinput与Python交互

注意下面的原因，可能是和后端API交互不成功的原因 fileinput版本不正确，需要大于5.0 前端设置的name属性值和后端接收的属性值不一致必要的css和js文件请确保下面的js和css文件存在 <script src="https://cdn.bootcss.com/jquery/3.2.1/jquery.min.js"></script> <link rel="stylesheet" href="https://cdn.bootcss.com/twitter-bootst

2021-01-18

1K0

数据锐评：中国高校数据可视化分析

api 数据分析

今天给大家讲解中国教育在线高校数据爬虫，我们从网站中爬取各大高校的基本信息，通过本案例大家可以直观的了解中国人民关注最多的学校、教育部重点扶持的省份、教育资源分布情况。截至2021年1月份，共计教育部

2021-01-18

1.2K0

Typora+开源图床+Python构建你的便捷移动MarkDown工作站

git python 腾讯云开发者社区微信

今天给大家介绍一款效率神器：Typora。我们使用码云（Gitee）来存放我们的写的博客文章和写博客过程中产生的图片。使用Python自动化上传写博客过程中产生的图片到码云（Gitee）。通过Pyth

2021-01-18

6110

设计模式：Python策略模式实现，真实项目背景

今天给大家讲解一下设计模式中的策略模式，下面的图片是真实项目中的前端图片，目前接入了三个算法能力，根据产品经理要求，后期还会有不同的算法加入进来，这个时候我们需要考虑一个好的结构对代码进行优化，可能有

2021-01-18

1.3K0

Nuxt.js项目Docker部署和pm2部署

node.js npm 打包容器镜像服务容器

pm2部署 pm2是一个node进程守护、监控、自动重启以及生成日志的软件，它可以帮你很好的管理node项目。安装node、pm2等必要依赖 node安装，请参阅Node.js 安装配置 pm2安装，淘宝cnpm，可以加快镜像安装速度 # 淘宝npm npm install -g cnpm --registry=https://registry.npm.taobao.org # pm2 安装 npm install pm2 -g # 软连接（注意软连接路径必须是绝对路径） ln -s /u

2021-01-18

2.8K0

Django项目自定义存储之fastDFS

node.js python 容器镜像服务容器腾讯云测试服务

环境准备 docker安装在虚拟机安装docker后，执行下面的命令 # 下载fastDFS镜像 docker image pull delron/fastdfs # 运行tracker docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker # 运行storage（TRACKER_SERVER这里使用ifconfig命令查看虚拟机的内网地址，不要使用本地地

2021-01-18

6480

HTTP接口测试常见请求类型

xml json 编程算法 php python

python实现Content-Type类型为application/x-www-form-urlencoded发送POST请求

2021-01-18

1.5K0

Git 常用命令及多用户相关操作

git 编程算法

多人协作 master:此分支用来发布稳定的代码，合并一般是由管理员合并 dev:此分支用于团队开发，团队成员向此分支提交代码 bug:此分支用于修复紧急bug，修复完成后一般删除 master 分支

2021-01-18

4050

Numpy/Pandas 技巧语法

Pandas 单独索引 pd的默认索引是从零开始的数字，把一列设置为新的索引可以更便于操作无header 有的表格可能没有header,pandas默认第一行为header,这种情况pandas会读取不到第一行数据 data2pd.read_csv("test.cvs",header=None)#不把第一行作列属性 set_index # 将列head变为索引，这样可以很方便的提取时间 df = data.set_index('故障发生时间') df1 = df['2020-03-01':'2

2021-01-18

3390

关于 Numpy和Pandas axis的理解

编程算法 numpy 机器学习神经网络

先知维度在理解axis之前，我们应该理解维度的含义：通常的理解是：“点是0维、直线是1维、平面是2维、体是3维”。在机器学习中我们常常处理几十维的数据，对于机器学习常用的Numpy库，当我们赋予二维数组每一行一个值的时候，那么此时二维数组的列数就是多维空间的维度。每一行给的值通常是我们的样本值，它也是损失函数准确度的一个依据。 # 构造数组，该行列式给予样本值将变为4维空间 two = np.arange(9).reshape(3,3) two ------------- array([[0, 1

2021-01-18

7360

Python实际开发中经常用到和遇到的问题

编程算法 shell python

文件操作读取大文件 with open('test.txt', 'r') as file: while True: line = file.readline() if line: print(line) else: break 多线程线程池在实际开发中进程还是慎用的，但使用多线程要注意线程变量的问题，线程变量是共享的，因此操作一些文件要保证文件名是唯一

2021-01-18

4500

Nuxt.js生成sitemap.xml、seo优化、robots.txt协议添加

c++node.js xml 网站 seo

环境准备注意生成sitemap依赖于@nuxtjs/sitemap，并且需要用axios进行请求，不要使用@nuxtjs/axios，不然会报错 npm install @nuxtjs/sitemap npm install axios sitemap.xml配置在nuxt.config.js中配置下面的内容 # 在第一行引入 const axios = require('axios') # 在modules中添加@nuxtjs/sitemap modules: [ '@nuxtjs/si

2021-01-18

5.3K0

Python sys模块

sql django 编程算法

注意 python sys.path.insert 方法是最有用的一个，该方法可以将当前项目目录插到环境变量目录，从而使项目可以找到代码, 比如在django内执行定时任务、将apps插入django中，必须要用insert sys.path insert BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) sys.path.insert(0, os.path.join(BASE_DIR, "apps")) ar

2021-01-18

5760

Python calendar模块

calendar 排序

calendar 该模块可以很好的处理一些日期边界问题，例如二月份，在一些日期操作的时候注意使用calendar模块 monthrange # 第一个元素，数字0是这个月的第一天是星期天（上一个月的最后一天为星期几(0-6)）,星期天为0； # 第二个元素，数字31是这个月的天数； In [162]: calendar.monthrange(2020,3) Out[162]: (6, 31) monthcalendar 6*7排序。每个月的日期，所以会是这样 # 日期序列 In [164]: c

2021-01-18

3980

Python Numpy高级操作

注意当 axis为None的时候，np对象将失去维度，按一维处理拷贝 view 浅拷贝，值变动会影响 copy 深拷贝,值变动不会影响索引一维参考Python 数组操作即可 # 倒序 [::-1] # 步长 [::2] 二维序号索引和pd的iloc原理一致三维有几维，就有几个冒号,原理参考二维即可花式索引按 idex 自动进行维度,给的索引是什么样的，就构建什么样的数组组合序列花式索引赋值不仅可取值，仍然可以赋值布尔索引布尔索引在过滤数据的时候，用途很大，包括pandas中

2021-01-18

5060

Docker、Docker Compose安装

容器镜像服务

Docker 安装 # 卸载老版本Docker sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ do

2021-01-18

1K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态