烂笔头-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

烂笔头

专栏成员

52

文章

133115

阅读量

32

订阅数

使用GitHub Actions自动构建DockerHub镜像

容器镜像服务容器 github git

DockerHub开启付费功能后，自动构建的功能不再免费开放了，这样Github的项目就不能再免费自动构建docker镜像并自动发布到DockerHub上。

2022-01-04

2.6K0

Flume HDFS Sink写数据到S3

hadoop https 网络安全 bash bash 指令

Flume目前为止没有提供官方的S3 Sink。但是有一个可行的选项HDFS Sink。HDFS Sink 可以使用hadoop-aws.jar来完成S3的写入工作。

2021-07-13

1.5K1

Python计算大文件行数方法及性能比较

如何使用Python快速高效地统计出大文件的总行数, 下面是一些实现方法和性能的比较。

2020-08-13

1.1K0

Linux配置SSH免用户免密码登陆

简化SSH登陆过程, 实现从机器A登陆机器B只需要运行ssh hostname即可, 即不需要输入用户名和密码。

2020-05-22

6.4K0

Airflow笔记-MySqlOperator使用及conn配置

云数据库 SQL Server

MySqlOperator 的数据库交互通过 MySQLdb 模块来实现, 使用前需要安装相关依赖:

2020-04-09

1.3K0

Selenium爬虫-获取浏览器Network请求和响应

selenium json github https html

自从发现 Selenium 这块新大陆后，许多异步加载、js加密、动态Cookie等问题都变得非常简单，大大简化了爬虫的难度。

2019-12-05

28.6K5

Python图片验证码降噪 — 8邻域降噪

图片验证码识别的可以分为几个步骤，一般用 Pillow 库或 OpenCV 来实现，这几个过程是：

2019-12-05

2.1K0

Docker容器化部署Python应用

容器 flask 容器镜像服务 python

Docker是目前主流IT公司广泛接受和使用的，用于构建、管理和保护它们应用程序的工具。

2019-12-05

2.5K0

Python异步Web编程

python 编程算法 html node.js

异步编程适用于那些频繁读写文件和频繁与服务器交互数据的任务，异步程序以非阻塞的方式执行I/O操作。这样意味着程序可以在等待客户机返回数据的同时执行其他任务，而不是无所事事的等待，浪费资源和时间。

2019-12-05

2.7K0

Python标准库笔记(11) — Operator模块

代码中使用迭代器时,有时必须要为一个简单表达式创建函数。有些情况这些函数可以用一个lambda函数实现，但是对于某些操作，根本没必要去写一个新的函数。因此operator模块定义了一些函数，这些函数对应于算术、比较和其他与标准对象API对应的操作。

2018-12-27

1K0

Django中六个常用的自定义装饰器

装饰器作用 decorator是当今最流行的设计模式之一，很多使用它的人并不知道它是一种设计模式。这种模式有什么特别之处? 有兴趣可以看看Python Wiki上例子，使用它可以很方便地修改对象行为，

2018-07-04

1.3K0

Python标准库笔记(9) — functools模块

目录[-] functools 作用于函数的函数 functools 模块提供用于调整或扩展函数和其他可调用对象的工具，而无需完全重写它们。装饰器 partial 类是 functools 模块提供的主要工具, 它可以用来“包装”一个可调用的对象的默认参数。它产生的对象本身是可调用的，可以看作是原生函数。它所有的参数都与原来的相同，并且可以使用额外的位置参数或命名参数来调用。使用 partial 代替 lambda 来为函数提供默认参数，同时保留那些未指定的参数。 Partial 对象下面列子

2018-06-20

9010

Python标准库笔记(10) — itertools模块

python 编程算法存储

目录[-] itertools 用于更高效地创建迭代器的函数工具。 itertools 提供的功能受Clojure，Haskell，APL和SML等函数式编程语言的类似功能的启发。它们的目的是快速有效地使用内存，并且将它们关联在一起以表示更复杂的基于迭代的算法。基于迭代器的代码比使用列表的代码提供了更好的内存消耗特性。因为直到数据需要使用时才从迭代器中生成，所有数据不需要同时存储在内存中。这种 “惰性” 的处理模式可以减少大型数据集的交换和其他副作用，从而提高性能。除了 itertools 中

2018-06-19

1.8K0

Python标准库笔记(8) — pprint模块

python 数据结构

目录[-] pprint —— 更美观的打印数据结构 pprint 模块包含一个“美观打印器(PrettyPrinter)”，用于产生美观的数据结构视图。格式化程序生成可以由解释器正确解析的数据结构，并且容易使人阅读。下面所有的例子都将依赖定义在 pprint_data.py 中的 data 数据结构: # pprint_data.py data = [ (1, {'a': 'A', 'b': 'B', 'c': 'C', 'd': 'D'}), (2, {'e': 'E',

2018-04-23

9310

Python标准库笔记(7) — copy模块

python 数据结构

目录[-] copy-对象拷贝模块；提供了浅拷贝和深拷贝复制对象的功能, 分别对应模块中的两个函数 copy() 和 deepcopy()。 1.浅拷贝(Shallow Copies) copy() 创建的浅拷贝是一个新的容器，它包含了对原始对象的内容的引用。也就是说仅拷贝父对象，不会拷贝对象的内部的子对象。即浅复制只复制对象本身，没有复制该对象所引用的对象。比如,当创建一个列表对象的浅拷贝时，将构造一个新的列表，并将原始对象的元素添加给它。 import copy class MyClass

2018-04-04

8890

常用样本相似性和距离度量方法

目录[-] 数据挖掘中经常需要度量样本的相似度或距离，来评价样本间的相似性。特征数据不同，度量方法也不相同。欧式距离欧式距离（Euclidean Distance）在数学上表示n维空间中两

2018-03-20

4.2K0

机器学习笔记—KNN算法

机器学习编程算法

目录[-] 前言分类（Classification）是数据挖掘领域中的一种重要技术，它从一组已分类的训练样本中发现分类模型，将这个分类模型应用到待分类的样本进行预测。当前主流的分类算法有:朴素贝叶斯分类(Naive Bayes)、支持向量机(SVM)、KNN（K-Nearest Neighbors）、神经网络(NNet)、决策树(Decision Tree)等等。 KNN算法是一个理论上比较成熟的方法，最初由Cover和Hart于1968年提出，思路非常简单直观，易于快速实现。基本思想如下图所示

2018-03-20

1.6K0

pytesser模块WindowsError错误解决方法

目录[-] 在使用pytesser做图片文字识别时遇到 WindowsError: [Error 2] 错误，报错内容如下: Traceback (most recent call last): File "E:/Code/Captcha/ChinaMobileEC/recogCaptcha.py", line 37, in <module> print pytesser.image_to_string(out) File "E:\Code\Captcha\pytesser\pytess

2018-03-20

1.4K0

Python Webdriver 重新使用已经打开的浏览器实例

python 爬虫自动化测试 api

目录[-] 因为Webdriver每次实例化都会新开一个全新的浏览器会话，在有些情况下需要复用之前打开未关闭的会话。比如爬虫，希望结束脚本时，让浏览器处于空闲状态。当脚本重新运行时，它将继续使用这个会话工作。还就是在做自动化测试时，前面做了一大推操作，但是由于程序出错，重启时不用再继续前面复杂的操作。个人觉得这种功能非常有用，但是官方居然没有提供这种功能的API，苦苦搜搜，在网上找了两个java版的http://blog.csdn.net/wwwqjpcom/article/details/51232

2018-03-20

3.8K0

Python标准库笔记(6) — struct模块

目录[-] 该模块作用是完成Python数值和C语言结构体的Python字符串形式间的转换。这可以用于处理存储在文件中或从网络连接中存储的二进制数据，以及其他数据源。用途: 在Python基本数据类型和二进制数据之间进行转换 struct模块提供了用于在字节字符串和Python原生数据类型之间转换函数，比如数字和字符串。模块函数和Struct类它除了提供一个Struct类之外，还有许多模块级的函数用于处理结构化的值。这里有个格式符(Format specifiers)的概念，是指从字符串格式

2018-03-20

1.3K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态