腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
返回腾讯云官网
python进阶学习
专栏成员
举报
333
文章
119844
阅读量
18
订阅数
订阅专栏
申请加入专栏
全部文章（333）
python（195）
爬虫（104）
数据（80）
代理（74）
网站（52）
动态代理（52）
网络爬虫（52）
python爬虫（34）
大数据（33）
代理服务器（26）
框架（25）
http（21）
浏览器（21）
tcp/ip（19）
selenium（18）
多线程（17）
网络（16）
ip（15）
程序（15）
数据库（12）
实践（12）
服务器（11）
对象（10）
技巧（10）
数据分析（9）
异步（9）
java（8）
scrapy（8）
数据可视化（8）
验证码（8）
函数（8）
接口（8）
kotlin（7）
开发（7）
html（6）
电商（6）
存储（6）
自动化（6）
网络安全（6）
数据处理（6）
haskell（6）
登录（6）
高并发（6）
优化（6）
数据挖掘（5）
javascript（5）
json（5）
并发（5）
产品（5）
工具（5）
解决方案（5）
客户端（5）
视频（5）
音频（5）
lua（4）
scala（4）
正则表达式（4）
agent（4）
curl（4）
requests（4）
session（4）
开发者（4）
网页爬虫（4）
中间件（4）
typescript（3）
django（3）
搜索引擎（3）
分布式（3）
app（3）
beautifulsoup（3）
cheerio（3）
cookie（3）
jsoup（3）
pandas（3）
proxy（3）
管理（3）
教程（3）
连接（3）
配置（3）
数据采集（3）
数据存储（3）
系统（3）
效率（3）
swift（2）
php（2）
c#（2）
ajax（2）
symfony（2）
api（2）
云直播（2）
渲染（2）
大数据解决方案（2）
编程算法（2）
hadoop（2）
数据结构（2）
https（2）
amazon（2）
chrome（2）
h5页面（2）
phantomjs（2）
puppeteer（2）
request（2）
timeout（2）
web（2）
xpath（2）
表单（2）
测试（2）
反向代理（2）
模型（2）
入门（2）
手机（2）
图表（2）
图片资源（2）
网络编程（2）
协议（2）
性能（2）
异常（2）
异常处理（2）
字符串（2）
网络延迟（2）
数据去重（2）
ios（1）
c 语言（1）
c++（1）
ruby（1）
go（1）
vue.js（1）
node.js（1）
xml（1）
css（1）
android（1）
硬件开发（1）
云数据库 SQL Server（1）
nosql（1）
linux（1）
深度学习（1）
mapreduce（1）
短视频（1）
访问管理（1）
云数据库 MongoDB（1）
大数据处理套件 TBDS（1）
大数据可视交互系统（1）
图像处理（1）
金融（1）
数据安全（1）
缓存（1）
numpy（1）
自动化测试（1）
迁移学习（1）
微信（1）
实时监控（1）
实时数据集成（1）
商标注册（1）
生活互联（1）
汽车（1）
aiohttp（1）
asihttprequest（1）
axios（1）
charles（1）
com（1）
firefox（1）
get（1）
graphql（1）
httpclient（1）
http-status-code-301（1）
import（1）
libcurl（1）
matplotlib（1）
nltk（1）
nodejs爬虫（1）
nutch（1）
pymysql（1）
pyspider（1）
python3（1）
sleep（1）
spyder（1）
steam（1）
time（1）
tls（1）
token（1）
url（1）
urllib（1）
user-agent（1）
webdriver（1）
百度（1）
报表工具（1）
编程（1）
表格（1）
布局（1）
程序员（1）
定时任务（1）
分页（1）
高德地图（1）
工作（1）
行业（1）
后端（1）
基础（1）
计算机（1）
开发经验（1）
可视化（1）
量化（1）
逆向工程（1）
前端（1）
日志分析（1）
搜索（1）
微信公众号（1）
线程（1）
线程池（1）
协程（1）
异步编程（1）
音视频（1）
原理（1）
最佳实践（1）
数据清洗（1）
数据库API（1）
数据缓存（1）
数据流（1）
搜索文章
搜索
搜索
关闭
Kanna 与 Swift：结合使用提升网络请求效率
swift
数据
网络
效率
字符串
Kanna 是一个基于 Swift 的轻量级、高性能的 XML/HTML 解析库，它能够帮助开发者快速解析和处理网络返回的 HTML 或 XML 数据。通过结合 Kanna 和 Swift 的网络请求功能，我们可以构建更加高效、灵活的网络交互模块。本文将详细介绍如何在 Swift 中使用 Kanna 提升网络请求的效率，并通过实际代码示例展示其强大的功能。
小白学大数据
2025-03-07
45
0
Ruby爬虫如何控制并发数量：爬取京东电子产品
效率
ruby
网站
爬虫
并发
京东作为中国最大的电商平台之一，拥有海量的商品信息，其中电子产品是其热门品类之一。对于市场研究人员、数据分析师和开发者来说，能够高效地爬取和分析这些数据具有重要的价值。然而，京东网站的复杂性和反爬措施使得爬取任务更具挑战性。合理控制并发数量不仅能提高爬取效率，还能避免触发网站的反爬机制，确保爬虫的稳定运行。
小白学大数据
2025-03-05
42
0
使用Kotlin实现动态代理池的多线程爬虫
爬虫
kotlin
动态代理
多线程
协程
动态代理是网络爬虫中常用的手段之一，它通过使用多个代理服务器来隐藏爬虫的真实IP地址。这种方式不仅可以避免因频繁访问而被目标网站封禁，还能提高爬虫的并发能力和效率。动态代理池则是将多个代理服务器组织起来，爬虫可以根据需要动态切换代理，从而实现更灵活的请求管理。
小白学大数据
2025-03-01
73
0
Python爬取某云热歌榜：解析动态加载的歌曲数据
数据存储
python
爬虫
接口
数据
某云音乐的热歌榜数据是通过动态加载的方式呈现的，这意味着网页的HTML结构中并没有直接包含完整的歌曲信息，而是通过JavaScript动态请求后端接口获取数据并渲染到页面上。这种动态加载机制虽然提升了用户体验，但也增加了数据爬取的难度。传统的HTML解析方法（如BeautifulSoup）在这种情况下往往无法直接获取到完整的数据。
小白学大数据
2025-02-27
106
0
某查”平台请求头反爬技术解析与应对
代理服务器
开发者
浏览器
爬虫
代理
请求头（HTTP Header）是 HTTP 协议中用于在客户端和服务器之间传递信息的一部分。它包含了请求的来源、用户代理、内容类型等关键信息。许多网站通过检查请求头中的特定字段来判断请求是否来自合法的浏览器，从而防止爬虫的非法访问。
小白学大数据
2025-02-26
92
0
Selenium库详解：Python实现模拟登录与反爬限制的进阶指南
验证码
登录
浏览器
python
selenium
Selenium是一个开源的自动化测试框架，广泛应用于Web自动化测试和爬虫开发。它支持多种编程语言（如Python、Java、C#等）和主流浏览器（如Chrome、Firefox、Safari等）。通过Selenium，开发者可以模拟用户的各种操作，例如点击按钮、填写表单、滚动页面等，从而实现对网页的自动化控制。
小白学大数据
2025-02-22
202
0
用Python抓取亚马逊动态加载数据，一文读懂
网络
python
存储
浏览器
数据
亚马逊页面的动态加载主要基于现代前端技术，如AJAX、JavaScript框架（React、Vue.js）和WebSockets。这些技术使得页面内容在用户交互（如滚动、点击）或页面加载后通过异步请求从服务器动态获取并渲染。例如，商品列表、用户评论和价格信息等可能不会在页面初次加载时全部展示，而是通过JavaScript动态加载。
小白学大数据
2025-02-19
68
0
深入剖析 Python 爬虫：淘宝商品详情数据抓取
代理服务器
浏览器
数据
python
爬虫
淘宝平台的商品详情页包含了丰富的信息，如商品名称、价格、销量、评价、参数等。这些数据对于市场调研、数据分析、产品定价等商业决策具有极高的价值。然而，淘宝的反爬虫机制非常强大，直接使用简单的 HTTP 请求往往无法获取完整数据。因此，我们需要借助 Selenium 模拟浏览器行为，并通过代理服务器来隐藏爬虫的真实身份。
小白学大数据
2025-02-18
52
0
Python爬虫实战：股票分时数据抓取与存储 (1)
数据库
存储
爬虫
数据
python
在金融数据分析中，股票分时数据是投资者和分析师的重要资源。它能够帮助我们了解股票在交易日内的价格波动情况，从而为交易决策提供依据。然而，获取这些数据往往需要借助专业的金融数据平台，其成本较高。幸运的是，通过Python爬虫技术，我们可以低成本地抓取股票分时数据，并将其存储以便后续分析。本文将详细介绍如何使用Python实现股票分时数据的抓取与存储，同时结合代理服务器确保爬虫的稳定性和安全性。
小白学大数据
2025-02-15
113
0
Node.js 中实现多任务下载的并发控制策略
并发
代理
代理服务器
服务器
函数
在实际开发中，我们常常需要从多个源下载文件，例如从多个服务器下载图片、视频或音频文件。如果不加以控制，同时发起过多的下载任务可能会导致服务器过载，甚至引发网络拥堵。因此，合理控制并发数量是实现高效下载的关键。
小白学大数据
2025-02-13
82
0
Haskell中的HTTP请求：代理与响应状态检查 (1)
代理
代理服务器
对象
http
haskell
在现代互联网应用中，HTTP请求是获取和发送数据的基础操作之一。Haskell作为一种强类型、纯函数式编程语言，提供了多种库来处理HTTP请求。本文将介绍如何在Haskell中使用<font style="color:rgb(64, 64, 64);">http-conduit</font>库进行HTTP请求，并通过代理服务器进行请求，同时检查响应状态码。我们还将展示如何在代码中添加代理信息。
小白学大数据
2025-02-12
28
0
SurfGen爬虫：解析HTML与提取关键数据
html
爬虫
代理服务器
对象
数据
SurfGen是一个基于Swift语言开发的爬虫框架，它提供了丰富的功能，包括网络请求、HTML解析、数据提取等。SurfGen的核心优势在于其简洁易用的API和高效的性能，使得开发者能够快速构建爬虫程序。以下是SurfGen的主要特点：
小白学大数据
2025-02-11
97
0
如何利用Java和Kotlin实现动态网页内容抓取
代理
代理服务器
java
爬虫
kotlin
动态网页内容通常是通过JavaScript动态加载的，传统的静态网页抓取工具（如简单的HTTP请求）无法直接获取这些内容。因此，我们需要借助一些技术手段来模拟浏览器行为，或者直接解析动态加载的数据。
小白学大数据
2025-02-09
59
0
DOMParser解析TikTok页面中的图片元素
浏览器
配置
渲染
代理
开发者
TikTok是一个以短视频和图片分享为主的社交媒体平台，其用户生成的内容（UGC）丰富多样。对于开发者和数据分析师来说，能够从TikTok页面中抓取图片资源，不仅可以用于数据分析，还可以用于内容创作、研究或个人项目。然而，TikTok的反爬虫机制较为复杂，直接抓取图片资源可能会面临诸多挑战。
小白学大数据
2025-02-08
61
0
Django多线程爬虫：突破数据抓取瓶颈
django
爬虫
多线程
数据
线程
Django框架以其高效、安全、可扩展性强等特点，在Web开发领域得到了广泛应用。同时，Python语言的多线程支持和丰富的库也为开发多线程爬虫提供了便利。将Django与多线程技术相结合，不仅可以利用Django的强大功能进行项目管理和数据存储，还能通过多线程技术显著提升爬虫的抓取效率。此外，使用代理服务器可以有效避免IP封禁问题，确保爬虫的稳定运行。
小白学大数据
2025-01-18
103
0
Python爬虫：结合requests和Cheerio处理网页内容
爬虫
cheerio
requests
python
网站
Python因其简洁明了的语法和强大的库支持，成为了编写爬虫程序的首选语言之一。requests库是Python中用于发送HTTP请求的第三方库，它简单易用，功能强大，能够方便地处理各种网络请求。而Cheerio库则是一个用于解析HTML和XML文档的库，它提供了类似于jQuery的接口，使得对网页元素的选择和操作变得极为便捷。将这两个库结合起来，我们可以轻松地实现对网页内容的抓取和解析。
小白学大数据
2025-01-15
80
0
jsdom爬虫程序中eBay主页内容爬取的异步处理
对象
异步
爬虫
程序
代理服务器
jsdom是一个纯JavaScript实现的DOM和浏览器API的Node.js库，它允许我们在服务器端模拟一个浏览器环境，从而可以方便地对网页进行解析和操作。与传统的爬虫方法相比，jsdom能够更好地处理JavaScript动态生成的内容，这对于爬取像eBay这样大量使用JavaScript渲染页面的网站尤为重要。
小白学大数据
2025-01-15
45
0
如何使用Scala和Selenium爬取知乎视频并保存到本地
视频
scala
网站
selenium
代理服务器
这里我们设置了用户代理、启用JavaScript、加载图片，并配置了代理服务器。代理服务器的格式为http://用户名:密码@代理服务器地址:端口。
小白学大数据
2025-01-12
97
0
用Scrapy精准爬取BOSS直聘特定行业职位
数据存储
爬虫
scrapy
行业
数据
BOSS直聘作为国内领先的招聘平台，拥有海量的职位信息，对于求职者、招聘者以及行业分析师来说，这些数据具有极高的价值。本文将详细介绍如何使用Scrapy框架精准爬取BOSS直聘上特定行业的职位信息，并在爬虫中集成代理服务器以提高爬取的稳定性和安全性。
小白学大数据
2025-01-10
206
0
网络爬虫性能提升：requests.Session的会话持久化策略
网络爬虫
性能
requests
session
对象
首先，我们需要导入requests库。如果你还没有安装requests库，可以通过pip install requests命令来安装。
小白学大数据
2024-12-31
69
0
点击加载更多
社区活动
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
