小白学大数据

文章/答案/技术大牛

发布

LV0

发表了文章 3天前2026-08-14 16:59:27

长周期爬虫的数据一致性：断点续爬 + 事务回滚保障采集质量

一、重新定义问题：爬虫是一类有状态的流处理任务长周期爬虫（任务跨度数天、采集千万级页面）在工程上不应被当成"脚本"，而应被建模为一条有状态的流处理管道：待爬 U...

小白学大数据 3天前2026-08-14 16:59:27

python

发表了文章 4天前2026-08-13 16:56:34

把热榜存下来：用 SQLAlchemy + PostgreSQL 设计 A股/美股/基金榜单数据模型

引言：为什么要把热榜落库前几篇我们已经解决了「怎么抓」——用 httpx 监听百度金融 sapi/v1/ranks 接口，拿到了 A股、美股、基金三类实时热榜。...

小白学大数据 4天前2026-08-13 16:56:34

云数据库 SQL Server、python

发表了文章 5天前2026-08-12 16:56:57

用 Python 批量生成销售日报，告别每天复制粘贴

销售日报需要汇总各渠道的订单数、销售额和客单价。渠道超过十个以后，手工把数据从各平台抄进同一张 Excel 就成了明显负担：耗时、易错、且无法追溯数据来源。以 ...

小白学大数据 5天前2026-08-12 16:56:57

python、可视化

发表了文章 6天前2026-08-11 17:06:41

我把 12 个 Scrapy 爬虫项目迁到 Crawlo，踩了这些坑

折腾了两周，把线上 12 个 Scrapy 爬虫项目全部迁移到 Crawlo。期间踩了 8 个大坑，有些坑文档里一个字都没提。这篇文章就是一份完整的迁移复盘，希...

小白学大数据 6天前2026-08-11 17:06:41

python、scrapy

发表了文章 7天前2026-08-10 17:00:48

B 站 UP 主动态爬取全流程：从首页到翻页的完整链路

如果你动手写过 B 站爬虫，大概率撞上过这一幕：第一页的动态数据顺利到手，翻到第二页接口马上甩回 {"code": -352, "message": "请求过于...

小白学大数据 7天前2026-08-10 17:00:48

python、网页爬虫

发表了文章 10天前2026-08-07 16:58:21

Selenium + 随机延时 + UA 轮换：模拟真人行为的爬虫策略

一、为什么要"像人一样"爬新手脚本常出现"第一跑通、第二被封"，根因是机器人流量在统计特征上与真人差异明显：请求间隔高度规律（sleep(2) 方差≈0）；Us...

小白学大数据 10天前2026-08-07 16:58:21

user-agent、selenium、python

发表了文章 11天前2026-08-06 16:56:41

Python 爬虫实战：抓取汽车之家二手车成交价格与里程数据

二手车是典型的非标品：同一款车，因为上牌年份、行驶里程、所在城市、车况等级不同，价格能差出好几万。汽车之家二手车（che168.com）聚合了全国大量真实成交记...

小白学大数据 11天前2026-08-06 16:56:41

python、爬虫

发表了文章 12天前2026-08-05 17:00:24

基于Python的抖音网页版视频点赞数增长趋势追踪系统设计与实现

短视频运营中存在一个普遍盲区：创作者只能通过抖音后台查看当前时刻的累计指标，无法获取指标的时序演化过程。然而，抖音推荐系统采用多级流量池递进机制——视频发布后先...

小白学大数据 12天前2026-08-05 17:00:24

python、python爬虫

发表了文章 13天前2026-08-04 16:58:12

搜狗微信点选验证的会话保持与 Cookie 续期实战

搜狗微信（weixin.sogou.com）是公众号文章监测的常用入口，信任状态挂在 Cookie 上。过了点选验证码之后，SNUID、SUV 这类凭证有时效，...

小白学大数据 13天前2026-08-04 16:58:12

cookie、python3

发表了文章 14天前2026-08-03 16:56:01

把 Modbus 轮询塞进 Trio 的异步循环：内存映射与定时采集实战

关键词：CustomTkinter · Trio · Modbus TCP · 结构化并发 · 共享状态层 · 上位机一、为什么把 Modbus 轮询托管给 T...

小白学大数据 14天前2026-08-03 16:56:01

modbus、python

发表了文章 19天前2026-07-29 17:01:49

散户情绪不是玄学：Python 爬东方财富股吧并量化的方法

很多人一听到「散户情绪」就觉得是玄学，仿佛只有盘面高手靠直觉才能感知。其实东方财富股吧里每天几百万条发帖，就是最原始的散户情绪池子。帖子里有人喊「满仓干」，有人...

小白学大数据 19天前2026-07-29 17:01:49

python、量化

发表了文章 20天前2026-07-28 16:53:30

我是怎么用 Python 爬新浪新闻搜索结果的

前段时间有个需求，要批量采集某个关键词相关的新闻数据做舆情分析。选了一圈数据源，最后落在新浪新闻搜索上。原因有几个：收录量大，搜索结果带时间戳和来源媒体字段，数...

小白学大数据 20天前2026-07-28 16:53:30

python、爬虫

发表了文章 21天前2026-07-27 16:58:59

图片懒加载怎么破：爬去哪儿图集实战

在构建离线旅行攻略时，需要把去哪儿网游记中的图集批量抓取并整理为本地 Markdown 电子书。技术上的主要障碍并非反爬，而是图片懒加载：页面中数十张图片在初始...

小白学大数据 21天前2026-07-27 16:58:59

python、爬虫图片

发表了文章 24天前2026-07-24 16:50:43

抓不到数据先别急，看看 Scrapy 代理有没有真起作用

你写的 Scrapy 爬虫跑了一晚上，库里还是空的。第一反应通常是目标站反爬升级，或者 XPath 写错。这两种都有可能，但我遇到更多的是代理压根没生效：请求用...

小白学大数据 24天前2026-07-24 16:50:42

python、scrapy

发表了文章 25天前2026-07-23 16:57:31

异步爬虫里 aiohttp 超时设多少不会误杀正常请求

超时设 3 秒，跑半小时成功率从 98% 掉到 85%。目标站点 RTT 正常，代理 IP 存活，但大量请求抛 ServerTimeoutError。问题出在超...

小白学大数据 25天前2026-07-23 16:57:31

python、aiohttp

发表了文章 26天前2026-07-22 16:56:49

SERP抓取做排名追踪：requests加BeautifulSoup够不够用

做SEO的人迟早会遇到一个问题：你想知道自己的页面在某个关键词下排第几。手动搜一次两次没问题，但如果你要追踪几百个关键词、每周更新一次、还要跟竞品对比，手动就不...

小白学大数据 26天前2026-07-22 16:56:49

requests、beautifulsoup

发表了文章 27天前2026-07-21 16:59:03

将 Lazada 爬取结果落地 MySQL：PHP 数据持久化实战

在跨境电商选品和竞品监控中，Lazada 的商品页包含标题、价格、评分、库存等结构化字段，是比价与趋势分析的数据来源。爬虫把页面拉到内存只是流程的前半段：内存中...

小白学大数据 27天前2026-07-21 16:59:03

python、mysql、php-5.3

发表了文章 28天前2026-07-20 16:55:37

把 time.sleep 换成 await asyncio.sleep 之前，先想清楚谁在帮你并发

上周 review 一个同事的爬虫脚本，两千多行，注释里写着"已改成异步，性能提升十倍"。我在本地跑了一遍，比同步版本慢了将近一倍。问题出在哪？满屏的 awai...

小白学大数据 28天前2026-07-20 16:55:37

python、高并发

发表了文章 2026-07-172026-07-17 16:38:18

企业内网场景下 Python 自定义 CA 证书信任链的正确配置方法

Python 在内网访问 HTTPS 接口时,常遇到 SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificat...

小白学大数据 2026-07-172026-07-17 16:38:18

python3

发表了文章 2026-07-162026-07-16 16:59:25

两周完成爬虫技术栈升级：Scrapy 迁移 Crawlo 的路径与取舍

问题定位：不是框架选型错，是执行模型不匹配我们的抓取服务在 Scrapy 上稳定运行了两年，日均调度量从 30 万涨到 3000 万。迁移的动因不是 Scrap...

小白学大数据 2026-07-162026-07-16 16:59:25

scrapy、python

12 3 4 5 6 7 8...48 下一页

个人简介

亿牛云 | python爬虫工程师
简单的python学习者
程序人生
暂未填写学校和专业
http://ip.16yun.cn:817/accounts/phone_register/?sale_user=ZM_seven7
四川省 | 成都市
加入社区时间：2019-02-20

个人成就

获得 1.2K 次赞同
文章被阅读 1M 次

关注了：6关注者：44