Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >使用FlareSolverr绕过CloudFlare的5s盾,比Selenium更省内存

使用FlareSolverr绕过CloudFlare的5s盾,比Selenium更省内存

作者头像
Cheng_Blog
发布于 2024-02-18 00:51:52
发布于 2024-02-18 00:51:52
2.9K011
代码可运行
举报
文章被收录于专栏:Cheng's BlogCheng's Blog
运行总次数:11
代码可运行

前言

一直以来使用Selenium绕过Cloudflare请求Coinbase做上币监控,但是Selenium非常吃内存,2核4G的机子非常吃力,又在网上找其他的替代方式,发现还可以使用"FlareSolverr"绕过CloudFlare进行网页抓取。

搭建FlareSolverr

FlareSolverr需要单独搭建,使用docker容器可以一键部署 docker run -d \ --name=flaresolverr \ -p 8191:8191 \ -e LOG_LEVEL=info \ --restart unless-stopped \ ghcr.io/flaresolverr/flaresolverr:latest 搭建完成后,在浏览器输入http://ip:8191 (或设置反向代理后使用https://反代域名:8191)

浏览器显示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
{"msg":"FlareSolverr is ready!","version":"v2.2.4","userAgent":"Mozilla/5.0 (X11; Linux x86_64; rv:94.0) Gecko/20100101 Firefox/94.0"}

就表示FlareSolverr已经搭建成功了。

##使用方式

  1. Example Bash request:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
curl -L -X POST 'http://localhost:8191/v1' \
-H 'Content-Type: application/json' \
--data-raw '{
  "cmd": "request.get",
  "url":"http://www.google.com/",
  "maxTimeout": 60000
}'
  1. Example Python request:
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import requests
    
    url = "http://localhost:8191/v1"
    headers = {"Content-Type": "application/json"}
    data = {
        "cmd": "request.get",
        "url": "http://www.google.com/",
        "maxTimeout": 60000
    }
    response = requests.post(url, headers=headers, json=data)
    print(response.text)

发表时间:2024-02-17

本站文章除注明转载/出处外,皆为作者原创,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

分享:

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-02-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【教程】几行代码轻松利用 Cloudflare Worker 搭建镜像网站!
博主小俊之前教大家使用 CF-Worker-Dir 在 Cloudflare Worker 上免费搭建导航网站,也简单的介绍了一下 CloudFlare Worker 是 CloudFlare 提供的无服务器应用程序,有免费版,可以用来测试 JS 脚本。今天再教大家一种新的关于 CloudFlare Worker 的玩法 - 利用 Cloudflare Worker 搭建镜像网站!
huofo
2022/02/28
12.3K0
【教程】几行代码轻松利用 Cloudflare Worker 搭建镜像网站!
自动化测试: Selenium 自动登录授权,再 Requests 请求内容
Selenium 自动登录网站、截图及 Requests 抓取登录后的网页内容。一起了解下吧。
GoCoding
2021/05/06
2.2K0
自动化测试: Selenium 自动登录授权,再 Requests 请求内容
无头浏览器与请求签名技术-Cloudflare防护
在实际数据采集实践中,许多目标网站(例如 Amazon)都会采用 Cloudflare 等防护措施,防止机器人和非正常流量。本文将分享一个故障场景下的排查与改进方案,讲述如何利用无头浏览器、请求签名技术以及爬虫代理 IP来实现数据采集。
jackcode
2025/03/11
1821
无头浏览器与请求签名技术-Cloudflare防护
Pytest测试实战
Pytest测试框架是动态语言Python专用的测试框架,使用起来非常的简单,这主要得易于它的设计,Pytest测试框架具备强大的功能,丰富的第三方插件,以及可扩展性好,可以很好的和unittest测试框架能够结合起来在项目中使用。本文章主要介绍Pytest测试框架中参数化的详细信息。
无涯WuYa
2022/06/16
8390
Pytest测试实战
绕过TLS/akamai指纹护盾
在之前的项目中,发现一些网站使用不同的客户端会得到不同的结果,比如使用浏览器访问正常没问题,但使用python写脚本或者curl请求就会被拦截,当时也尝试数据包1:1还原,但还是不能解决。
用户1709153
2023/05/06
3.6K0
Selenium 系列篇(六):反反爬篇
实际上,我们使用默认的方式初始化 WebDriver 打开一个网站,下面这段 JS 代码永远为 true,而手动打开目标网站的话,则为:undefined
AirPython
2020/09/22
6.2K0
Selenium 系列篇(六):反反爬篇
利用cloudflareWorkers制作Google镜像站
cloudflare官网: https://www.cloudflare.com/
2020/08/19
2.9K0
利用cloudflareWorkers制作Google镜像站
利用CF Works 免费搭建 Docker 镜像加速服务
前段时间好多公开dockehrub镜像站不维护了,作为docker重度使用者拉镜像真是难了,网上好多教程都出了利用Cloudflare Workers 搭建 Docker Hub镜像加速服务,所以自己也搭建了一个,由于每天有次数限制所以不对外分享了,提供教程给大家自己搭建吧。
Lcry
2024/07/17
1.8K0
利用CF Works 免费搭建 Docker 镜像加速服务
Selenium Wire - 扩展 Selenium 能够检查浏览器发出的请求和响应
使用 Selenium 进行自动化操作时,会存在很多的特殊场景,比如会修改请求参数、响应参数等。
wangmcn
2023/10/10
1.8K0
Selenium Wire - 扩展 Selenium 能够检查浏览器发出的请求和响应
使用Selenium与Requests模拟登陆
注意两个地方,cookies和参数,先来看看参数,稍微特别的就是authenticity_token,感觉是验证。Ctrl+Shift+F打开搜索,最终在返回的html中找到
小歪
2018/07/25
1.5K0
使用Selenium与Requests模拟登陆
python requests模块
使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3)
用户5760343
2019/07/27
1.4K0
为什么不推荐Selenium写爬虫
最近在群里经常会看到有些朋友说,使用Selenium去采集网站,我看到其实内心是很难受的,哎!为什么要用Selenium呢? 我想说下自己的看法,欢迎各位大佬批评。 观点 如果可以使用 Requests 完成的,别用 Selenium 数据采集的顺序 接到一个项目或者有一个采集需求时,第一步就是明确自己的需求。经常会遇到半路改需求的事情,真的很难受。 第二步就是去分析这个网站,这个在之前有提到过 采集方案策略之App抓包 : 首先大的地方,我们想抓取某个数据源,我们要知道大概有哪些路径可以获取到数据源,基本
小歪
2018/04/04
2.3K0
为什么不推荐Selenium写爬虫
python requests
Request支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动响应内容的编码,支持国际化的URL和POST数据自动编码。
forxtz
2022/05/10
1.7K0
Selenium修改HTTP请求头三种方式
测试自动化挑战之一修改Selenium WebDriver中的请求请求头。我将分享如何使用Selenium WebDriver修改HTTP请求请求头。
FunTester
2021/11/19
2.6K0
Scrapy结合Selenium实现滚动翻页数据采集
在当今的互联网数据采集领域,许多网站采用动态加载技术(如AJAX、无限滚动)来优化用户体验。传统的基于Requests或Scrapy的爬虫难以直接获取动态渲染的数据,而Selenium可以模拟浏览器行为,实现滚动翻页和动态内容加载。
小白学大数据
2025/03/27
1380
使用CloudFlare来为网站开启客户端证书验证
CloudFlare在2020/10/1新推出了一个名为API Shield的功能,配置详情与使用介绍见这里与这里。此处说的就是客户端证书校验的功能。
yumusb
2020/10/23
8.1K0
使用CloudFlare来为网站开启客户端证书验证
selenium&playwright获取网站Authorization鉴权实现伪装requests请求
吐槽一下,playwright的资料是真的很少(基础资料除外),只能自己去看官网,官网写的还是可以的,自己多试试还是可以搞出点东西来的,但真的好累,呜呜呜~
梦无矶小仔
2023/09/08
1.7K0
selenium&playwright获取网站Authorization鉴权实现伪装requests请求
Pytest测试实战|Fixture详解
The pytest framework makes it easy to write small, readable tests, and can scale to support complex functional testing for applications and libraries. 这段话很好地阐述了Pytest的设计思想与强大的特性。之前详细地阐述了Pytest测试框架搜索规则、Pytest测试框架执行方式与Pytest测试框架参数化,本文章主要详细地阐述下Pytest测试框架中Fixture特性。
无涯WuYa
2024/04/23
1660
Pytest测试实战|Fixture详解
在cloudflare部署hugging face的免费api
星xing
2025/01/30
1470
漏洞复现-Nacos身份认证绕过
可使用 https://jwt.io/#debugger-io 生成可用的token
hyyrent
2023/03/29
3.6K1
漏洞复现-Nacos身份认证绕过
相关推荐
【教程】几行代码轻松利用 Cloudflare Worker 搭建镜像网站!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验