绕过TLS/akamai指纹护盾

原创

用户1709153

发布于 2023-05-06 09:53:32

2.9K0

发布于 2023-05-06 09:53:32

文章被收录于专栏：杂学杂学

1. 前言

在之前的项目中，发现一些网站使用不同的客户端会得到不同的结果，比如使用浏览器访问正常没问题，但使用python写脚本或者curl请求就会被拦截，当时也尝试数据包1:1还原，但还是不能解决。

测试指纹拦截站点：https://ascii2d.net

最近拜读了师傅的文章《绕过 Cloudflare 指纹护盾》，很有感触，感觉之前遇到的应该就是这个问题；之前写爬虫遇到类似这种指纹护盾（反爬机制），也都是尝试通过selenium模拟浏览器来绕过的，这一次也算是见了世面，学到了一些新的东西。

本次内容主要分为2部分，1是绕过TLS指纹识别，2是绕过Akamai指纹（HTTP/2指纹）识别

2. TLS指纹相关

2.1. 什么是TLS指纹

TLS指纹是一种用于识别和验证TLS（传输层安全）通信的技术。

TLS指纹可以通过检查TLS握手过程中使用的**密码套件、协议版本和加密算法等信息**来确定TLS通信的特征。由于每个TLS实现使用的密码套件、协议版本和加密算法不同，因此可以通过比较TLS指纹来判断通信是否来自预期的源或目标。

TLS指纹可以用于检测网络欺骗、中间人攻击、间谍活动等安全威胁，也可以用于识别和管理设备和应用程序。

TLS指纹识别原理（ja3算法）：https://github.com/salesforce/ja3

ja3算法

2.2. 测试TLS指纹

测试一下不同客户端之间的指纹差异（ja3_hash）

深入分析的话可以用wireshark抓TLS包进行对比分析

测试网站：https://tls.browserleaks.com/json

CURL v7.79.1

curl v7.79.1

CURL 7.68.0

CURL 7.68.0

Chrome 112.0.5615.137（正式版本） (x86_64)

Chrome 112.0.5615.137（正式版本） (x86_64)

Burp Chromium 103.0.5060.114（正式版本） (x86_64)

Burp Chromium

Python 2.11.1

Python 2.11.1

可见不同的客户端都存在区别，针对最后一个python的ja3_text做一个简单的说明

第一个值 771：表示 JA3 版本，即用于生成指纹的 JA3 脚本的版本。
第二个值 4866-4867-4865-49196-49200-49195-49199-163-159-162-158-49327-49325-49188-49192-49162-49172-49315-49311-107-106-57-56-49326-49324-49187-49191-49161-49171-49314-49310-103-64-51-50-52393-52392-49245-49249-49244-49248-49267-49271-49266-49270-52394-49239-49235-49238-49234-196-195-190-189-136-135-69-68-157-156-49313-49309-49312-49308-61-60-53-47-49233-49232-192-186-132-65-255：表示加密套件，即客户端可以支持的加密算法。
第三个值 0-11-10-35-22-23-13-43-45-51-21：表示支持的压缩算法。
第四个值 29-23-30-25-24：表示支持的 TLS 扩展，如 SNI。
第五个值 0-1-2：表示支持的 elliptic curves，即椭圆曲线算法。

2.3. 绕过TLS指纹

既然都知道原理了，那么绕过就是伪造成合法客户端就行，简单来说，就是伪装ja3_text值，让其不被拦截即可，以修改支持的加密算法为主。

2.3.1. 方法零：使用原生urllib

import urllib.request
import ssl

url = 'https://tls.browserleaks.com/json'
req = urllib.request.Request(url)
resp = urllib.request.urlopen(req)
print(resp.read().decode())

# 伪造TLS指纹
context = ssl.create\_default\_context()
context.set\_ciphers("ECDHE-RSA-AES128-GCM-SHA256 ECDHE AESGCM")

url = 'https://tls.browserleaks.com/json'
req = urllib.request.Request(url)
resp = urllib.request.urlopen(req, context=context)
print(resp.read().decode())

urllib

2.3.2. 方法一：使用其他成熟库ð

可以试试curl\_cffi这个库，主打的就是模拟各种指纹

Python binding for curl-impersonate via cffi. A http client that can impersonate browser tls/ja3/http2 fingerprints.

除了这个，也可以去尝试下 pyhttpx、pycurl

pip install --upgrade curl\_cffi

测试代码：

from curl\_cffi import requests

print("edge99:", requests.get("https://tls.browserleaks.com/json", impersonate="edge99").json().get("ja3\_hash"))
print("chrome110:", requests.get("https://tls.browserleaks.com/json", impersonate="chrome110").json().get("ja3\_hash"))
print("safari15\_3:", requests.get("https://tls.browserleaks.com/json", impersonate="safari15\_3").json().get("ja3\_hash"))

# 支持代理
proxies = {"https": "http://localhost:7890"}
r = requests.get("https://tls.browserleaks.com/json", impersonate="chrome101", proxies=proxies)
print(r.json().get("ja3\_hash"))

效果如下：

curl_cffi

支持伪造的浏览器列表如下：

# curl\_cffi.requests.session.BrowserType
class BrowserType(str, Enum):
    edge99 = "edge99"
    edge101 = "edge101"
    chrome99 = "chrome99"
    chrome100 = "chrome100"
    chrome101 = "chrome101"
    chrome104 = "chrome104"
    chrome107 = "chrome107"
    chrome110 = "chrome110"
    chrome99\_android = "chrome99\_android"
    safari15\_3 = "safari15\_3"
    safari15\_5 = "safari15\_5"

2.3.3. 方法二：挂一层客户端代理

这里是用burp去完成TLS认证过程，前提是burp的TLS指纹不会被拦截。

burp

Burp的TLS指纹可通过如下方式进行修改

修改burp TLS指纹

2.3.4. 方法三：修改requests底层代码

requests 库的 SSL/TLS 认证是基于 urllib3 库实现的，所以改底层就是改urllib3的代码

查看urllib3安装位置

python3 -c "import urllib3; print(urllib3.\_\_file\_\_)"

/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/urllib3/\_\_init\_\_.py

修改相关SSL代码，文件地址一般为site-packages/urllib3/util/ssl\_.py

DEFAULT\_CIPHERS = ":".join(
    [
        "ECDHE AESGCM",
        "ECDHE CHACHA20",
        "DHE AESGCM",
        "DHE CHACHA20",
        "ECDH AESGCM",
        "DH AESGCM",
        "ECDH AES",
        "DH AES",
        "RSA AESGCM",
        "RSA AES",
        "!aNULL",
        "!eNULL",
        "!MD5",
        "!DSS",
    ]
)

操作的空间很多，像我这种脚本小子一般就以删除和调换位置为主，对比如下：

3. Akamai指纹相关（HTTP/2指纹）

3.1. 什么是Akamai指纹

Akamai Fingerprint是Akamai Technologies公司提供的一种防止恶意机器人和自动化攻击的技术，它基于浏览器指纹识别技术。

浏览器指纹是一种用于识别Web浏览器的技术，它通过收集并分析浏览器的各种属性和行为，如用户代理字符串、插件、字体、语言、屏幕分辨率等信息来识别浏览器。浏览器指纹在互联网安全领域得到了广泛应用，可以用于检测和识别恶意机器人、欺诈行为、网络钓鱼等。

Akamai Fingerprint利用了浏览器指纹技术，将其与其他安全技术结合起来，以识别和拦截自动化攻击。它可以在不影响用户体验的情况下，对访问网站的浏览器进行识别和验证，防止自动化攻击、账户滥用和数据泄露等安全问题。

可以在 https://tls.peet.ws/api/all 看到详细的指纹，主要有如下内容

HTTP2

指纹为：1:65536,2:0,3:1000,4:6291456,6:262144|15663105|0|m,a,s,p

1:65536: HEADER\_TABLE\_SIZE，即头部表大小为64KB，指的是用于存储请求头和响应头的大小，它是可以调整的。这个字段指明了使用64KB的头部表大小。
2:0: HTTP2\_VERSION，指示此请求使用的HTTP/2版本。0表示H2，表示启用了HTTP/2协议。
3:1000: MAX\_CONCURRENT\_STREAMS，即最大并发流数，指的是在任何给定时间内，客户端和服务器端可以并行发送的最大请求数量。这个字段指明了最大并发流数为1000。
4:6291456: INITIAL\_WINDOW\_SIZE，即初始流窗口大小，指的是初始的流控窗口大小，即客户端可以发送的最大字节数量。这个字段指明了初始流窗口大小为6MB（即6291456字节）。
6:262144|15663105|0|m,a,s,p

: 以竖杠â|â分隔。具体含义如下：

- `6:262144`: `max header list size`，即动态表大小，指的是接收方可以接收的最大HTTP头部大小。这个字段指明了动态表大小为256KB（即262144字节）。
- `15663105`: `WINDOW\_UPDATE`，表示收到了`WINDOW\_UPDATE`帧，并且窗口大小增加了15663105个字节。
- `0`: `no compression`，表示不启用头部压缩。
- 以 `:` 开头的 header 的第一个字符参与编码，多个逗号隔开。如 `:method`、`:authority`、`:scheme`、`:path` 编码为 `m,a,s,p`

可在Passive Fingerprinting of HTTP/2 Clients中查看详细细节

3.2. 测试Akamai指纹

测试网站：https://tls.browserleaks.com/json

CURL

curl

Chrome

chrome

Python

python

可以看到用python requests直接为空，爬虫小子直接被拦截在外了。

3.3. 绕过Akamai指纹

伪造指纹中特定的字段即可。

3.3.1. 方法一：使用其他成熟库ð

还是刚才的curl\_cffi这个库，因为这个库主打的就是模拟各种指纹

Python binding for curl-impersonate via cffi. A http client that can impersonate browser tls/ja3/http2 fingerprints.

pip install --upgrade curl\_cffi

测试代码：

from curl\_cffi import requests

print("edge99:", requests.get("https://tls.browserleaks.com/json", impersonate="edge99").json().get("akamai\_hash"))
print("chrome110:", requests.get("https://tls.browserleaks.com/json", impersonate="chrome110").json().get("akamai\_hash"))
print("safari15\_3:", requests.get("https://tls.browserleaks.com/json", impersonate="safari15\_3").json().get("akamai\_hash"))

效果如下：

akamai

支持伪造的浏览器列表如下：

# curl\_cffi.requests.session.BrowserType
class BrowserType(str, Enum):
    edge99 = "edge99"
    edge101 = "edge101"
    chrome99 = "chrome99"
    chrome100 = "chrome100"
    chrome101 = "chrome101"
    chrome104 = "chrome104"
    chrome107 = "chrome107"
    chrome110 = "chrome110"
    chrome99\_android = "chrome99\_android"
    safari15\_3 = "safari15\_3"
    safari15\_5 = "safari15\_5"

4. 最终效果

https://ascii2d.net 存在CloudFlare的指纹护盾，拒绝爬虫，测试一下。

直接CURL，被拦截

banned

绕过

from curl\_cffi import requests

req = requests.get("https://ascii2d.net", impersonate="chrome110")
print(req.text)

可正常获取页面

normal

5. 参考

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

爬虫

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

登录后参与评论

0 条评论

热度