前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
首页
学习
活动
专区
圈层
工具
MCP广场
返回腾讯云官网
社区首页 >专栏 >OpenVPN AS：基于web管理OpenVPN服务

OpenVPN AS：基于web管理OpenVPN服务

作者头像
公众号: 云原生生态圈
发布于 2023-01-09 07:08:25
发布于 2023-01-09 07:08:25
10.1K00
代码可运行
举报
文章被收录于专栏：云原生生态圈云原生生态圈
运行总次数：0
代码可运行
关联问题
换一批

服务名称

版本

备注

OpenVPN

openvpn-2.4.12-1.el7.x86_64

github有开源一键安装脚本项目

操作系统

CentOS Linux 7 (Core)/Linux 3.10.0-1160.11.1.el7.x86_64

默认python

Python 2.7.5

Openvpnas

openvpn-as-2.11.0_794ab41d-CentOS7.x86_64.rpm

openvpn-as-bundled-clients

openvpn-as-bundled-clients-25.rpm

python版本修改

系统默认的python版本为2.7.5,此版本对目前的openvpnas依赖的运行时版本来说太低了，因此稍微调整下版本

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
rm -rf /usr/bin/python
ln -s /usr/bin/python3.6 /usr/bin/python
#微信订阅号1：云原生生态圈
[root@vm-24-13-centos openvpnas]# python --version
Python 3.6.8

安装openVPN服务

GitHub上已经有人将安装的过程写成shell脚本了，我们这里只要去下载然后一键安装就好了。

  • 安装并生成wahaha用户的客户端配置
代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
wget -O openvpn-install.sh https://ghproxy.com/https://github.com/Nyr/openvpn-install/blob/master/openvpn-install.sh
bash ./openvpn-install.sh #按照提示完成安装即可
# 创建用户测试openVPN服务是否正常可用
[root@vm-24-13-centos openvpnas]# bash ./openvpn-install.sh
OpenVPN is already installed.
#微信订阅号2：云原生生态圈
Select an option:
   1) Add a new client
   2) Revoke an existing client
   3) Remove OpenVPN
   4) Exit
Option: 1

Provide a name for the client:
Name: wahaha # 此处填写客户端用户名
Using SSL: openssl OpenSSL 1.0.2k-fips  26 Jan 2017
Generating a 2048 bit RSA private key
...........+++
...........................................................................................................................+++
writing new private key to '/etc/openvpn/server/easy-rsa/pki/easy-rsa-3528.1YPIvY/tmp.WSJFtM'
-----
Using configuration from /etc/openvpn/server/easy-rsa/pki/easy-rsa-3528.1YPIvY/tmp.M3K3Dv
Check that the request matches the signature
Signature ok
The Subject's Distinguished Name is as follows
commonName            :ASN.1 12:'wahaha'
Certificate is to be certified until Oct  6 10:25:26 2032 GMT (3650 days)

Write out database with 1 new entries
Data Base Updated
wahaha added. Configuration available in:/root/wahaha.ovpn
#微信订阅号3：云原生生态圈
[root@vm-24-13-centos openvpnas]# ls -al /root/wahaha.ovpn # 使用此客户端配置文件在openVPN connector或者Tunnelblick上测试是否可正常链接
-rw-r--r-- 1 root root 4944 Oct  9 18:25 /root/wahaha.ovpn
  • 吊销wahaha客户端配置
代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
[root@vm-24-13-centos openvpnas]# bash ./openvpn-install.sh
OpenVPN is already installed.

Select an option:
   1) Add a new client
   2) Revoke an existing client
   3) Remove OpenVPN
   4) Exit
Option: 2

Select the client to revoke:
     1) marionxue
     2) zhangsan
     3) wangwu
     4) sunwei
     5) wahaha
Client: 5

Confirm wahaha revocation? [y/N]: y
Using SSL: openssl OpenSSL 1.0.2k-fips  26 Jan 2017
Using configuration from /etc/openvpn/server/easy-rsa/pki/easy-rsa-6774.jtuovx/tmp.GIgu00
Revoking Certificate 61A8ED5490C8018ACDE6909EF0133B6B.
Data Base Updated

Using SSL: openssl OpenSSL 1.0.2k-fips  26 Jan 2017
Using configuration from /etc/openvpn/server/easy-rsa/pki/easy-rsa-6816.Z2PRCV/tmp.6rZIjZ
#微信订阅号6：云原生生态圈
An updated CRL has been created.
CRL file: /etc/openvpn/server/easy-rsa/pki/crl.pem

wahaha revoked!

安装openvpn web 服务

在验证openVPN没有问题后，即可安装openvpnas服务，但是默认情况下，此web服务只允许两个客户端链接，因此我们需要参考网上的破解的方式，修改一下此限制。下面先安装一下web服务。

安装openvpnas
代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
wget https://openvpn.net/downloads/openvpn-as-latest-CentOS7.x86_64.rpm # openvpn-as-2.11.0_794ab41d-CentOS7.x86_64.rpm

wget https://openvpn.net/downloads/openvpn-as-bundled-clients-latest.rpm # openvpn-as-bundled-clients-25.rpm

yum localinstall -y ./openvpn-as*.rpm

# 检查openvpn服务
[root@vm-24-13-centos openvpnas]# systemctl status openvpn-server@server
● openvpn-server@server.service - OpenVPN service for server
   Loaded: loaded (/usr/lib/systemd/system/openvpn-server@.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2022-10-08 16:59:55 CST; 1 day 1h ago
     Docs: man:openvpn(8)
           https://community.openvpn.net/openvpn/wiki/Openvpn24ManPage
           https://community.openvpn.net/openvpn/wiki/HOWTO
 Main PID: 49185 (openvpn)
   Status: "Initialization Sequence Completed"
   CGroup: /system.slice/system-openvpn\x2dserver.slice/openvpn-server@server.service
           └─49185 /usr/sbin/openvpn --status /run/openvpn-server/status-server.log --status-version 2 --suppress-timestamps --config server.conf

Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: 49.232.x.x:52801 [wangwu] Peer Connection Initiated with [AF_INET]49.232.x.x:52801
Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 MULTI_sva: pool returned IPv4=10.8.0.2, IPv6=(Not enabled)#微信订阅号12：云原生生态圈
Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 MULTI: Learn: 10.8.0.2 -> wangwu/49.232.x.x:52801
Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 MULTI: primary virtual IP for wangwu/49.232.x.x:52801: 10.8.0.2
Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 PUSH: Received control message: 'PUSH_REQUEST'
Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 SENT CONTROL [wangwu]: 'PUSH_REPLY,redirect-gateway def1 bypass-dhcp,dhcp-option DNS 183.60.83.19,dhcp-option DNS 183.60.82.98,route-gateway 10....6-GCM' (status=1)
Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 Data Channel: using negotiated cipher 'AES-256-GCM'
Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 Outgoing Data Channel: Cipher 'AES-256-GCM' initialized with 256 bit key
Oct 08 17:03:42 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 Incoming Data Channel: Cipher 'AES-256-GCM' initialized with 256 bit key
Oct 08 17:04:33 vm-24-13-centos openvpn[49185]: wangwu/49.232.x.x:52801 SIGTERM[soft,remote-exit] received, client-instance exiting
Hint: Some lines were ellipsized, use -l to show in full.

# 检查openvpn的web服务openvpnas
[root@vm-24-13-centos openvpnas]# systemctl status openvpnas.service
● openvpnas.service - OpenVPN Access Server
   Loaded: loaded (/usr/lib/systemd/system/openvpnas.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2022-10-08 18:46:34 CST; 23h ago
  Process: 31318 ExecStop=/bin/bash /usr/local/openvpn_as/scripts/openvpn_service_cleanup (code=exited, status=0/SUCCESS)
 Main PID: 31332 (python3)
    Tasks: 18
   Memory: 246.0M
   CGroup: /system.slice/openvpnas.service
           ├─31332 python3 -c from pyovpn.sagent.sagent_entry import openvpnas ; openvpnas() --nodaemon --logfile=/var/log/openvpnas.log --pidfile=
           ├─31374 /usr/bin/python3 -c from pyovpn.cserv.wserv_entry import start ; start() -no -u openvpn_as -g openvpn_as --pidfile /usr/local/openvpn_as/etc/tmp/wserv.pid
           ├─31375 /usr/bin/python3 -c from pyovpn.log.logworker import start ; start()
           ├─31394 /usr/bin/python3 -c from pyovpn.sagent.iptworker import start6 ; start6()
           ├─31398 /usr/bin/python3 -c from pyovpn.sagent.iptworker import start ; start()
           ├─31405 openvpn-openssl --errors-to-stderr --config stdin
           ├─31407 openvpn-openssl --errors-to-stderr --config stdin
           └─31459 iptables-restore -n

Oct 08 18:46:34 vm-24-13-centos systemd[1]: Started OpenVPN Access Server.
修改用户限制

网络上有存在不同版本的编译文件，不想使用的可以直接去找，我们这里使用的是最新的openvpnas服务，需要自己手动修改下

  1. 备份安装目录下的pyovpn-2.0-py3.6.egg文件
代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
[root@vm-24-13-centos openvpnas]# cd /usr/local/openvpn_as/lib/python/
[root@vm-24-13-centos python]# cp pyovpn-2.0-py3.6.egg{,.back}
[root@vm-24-13-centos python]# ls -alh|grep pyovpn
drwxr-xr-x 37 root root 4.0K Oct  8 18:08 pyovpn
-rw-r--r--  1 root root 5.8M Oct  8 18:45 pyovpn-2.0-py3.6.egg
-rw-r--r--  1 root root 5.7M Oct  8 17:28 pyovpn-2.0-py3.6.egg.back #这是备份出来的文件
-rwxr-xr-x  1 root root  19K Jun 15 22:28 pyovpnc.cpython-36m-x86_64-linux-gnu.so
  1. 编译补丁文件
代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
[root@vm-24-13-centos openvpnas]# cd /root/openvpnas
[root@vm-24-13-centos openvpnas]# mkdir compile && cd $_
[root@vm-24-13-centos compile]# cp /usr/local/openvpn_as/lib/python/pyovpn-2.0-py3.6.egg .
[root@vm-24-13-centos compile]# unzip -q ./pyovpn-2.0-py3.6.egg
[root@vm-24-13-centos compile]# ls
common  EGG-INFO  pyovpn  pyovpn-2.0-py3.6.egg
[root@vm-24-13-centos compile]# cd pyovpn/lic/
[root@vm-24-13-centos lic]# ls -a
.  ..  conf  info.pyc  __init__.pyc  ino.pyc  lbcs.pyc  lbq.pyc  lic_entry.pyc  licerror.pyc  lichelper.pyc  lickey.pyc  licser.pyc  licstore.pyc  liman.pyc  lspci.pyc  prop.pyc  uprop.pyc  vprop.pyc
[root@vm-24-13-centos lic]# mv uprop.pyc uprop2.pyc
[root@vm-24-13-centos lic]# vim uprop.py
[root@vm-24-13-centos lic]# cat uprop.py
from pyovpn.lic import uprop2
old_figure = None

def new_figure(self, licdict):
      ret = old_figure(self, licdict)
      ret['concurrent_connections'] = 6666
      return ret

#微信订阅号：云原生生态圈
for x in dir(uprop2):
      if x[:2] == '__':
         continue
      if x == 'UsageProperties':
         exec('old_figure = uprop2.UsageProperties.figure')
         exec('uprop2.UsageProperties.figure = new_figure')
      exec('%s = uprop2.%s' % (x, x))
[root@vm-24-13-centos lic]# python -O -m compileall uprop.py && mv __pycache__/uprop.*.pyc uprop.pyc
Compiling 'uprop.py'...

# 最后打包一下就结束了
[root@vm-24-13-centos lic]# cd ../../
[root@vm-24-13-centos compile]# zip -rq pyovpn-2.0-py3.6.egg ./pyovpn ./EGG-INFO ./common
  1. 替换补丁文件，重启服务
代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
cp ./pyovpn-2.0-py3.6.egg /usr/local/openvpn_as/lib/python/
systemctl restart openvpnas.service
  1. 使用openvpn账号登录

新版本会在openvpnas安装的时候初始化openvpn的密码

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
grep -i 'password.$' /usr/local/openvpn_as/init.log
  1. 配置客户端

在完成以上操作且验证没问题之后，就可以创建部分用户，来体验一下

从以上来看，不同的客户端用户可以分配不同的权限，以及客户端账号的认证方式等等，创建完成之后，使用客户端用户的账号以及密码登录openvpnas,下载客户端连接工具以及自助生成客户端的配置文件：访问地址为:https://ip:943/

登录之后，即可下载客户端软件以及创建对应的配置文件了

创建完成之后，在管理后台也可以管理用户的配置文件

下载配置文件后，即可在推荐的openvpn-connect或者Tunnelblick上打开使用了。

使用OpenVPN AS.不仅仅可以在web浏览器上更方便管理用户和权限，也能更方便的吊销证书等，同时也更大的化的方便客户端人员的使用。

到此，OpenVPNAS的主要介绍的就这些了，希望能帮助需要的同学们！

本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2022-12-03，如有侵权请联系 cloudcommunity@tencent.com 删除
网站
python
访问管理
linux

本文分享自 云原生生态圈 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

网站
python
访问管理
linux
评论
登录后参与评论
5 条评论
热度
最新
用户9396596
请问一下，python-docx模块可以设置字符底纹嘛？
请问一下，python-docx模块可以设置字符底纹嘛？
回复回复点赞举报
用户7263833回复Python小屋屋主
老师，请教一个问题。我要在word中添加段落，段落里面其中就有一个数值是变量，这个变量我定义为num50，在我把这个num50计算出来后，要写进去，用什么格式呢，直接用这个s=k.add_run('我的数据')可以把“我的数据”写进文本，可是后面相接上num50，写num50的时候用s=k.add_run(num50)，程序会出错。
老师，请教一个问题。我要在word中添加段落，段落里面其中就有一个数值是变量，这个变量我定义为num50，在我把这个num50计算出来后，要写进去，用什么格式呢，直接用这个s=k.add_run('我的数据')可以把“我的数据”写进文本，可是后面相接上num50，写num50的时候用s=k.add_run(num50)，程序会出错。
回复回复点赞举报
用户7126010回复Python小屋屋主
您好，请教个问题，怎么给一页应用分栏？我在网上查好久了也查不到
您好，请教个问题，怎么给一页应用分栏？我在网上查好久了也查不到
22点赞举报
Python小屋屋主回复用户7126010
先增加一节，然后使用section._sectPr.xpath('./w:cols')[0].set(qn('w:num'), '2')类似的语句设置分栏数量，再写入内容就可以了。
先增加一节，然后使用section._sectPr.xpath('./w:cols')[0].set(qn('w:num'), '2')类似的语句设置分栏数量，再写入内容就可以了。
回复回复点赞举报
用户7126010回复Python小屋屋主
num后面改成3就是3栏吗？我试了一下还是两栏。我在官方文档里没有看到过./w:cols等等这类说明，想看这些说明，教程，应该上哪学啊
num后面改成3就是3栏吗？我试了一下还是两栏。我在官方文档里没有看到过./w:cols等等这类说明，想看这些说明，教程，应该上哪学啊
回复回复点赞举报
登录 后参与评论
推荐阅读
Python爬虫框架：scrapy爬取知乎数据
mongodb数据库sql云数据库 MongoDB爬虫
基础环境沿用之前的环境，只是增加了MongoDB（非关系型数据库）和PyMongo（Python 的 MongoDB 连接库），默认我认为大家都已经安装好并启动 了MongoDB 服务。
python学习教程
2019/10/22
1.5K0
Python爬虫框架：scrapy爬取知乎数据
利用 Scrapy 爬取知乎用户信息
其他
　　思路：通过获取知乎某个大V的关注列表和被关注列表，查看该大V和其关注用户和被关注用户的详细信息，然后通过层层递归调用，实现获取关注用户和被关注用户的关注列表和被关注列表，最终实现获取大量用户信息。 一、新建一个scrapy项目　　 scrapy startproject zhihuuser 　　移动到新建目录下： cd zhihuuser 　　新建spider项目： scrapy genspider zhihu zhihu.com 二、这里以爬取知乎大V轮子哥的用户信息来实现爬取知乎大量用户信息。 a)
希希里之海
2018/05/16
6700
Python爬虫从入门到放弃（十九）之 Scrapy爬取所有知乎用户信息(下)
爬虫pythonmongodb
在上一篇文章中主要写了关于爬虫过程的分析，下面是代码的实现，完整代码在： https://github.com/pythonsite/spider items中的代码主要是我们要爬取的字段的定义 cl
coders
2018/01/04
8810
Python爬虫从入门到放弃（十九）之 Scrapy爬取所有知乎用户信息(下)
手把手教你用Scrapy爬取知乎大V粉丝列表
mongodb数据库sql云数据库 MongoDB爬虫
导读：通过获取知乎某个大V的关注列表和被关注列表，查看该大V以及其关注用户和被关注用户的详细信息，然后通过层层递归调用，实现获取关注用户和被关注用户的关注列表和被关注列表，最终实现获取大量用户信息。
IT阅读排行榜
2021/05/06
9410
利用Scrapy爬取所有知乎用户详细信息并存至MongoDB
scrapy
崔庆才
2017/04/27
3.9K2
Scrapy爬取知乎------获取用户主页信息
scrapypython爬虫
新建一个scrapy项目，scrapy startproject zhihuspider
andrew_a
2019/07/30
7370
Scrapy爬取知乎------获取用户主页信息
使用Python爬取知乎上的高颜值小姐姐
云数据库 MongoDB
get_answers_by_page - 这个函数用于获取一页的回答内容，获取的内容会存到本地MongoDB里 get_answers - 这个函数用于获取所有页的内容，它会调用上面的函数，循环获取每一页的内容 query - 这个函数用于从MongoDB里查询数据，筛选高赞回答，并且把结果打印出来
量子态的沐子呓
2020/03/09
1.7K2
我用Python爬了7W知乎用户信息，终于捕获了心仪小姐姐......
pythonscrapy爬虫
作为一个 Python 程序员，要如何找到小姐姐，避开暴击伤害，在智中取胜呢？于是就有了以下的对话： so~今天我们的目标是，爬社区的小姐姐~而且，我们又要用到新的姿势(雾)了~scrapy 爬虫框架
小小科
2018/05/03
1K0
我用Python爬了7W知乎用户信息，终于捕获了心仪小姐姐......
用Python抓取某大V的公众号文章
其他
我之前用Charles来抓取了得到App的音频资料 抓取得到App音频数据，于是又收到有读者要我抓取公众号文章，于是就有了这一篇文章. 不知道爬谁的文章好，想了想找了比较接地气的公众号大V[匿名一下，省得被认为蹭流量]，于是在微信上征得他同意后，开始干活了！
龙哥
2018/10/22
2.4K0
用Python抓取某大V的公众号文章
汽车大屏实话数据实训二之爬虫数据获取
数据爬虫汽车遍历测试
https://www.dongchedi.com/motor/pc/car/rank_data?aid=1839&app_name=auto_web_pc&city_name=%E9%83%91%E5%B7%9E&count=10&offset=0&mnotallow=&new_energy_type=&rank_data_type=11&brand_id=&price=&manufacturer=%E8%87%AA%E4%B8%BB&series_type=&natinotallow=0 获取数据的页面：
张哥编程
2024/12/17
900
汽车大屏实话数据实训二之爬虫数据获取
新手学Python爬虫，爬取拉勾网
tcp/ippython爬虫ajax
在之前写拉勾网的爬虫的时候，总是得到下面这个结果（真是头疼），当你看到下面这个结果的时候，也就意味着被反爬了，因为一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会禁止这个IP的访问：
python学习教程
2019/07/10
6420
新手学Python爬虫，爬取拉勾网
Python爬取微信公众号文章和评论 (基于Fiddler抓包分析)
python微信scrapy数据库json
  感觉微信公众号算得是比较难爬的平台之一，不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制)，但后面会开始整理写一些实战出来。简单介绍下本次的开发环境：
happyJared
2018/09/20
4.2K0
Python爬取微信公众号文章和评论 (基于Fiddler抓包分析)
Python爬虫学习教程，批量爬取下载抖音视频
python
Python现在非常火，语法简单而且功能强大，很多同学都想学Python！所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍，欢迎前来领取！
python学习教程
2019/07/18
3K0
Python爬虫学习教程，批量爬取下载抖音视频
我用Python爬虫爬取并分析了C站前100用户最高访问的2000篇文章
爬虫api腾讯云开发者社区正则表达式数据分析
最近系统地学习了正则表达式，发现正则表达式最大的应用之一——网络爬虫之前一直没有涉猎，遂借此契机顺带写一个爬虫的demo备用。选择对象是CSDN排行榜前100用户，各自按访问量从高到低排序的前20篇文章，使用一些简单的数据分析手段看看技术热点，方便今后拓宽技术栈。
润森
2022/08/18
4100
我用Python爬虫爬取并分析了C站前100用户最高访问的2000篇文章
Python爬虫从入门到放弃（二十四）之 Scrapy登录知乎
爬虫python
因为现在很多网站为了限制爬虫，设置了为只有登录才能看更多的内容，不登录只能看到部分内容，这也是一种反爬虫的手段，所以这个文章通过模拟登录知乎来作为例子，演示如何通过scrapy登录知乎 在通过scra
coders
2018/01/04
1.5K0
Python爬虫从入门到放弃（二十四）之 Scrapy登录知乎
Python爬虫爬取网易云音乐全部评论
python爬虫httpapi
beautiful now.png 思路整理 访问网易云音乐单曲播放界面，我们可以看到当我们翻页的时候网址是没有变化的，这时候我们大致可以确定评论是通过post形式加载的； .
Awesome_Tang
2018/09/11
1.5K0
Python爬虫爬取网易云音乐全部评论
【python爬虫】爬取知乎收藏夹内所有问题名称地址保存至Mysql
pythonhttpshttpgithub
转载请注明源地址，代码在Github中（可能会更新）：https://github.com/qqxx6661/python/
蛮三刀酱
2019/03/26
1.1K0
【python爬虫】爬取知乎收藏夹内所有问题名称地址保存至Mysql
Scrapy入门案例——爬取豆瓣电影
其他
首先scrapy startproject douban 建立项目，其次切换到spiders目录下，scrapy genspider douban_movie 建立爬虫。
100000860378
2018/09/13
7960
Scrapy入门案例——爬取豆瓣电影
R语言爬虫实战——知乎live课程数据爬取实战
r 语言爬虫
本文是一篇R语言爬虫实战练习篇，同样使用httr包来完成，结合cookies登录、表单提交、json数据包来完成整个数据爬取过程，无需书写复杂的xpath、css路径甚至繁琐的正则表达式（尽管这三个技能对于数据爬取而言意义非凡）。 之前已经演练过如何使用httr来完成网易云课堂的课程爬取，其中用到POST方法和表单提交。 今天爬取对象是知乎live课程信息，用到的GET方法，结合cookies登录和参数提交来完成，这一篇会给大家稍微涉猎一些细节技巧。 library("httr") library("dp
数据小磨坊
2018/04/11
1.5K0
R语言爬虫实战——知乎live课程数据爬取实战
Scrapy案例02-腾讯招聘信息爬取
爬虫scrapypythonbash编程算法
目录 1. 目标 2. 网站结构分析 3. 编写爬虫程序 3.1. 配置需要爬取的目标变量 3.2. 写爬虫文件scrapy 3.3. 编写yield需要的管道文件 3.4. setting中配置请
py3study
2020/01/17
5790
推荐阅读
编辑精选文章
万字详解高可用架构设计Go 开发者必备：Protocol Buffers 入门指南10分钟带你彻底搞懂分布式链路跟踪
相关讨论
云审计能支持哪些产品？点播生成的链接哪些是能下载，哪些不能下载？急？大神帮看一下？
相关课程
JavaAI绘画-StableDiffusion图像生成TDSQL for MySQL训练营
Python爬虫框架：scrapy爬取知乎数据
1.5K0
利用 Scrapy 爬取知乎用户信息
6700
Python爬虫从入门到放弃（十九）之 Scrapy爬取所有知乎用户信息(下)
8810
手把手教你用Scrapy爬取知乎大V粉丝列表
9410
利用Scrapy爬取所有知乎用户详细信息并存至MongoDB
3.9K2
Scrapy爬取知乎------获取用户主页信息
7370
使用Python爬取知乎上的高颜值小姐姐
1.7K2
我用Python爬了7W知乎用户信息，终于捕获了心仪小姐姐......
1K0
用Python抓取某大V的公众号文章
2.4K0
汽车大屏实话数据实训二之爬虫数据获取
900
新手学Python爬虫，爬取拉勾网
6420
Python爬取微信公众号文章和评论 (基于Fiddler抓包分析)
4.2K0
Python爬虫学习教程，批量爬取下载抖音视频
3K0
我用Python爬虫爬取并分析了C站前100用户最高访问的2000篇文章
4100
Python爬虫从入门到放弃（二十四）之 Scrapy登录知乎
1.5K0
Python爬虫爬取网易云音乐全部评论
1.5K0
【python爬虫】爬取知乎收藏夹内所有问题名称地址保存至Mysql
1.1K0
Scrapy入门案例——爬取豆瓣电影
7960
R语言爬虫实战——知乎live课程数据爬取实战
1.5K0
Scrapy案例02-腾讯招聘信息爬取
5790
相关推荐
Python爬虫框架：scrapy爬取知乎数据
更多 >
Python小屋屋主0
LV.1
这个人很懒，什么都没有留下～
文章
968
获赞
4K
专栏
1
目录
  • python版本修改
  • 安装openVPN服务
  • 安装openvpn web 服务
    • 安装openvpnas
    • 修改用户限制
加入讨论
的问答专区 >
china马斯克0
相关课程
一站式学习中心 >
Java
1944人在学
java
AI绘画-StableDiffusion图像生成
1692人在学
大模型图像创作引擎
高性能应用服务
TDSQL for MySQL训练营
704人在学
云数据库 MySQL
TDSQL MySQL 版
数据库
分布式数据库 TDSQL
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2025 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论
1
2