开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >看了你发的爬虫文章，请问是用什么软件呢？没有代码应该不是python，能够分享一下吗？

问看了你发的爬虫文章，请问是用什么软件呢？没有代码应该不是python，能够分享一下吗？

提问于 2023-02-09 12:13:37

回答 1关注 0查看 84

腾讯云开发者社区

回答 1

派大星的数据屋

发布于 2025-05-05 05:39:19

其实爬虫不一定需要python、java这种编程语言写很多脚本去实现，有很多的专用工具可以实现，比如说亮数据，一种专门用于网页解锁和ip服务的软件，我这段时间用的比较多，它最大的好处是简化了应对反爬的流程，一般而言，python爬虫需要处理登陆、验证码、动态网页等问题，但是亮数据的爬虫浏览器可以通过云上浏览器来抓取数据，通过playwright等工具来控制获取网页数据，且内置了解锁功能，自动化实现浏览器指纹、自动重试、请求头选择、处理 cookies、JavaScript 渲染等场景，能节省很多很多时间，搞技术的时间就是生命呀！

和开发者交流更多问题细节吧，去写回答

相关文章

文章是原创的，为什么网站没有收录呢？

刚进入seo领域就知道原创文章对于网站的收录、展现量、权重等的影响，所以保证网站内容的原创度是seoer的基本功，但往往你的内容是原创的，但网站迟迟没有收录，让很多seoer感到迷茫，其实问题不一定只出现在文章上，你还应做以下分析：

蝙蝠侠IT

2021/05/19

6750

文章是原创的，为什么网站没有收录呢？

请问你知道什么是栈吗？

1.1栈的概念及记本操作栈(stack)又称堆栈,是限制在表的一端进行插入和删除的线性表。其限制是仅允许在表的一端进行插入和删除操作,不允许在其他任何位置进行插入、查找、删除等操作。表中进行插入、删除操作的一端称为栈顶(Top),栈顶保存的元素称为栈顶元素。相对的,表的另一端称为栈底( Bottom)。当栈中没有数据元素时称为空栈;向一个栈插入元素又称为进栈或入栈;从一个栈中删除元素又称为出栈或退栈。由于栈的插入和删除操作仅在栈顶进行,后进栈的元素必定先出栈,所以又把堆栈称为后进先出表

Java学习

2018/04/18

9600

为什么你应该看官方文档而不是搜索博客文章

官方文档 html vue.js javascript 腾讯云开发者社区

很多人在学习一门新技术的时候，不去看官方文档，而是喜欢直接在网上搜索别人的教程。如果运气不好搜索到了CSDN上面的装逼货辣鸡文章，那么你的学习生涯可能就此终止。即使搜索到写得很详细的正经文章，也可能因为文章不是面向初学者的，从而严重打击你的学习积极性。今天我们以学习Vue为例，说明这样做对你有什么危害。

青南

2020/11/23

6800

为什么你应该看官方文档而不是搜索博客文章

什么是锁都不懂？这篇文章你该看看了

编程算法数据分析 java

Java 中的锁有很多，可以按照不同的功能、种类进行分类，下面是我对 Java 中一些常用锁的分类，包括一些基本的概述

淘课之家

2020/04/20

5920

什么是锁都不懂？这篇文章你该看看了

BI软件是做什么用的？有哪些功能呢？

BI软件即商业智能软件，是基于信息技术构建的智能化管理工具，它实时地对ERP、CRM、SCM等管理工具生成的企业数据进行各种分析，并给出报告，帮助管理者认识企业和市场的现状，做出正确的决策。

数据前沿

2020/09/08

1.8K0

BI软件是做什么用的？有哪些功能呢？

你知道什么是最美C语言代码吗？来看一下说说你的想法

对象存储 c 语言

各位小伙伴，看到标题大家肯定会联想许多，到底怎样算最美的代码？话不多说，代码先上：

诸葛青云

2019/10/23

5660

你知道什么是最美C语言代码吗？来看一下说说你的想法

从技术角度分析“抢票软件的加速”有多快？

爬虫 python 腾讯云可观测平台

大部分人在昨天前天已经回程了，不知道大家什么状态。我有2个状态并存：1.快点上班。2.继续休息。

AI科技大本营

2019/05/06

1.4K0

看了这些，你觉得你的隐私还安全吗？用python来保护你的隐私

不得不说，我感觉自己越来越有营销号的潜力了。前段时间在telegram上看到一个社工机器人，大概是这样的（查询了下自己QQ）：

SingYi

2022/07/14

5250

看了这些，你觉得你的隐私还安全吗？用python来保护你的隐私

10个Python爬虫框架推荐，你使用的是哪个呢？

python 爬虫 selenium xml

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？

程序员皮克

2021/12/21

7.8K0

10个Python爬虫框架推荐，你使用的是哪个呢？

请问需要企业服务吗？我用NAS搭建ERPNext助力你的创业！ - 熊猫不是猫QAQ

企业容器 nas 创业服务

该容器其实之前便发现了，但是一直折腾不对，各种报错。近期看到老苏把它折腾好了，于是想着搭建试试。项目为ERPNext，它提供了一套完整的企业解决方案，包括会计、采购、销售、库存、制造、CRM等功能，为中小型企业提供一种简单、易用、灵活的ERP系统，如果你有创业需求，那么在创业初期不愿意花钱买ERP的情况下可以尝试一用。（本次部署使用为群晖6.x系统，推荐至少8G内存）

熊猫不是猫

2023/05/28

1.1K0

请问需要企业服务吗？我用NAS搭建ERPNext助力你的创业！ - 熊猫不是猫QAQ

你应该知道什么是NPX?

npm node.js react

“ 关注前端开发社区，回复“1”即可加入前端技术交流群, 回复 '2'，免费领取Vue，小程序，Node Js，前端开发用的插件以及面试视频等学习资料，让我们一起学习，一起进步

前端老道

2020/06/08

1.3K0

Python爬虫|你真的会写爬虫吗？

爬虫 php python html

咱们直接进入今天的主题---你真的会写爬虫吗？为啥标题是这样，因为我们日常写小爬虫都是一个py文件加上几个请求，但是如果你去写一个正式的项目时，你必须考虑到很多种情况，所以我们需要把这些功能全部模块化，这样也使我们的爬虫更加的健全。

AI算法与图像处理

2019/05/22

6080

Python爬虫|你真的会写爬虫吗？

什么是爬虫|Python爬虫的原理是什么

简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前；

程序员迪迪

2022/01/14

5.4K0

Python爬虫|你真的会写爬虫吗？

爬虫 php python html

咱们直接进入今天的主题---你真的会写爬虫吗？为啥标题是这样，因为我们日常写小爬虫都是一个py文件加上几个请求，但是如果你去写一个正式的项目时，你必须考虑到很多种情况，所以我们需要把这些功能全部模块化，这样也使我们的爬虫更加的健全。

Python进击者

2019/06/21

8870

2021第二期_数据挖掘班_微信群答疑笔记

https 网络安全数据库 sqlite sql

seuratObj <- RunHarmony(sce, "orig.ident")

生信技能树

2021/07/29

1.1K0

2023-07月的马拉松在线互动授课答疑精选

笔记变量服务器权限索引

上一期的答疑互动也是彩蛋多多，现在整理完毕马不停蹄的分享给大家。接下来的8月7号就是最新一期的直播互动授课啦，有需要的朋友赶快上车哈：

生信技能树jimmy

2023/08/31

5720

2023-07月的马拉松在线互动授课答疑精选

什么是python爬虫。

爬虫网络安全 php 数据库 sql

简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前；

7537367

2020/07/17

8240

[答疑]启动软件是用例吗

潘老师，你好，最近读了您的软件方法，结合自己的项目发现始终有一个疑问？那就是启动软件算不算一个用例，因为软件在启动的时候一般都要实例化一些对象，读一些配置文件等等。那启动软件或者软件关闭软件算一个用例吗？是系统用例还是其他用例的扩展呢？

用户6288414

2020/09/23

5630

给那些想学Python的建议

这几天陆续收到很多读者、球友的留言、私信，说要怎么学Python？有没有基础的，偏小白的学习方法？我的回答是：等我统一答复。

Python进阶者

2019/09/24

5510

点击加载更多

相似问题

您好，你看了你写mixnet的文章，很好。想问一下你可以分享一份完整的mixnet训练测试代码吗？

1444

请问可以发一下安装包吗？

1108

请问分数是指什么呢？

1279

您好！能分享一下这篇文章的题目吗？

1261

你好，请问一下我是根据你的方法安装的，中途也没有什么问题，为什么我启动不了呢？

058

相关问答用户

请输入您想邀请的人

派大星的数据屋

高级数据分析师擅长5个领域

萃橙科技 | 合伙人擅长4个领域

我是基里安墨菲

腾讯 | 技术专家擅长2个领域

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例