Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >新手求问,请大神教一下这个python爬虫代码怎么写 ?

新手求问,请大神教一下这个python爬虫代码怎么写 ?

提问于 2019-07-28 09:54:59
回答 2关注 0查看 404

emmmm,这个是我的毕设,但是我不怎么会python,求大神帮忙,万分感谢。

回答 2

大Hero

发布于 2025-04-25 03:01:16

你这个需求我大学做本科毕设也遇到过,对于这种需求,使用Python爬虫确实是一个不错的选择,但同时也会遇到不少挑战,比如动态网页加载、IP限制和验证码验证等问题。针对这些难题,可以考虑使用亮数据平台提供的解决方案,比如 网页抓取API抓取浏览器。亮数据的抓取浏览器可以模拟真实用户操作,自动处理验证码和IP轮换,而网页抓取API则能简化采集流程,只需提供URL即可返回目标数据。这样,不但能提高爬取效率,还能节省大量开发时间。

Hyman.W

发布于 2019-07-29 08:25:08

去码云可以找到很多开源的基于python 开发的项目,可以参考下他们的代码

https://gitee.com/search?utf8=%E2%9C%93&q=%E7%88%AC%E8%99%AB+python&type=

和开发者交流更多问题细节吧,去 写回答
相关文章
python写helloworld代码_helloworld代码怎么写?
Linux intel asm(由于百度知道不支持汇编语言,因此可读性会差62616964757a686964616fe59b9ee7ad9431333365633938一点):
全栈程序员站长
2022/09/13
4.5K0
转:滤波算法Python代码怎么写?
滤波算法是一类用于处理信号和图像中噪声的算法。它们通常通过在信号或图像上应用一个滤波器来实现这一目的。常见的滤波算法包括均值滤波、中值滤波、高斯滤波等。
啵啵鳐
2023/07/05
3720
Python 爬虫新手教程:12306抢票,开源代码!
今天就和大家一起来讨论一下python实现12306余票查询(pycharm+python3.7),一起来感受一下python爬虫的简单实践 我们说先在浏览器中打开开发者工具(F12),尝试一次余票的查询,通过开发者工具查看发出请求的包
一墨编程学习
2019/08/06
3.5K1
Python 爬虫新手教程:12306抢票,开源代码!
写爬虫,不会正则怎么行?
很多人觉得正则很难,在我看来,这些人一定是没有用心。其实正则很简单,根据二八原则,我们只需要懂 20% 的内容就可以解决 80% 的问题了。我曾经有几年几乎每天都跟正则打交道,刚接手项目的时候我对正则也是一无所知,花半小时百度了一下,然后写了几个 demo,就开始正式接手了。三年多时间,我用到的正则鲜有超出我最初半小时百度到的知识的。
丹枫无迹
2019/08/20
5650
python写网络爬虫
#!/usr/bin/evn python -- coding: cp936 -- import re #导入正则表达式模块 import urllib #导入urllib模块,读取页面与下载页面需要用到 def getHtml(url): #定义getHtml()函数,用来获取页面源代码 page = urllib.urlopen(url) #urlopen()根据url来获取页面源代码 html = page.read
py3study
2020/01/15
1.2K0
爬虫的主函数该怎么写
主函数中是将前边写的所有函数汇总,通过多线程,将爬虫稳步有序的进行。 头文件中的那些是之前写好的做引用 用到了多线程技术,在python中,Pool函数是个好的多线程工具 __author__ = 'Lee' from multiprocessing import Pool from beijing_proper import channel_list from items_combination import get_pages_url def get_all_links_from(channel)
98k
2018/04/12
1.6K0
写爬虫,怎么可以不会正则呢?
很多人觉得正则很难,在我看来,这些人一定是没有用心。其实正则很简单,根据二八原则,我们只需要懂 20% 的内容就可以解决 80% 的问题了。我曾经有几年几乎每天都跟正则打交道,刚接手项目的时候我对正则也是一无所知,花半小时百度了一下,然后写了几个 demo,就开始正式接手了。三年多时间,我用到的正则鲜有超出我最初半小时百度到的知识的。
数据森麟
2019/09/27
3990
写爬虫,怎么可以不会正则呢?
python求平均值的怎么编写,python 怎么求平均值[通俗易懂]
python求平均值的方法:首先新建一个python文件;然后初始化sum总和的值;接着循环输入要计算平均数的数,并计算总和sum的值;最后利用“总和/数量”的公式计算出平均数即可。
全栈程序员站长
2022/11/15
7.4K0
python求平均值的怎么编写,python 怎么求平均值[通俗易懂]
黑客刷屏代码大全(怎么请黑客)
When you just start out your programming journey, there are so many shiny tools and technologies to explore, you almost don’t know where to start. Fortunately, there are numerous guides on how to get into different fields such as web development, computer systems, data science, and much more. This article is not one of these guides.
全栈程序员站长
2022/07/29
9.6K0
Junit测试代码怎么写
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
全栈程序员站长
2022/11/15
1.7K0
Python写爬虫爬妹子
最近学完Python,写了几个爬虫练练手,网上的教程有很多,但是有的已经不能爬了,主要是网站经常改,可是爬虫还是有通用的思路的,即下载数据、解析数据、保存数据。下面一一来讲。
六月的雨
2020/03/27
7330
学会这个Python库,爬虫至少能减少100行代码
项目源码:https://github.com/CharlesPikachu/DecryptLogin
润森
2022/09/22
3090
学会这个Python库,爬虫至少能减少100行代码
python 爬虫新手入门教程
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/155837.html原文链接:https://javaforall.cn
全栈程序员站长
2022/09/06
1.1K0
python 爬虫新手入门教程
python实例代码爬虫_python 网络爬虫实例代码
一共两个文件,一个是toolbox_insight.py,是一个工具文件另一个是test.py,是一个用到toolbox_insight.py中工具的测试文件 代码示例:
全栈程序员站长
2022/11/15
1.4K0
Python新手教程:40行python代码写一个桌面翻译器
master = Tk() # 实例过程 master.title('ZZQ--翻译软件') # 标题命名 master.geometry('400x96+416+362') # 给软件固定位置和长宽。
一墨编程学习
2019/08/06
7960
Python新手教程:40行python代码写一个桌面翻译器
Python 爬虫进阶必备 | AES-CBC 的 Pyhon 实现要怎么写?给代码就完事了
还是老规矩,本文重要部分就是文章结尾的代码,路过的大佬不想听咸鱼唠嗑的直接划到结尾拿代码就好了,记得点赞,宝贝。
咸鱼学Python
2020/07/21
1.5K0
5分钟,6行代码教你写爬虫!(python)[通俗易懂]
爬虫结束~~~有木有满满成就感!!! 以上代码爬取的是这个页面,红色框框里面的数据,也就是豆瓣电影本周口碑榜。
全栈程序员站长
2022/06/26
6.6K0
5分钟,6行代码教你写爬虫!(python)[通俗易懂]
2019-02-13 Python爬虫问
当使用copy selector时,复制的是nth-child,而soup 似乎不支持nth-child,所以会报以下错误:
py3study
2020/01/17
3350
机器学习论文+代码大全,这个网站请收藏好
一个网站,关于机器学习的网站,在著名的reddit上获得国外网友的热情追捧。如果你要问为什么,其实特别简单。
量子位
2018/07/24
1.2K0
机器学习论文+代码大全,这个网站请收藏好
点击加载更多

相似问题

新手问一下 服务器?

3276

python爬虫,这个问题要怎么解决?

1183

怎么我的云服务器怎么登录不了?求大神教?

3483

求问TCGA的生存分析怎么做?

0187
相关问答用户
新浪微博 | 高级总监擅长4个领域
擅长4个领域
某公司 | 程序员擅长1个领域
腾讯 | 技术专家擅长2个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档