腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(5021)
视频
沙龙
1
回答
Python
-
webscraping
,
在
一个
页面
中
使用
requests
模块
进行
多个
深度
级
别的
搜索
、
、
我有
一个
Python
3脚本,它根据csv文件中提供的urls执行web抓取。我正在努力实现以下目标: 1.)从CSV文件中提供的URL获取
页面
2.)用正则表达式+漂亮汤
搜索
电子邮件地址,如果找到电子邮件,则将其保存到results.csv文件
中
3.)
搜索
页面
上的所有其他(链接) 4.)转到/获取第一页(第一
级
抓取)中找到的所有链接,并执行相同的操作 5.)根据用户定义的
深度
级别执行相同的操作(如果用户会说比这更深3层:从
浏览 20
提问于2020-09-21
得票数 0
回答已采纳
2
回答
如何
使用
python
从某些网站复制文本?
、
、
、
我想从这个网站()复制文本,以便以后
使用
py脚本。我该怎么做呢?(它并不是真的能处理请求...)
浏览 2
提问于2021-06-17
得票数 0
1
回答
没有
在
高山码头映像
中
安装的apk
python
软件包
、
、
、
、
我有
一个
文件如下所示:WORKDIR /usr/src/app 当我
使用
docker run -it --rm mycontainer /bin/sh进入容器时/usr
浏览 9
提问于2019-11-05
得票数 0
回答已采纳
3
回答
使用
Python
和PostgreSQL管理
多个
类别树
、
、
、
、
我有
多个
类别,可以没有或
一个
或
多个
子类别。树的例子。
一个
项目可以
在
多个
类别
中
。此时,为了连接这些类别,我在数据库中
使用
了三个字段:
浏览 4
提问于2019-12-29
得票数 4
回答已采纳
1
回答
使用
CSS选择器和
Python
对表
中
的多行单元格
进行
and抓取
、
、
因此,我在网页上抓取
一个
页面
(),其中表中有多行单元格: 我
使用
下面的代码来抓取每一列(下面的一列恰好刮掉了名称):from lxml.cssselect importCSSSelector import
requests
# get the tex
浏览 5
提问于2016-08-24
得票数 2
回答已采纳
2
回答
如何用bs4正确解析谷歌
搜索
结果?
、
、
、
我的目标是用
python
编写
一个
webscraping
程序,它
使用
漂亮的汤解析google
搜索
结果
页面
,并一次打开几个结果链接。程序如下所示:我的浏览器的开发人员控制台显示了以下HTML代码:所有链接都在带有class="yuRUbf“的元素
中
(我在所附图片中标记了
一个
示例)。因为所有'a‘元素都直接在'div’元素
中
,而且这些元素都有
一个
名为&
浏览 1
提问于2021-06-06
得票数 1
回答已采纳
2
回答
TYPO3:如何恢复已删除的
页面
?
我是TYPO3新手,有
一个
很大的问题。我删除了id为1的
页面
(startpage,我知道这很愚蠢),现在我想知道是否有可能以某种方式恢复该
页面
。
浏览 2
提问于2016-11-14
得票数 0
1
回答
Soup.find和findAll
在
hockey-reference.com上找不到表格元素
、
、
一般来说,我只是
webscraping
和
python
的初学者,所以很抱歉答案是显而易见的,但我不知道我在上找不到任何表元素。我最初的想法是,这是整个soup.text被注释掉的结果,所以按照我
在
另一篇类似文章中找到的一些建议,我替换了注释字符,并确认当我将div保存到文本文件并
进行
搜索
时,它们已被删除。
在
尝试进一步
搜索
时,我从我的.find
中
取出了ID,并执行了一次findAll,但仍然没有找到表。 这是我尝试
使用
的代码,任何建议都非
浏览 1
提问于2018-08-20
得票数 0
3
回答
使用
Python
的多处理设置每秒执行的nr
、
我
在
Python
3.6
中
编写了
一个
脚本,最初
使用
一个
名为API的for loop,然后将所有结果放入
一个
pandas数据框架
中
,并将它们写入
一个
pandas数据库。(每次脚本运行时,都会对该API
进行
大约9,000个调用)。 意识到for loop内部的调用是
一个
接
一个
地处理的,我决定
使用
multiprocessing
模块
来加快速度。因此,我创建
浏览 1
提问于2018-02-25
得票数 1
1
回答
ByRef参数与
模块
变量之间的线
、
这个问题是
在
标准讨论中提出的,应该围绕面向对象开发的坚实原则
进行
讨论。基于这一逻辑,我讨论
中
的一些人非常严格地不
使用</em
浏览 0
提问于2013-07-22
得票数 0
回答已采纳
1
回答
YouTrack按
多个
字段排序
、
我
使用
Jetbrains的YouTrack online
进行
问题跟踪,但发现它似乎不支持按
多个
字段
进行
排序。例如,如果我输入这个
搜索
短语:order by: Priority asc, created desc,那么它只会根据问题升序的优先
级
进行
排序。
在
每个优先
级
中
,日期没有排序(我希望
在
每个优先
级
分组的顶部都有最近归档的日期)。另外,如果我将
搜索
更改为:orde
浏览 2
提问于2015-07-08
得票数 1
回答已采纳
3
回答
Tree::Simple::traverse()不是访问树的根-错误还是功能?
、
还是
在
某些情况下,不访问根目录是有意义的?child); defined($post) && $post->($child); } 对于第
一个
节点
浏览 0
提问于2011-10-06
得票数 6
2
回答
确定是否可以仅
使用
两种颜色对无向图
进行
着色
、
、
如何确定
一个
无向图是否只能用两种颜色着色?这怎么能在java
中
实现呢?
浏览 0
提问于2010-11-29
得票数 0
1
回答
烧瓶螺纹注释
、
、
、
我想在酒瓶
中
显示嵌套的注释。我
使用
MongoDb,我的文档结构如下所示:"posted":{"$date":"2017-10-26T19:22:11.393Z"},"parentid":4}fromitem.child
浏览 0
提问于2017-10-26
得票数 1
2
回答
如何将文本从HTML抓取到dataframe,删除页眉和页脚额外信息?
、
、
、
、
在
未来,我计划在
python
中
以一种自动化的方式实现这一点,以便在GCMT网页之外的
python
中提取地震信息,以
进行
绘图/分析。下面是我到目前为止
使用
的
一个
示例URL的代码:from bs4 import BeautifulSoupsoup
浏览 10
提问于2022-09-16
得票数 1
回答已采纳
1
回答
抓取具有
多个
页面
的站点,这些
页面
保留相同的url?
我第一次
在
python
中
尝试
webscraping
。我
使用
beautifulsoup4包来做到这一点。我见过其他一些人说,如果您想从具有
多个
页面
的站点获取所有数据,则需要
使用
for循环,但在这种情况下,当您从
一个
页面
转到另
一个
页面
时,URL不会改变。我该怎么做呢?如果有任何帮助,我们将不胜感激。以下是我的
python
代码: import
requests<
浏览 14
提问于2020-04-08
得票数 0
3
回答
如何检查维基百科文章是否有特色或未
使用
API?
、
、
如何
使用
维基百科API做到这一点?如果不支持,是否有Wikipedia API函数来获取Wikipedia特色文章列表?
浏览 2
提问于2017-10-13
得票数 0
1
回答
如何构建特定的数据结构?
我有
一个
课程内容类型,有几个“
模块
”。(
模块
只是
一个
名称。)也有几个“单位”,可能属于或不属于
一个
模块
。
一个
单元有几个字段,例如位置、描述。我
在
“课程”内容类型
中
创建了“课程单元”段落类型和“单元”字段,该字段引用了此段落类型。这样我就可以创建属于这门课程的单元了。 但是,我不知道如何处理
模块
。我可以创建
一个
课程
模块
段落类型,但我不认为它将使我能够附加
一个
单元到<
浏览 0
提问于2021-07-22
得票数 0
回答已采纳
2
回答
如何从
一个
模块
导入
多个
项并在
Python
中
重命名它们?
、
我试过
使用
这个:但这就给了ImportError: cannot import name 'z'。我
在
谷歌上
搜索
了很多次“导入
多个
模块
并重命名”,但都没有结果。
Python
手册帮不上忙--关于导入的
页面
没有解释这一点(据我所知)。 如何从
一个
模块
导入
多个
项,并对它们
进行
重命名?
浏览 0
提问于2015-04-25
得票数 18
回答已采纳
点击加载更多
相关
资讯
python入门系列:包和模块
如何快速构建深度学习图像数据集
Scrapy安装及简介
Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗
安全工具源码剖析之子域名收集
热门
标签
更多标签
云服务器
对象存储
ICP备案
云点播
实时音视频
活动推荐
运营活动
广告
关闭
领券