腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
webscraping
中
的
多线程
python
请求
、
我有这段代码(来自),但我想知道你们
中
是否有人知道如何加快结果过程? 它获取一个网站
的
词汇表条目,并用它们创建文本文件,但因为我将用几种语言对几个网站做同样
的
操作,所以目前它有点太慢了。
浏览 13
提问于2019-11-29
得票数 1
回答已采纳
1
回答
ConnectionError: HTTPSConnectionPool(host='www.google.com',port=443):
、
、
、
我想从google.com
中
抓取网页结果。我遵循了这个问题
的
第一个答案,。不幸
的
是,我得到了连接错误。我碰巧也查过其他网站,它没有连接。是因为公司
的
代理设置吗?文件"c:\users\appdata\local\programs\
python
\
python
37\
webscraping
\lib\site-packages\requests\api.py",第75行,在get返回
请求
(‘get’,url,params=params,**
浏览 1
提问于2018-10-29
得票数 0
1
回答
网络抓取
python
错误(NameError:未定义名称'reload‘)
、
尝试用
python
做一些web抓取,但得到了一个错误。 我不确定这个trackback错误是什么意思,我在
Python
3
中
运行它,有人能帮我吗?回溯(最近一次调用):未定义重新加载(Sys)
中
的
文件"/home/l/gDrive/AudioBookReviews/
WebScraping
/GoodreadsScraper.py",第3行NameErrorheader) def read_from_txt_fi
浏览 18
提问于2019-09-01
得票数 1
回答已采纳
1
回答
csv -
python
抓取
的
多个读数
、
、
我有下面的代码: from instaloader import Instaloader, Profile profile = Profile.from_username(L.context, PROFILE) print(profile.followers) 我想通过csv传递多个用户,脚本将为每个用户运行。 谢谢。
浏览 18
提问于2021-01-16
得票数 0
1
回答
错误2002 (HY000):无法通过Lubuntu20.04LTS上
的
socket '/var/run/mysqld/mysqld.sock‘(2)连接到本地MySQL服务器
、
、
(scrapy_course) andylu@andylu-Lubuntu-PC:~/Desktop/Misc_
python
_scripts/Scrapy_
Webscraping
_Course/books_crawler下一首,我尝试连接到mysql:( andylu@andylu-Lubuntu-PC:~/Desktop/Misc_
python
_scripts/Scrapy_
Webscraping
_Course/books_crawler最后
浏览 0
提问于2020-12-06
得票数 0
2
回答
是否可以使用javascript在我
的
网站上加载另一个网站
的
og:图像和页面标题?
、
、
some=42 (不是我
的
网站)
的
源代码是<meta property="og:image" content="httpssome=42,获取TEXT I WANT和https://image-i-want.com/image.png并将它们分别放在下面的代码
中
?
浏览 0
提问于2020-08-10
得票数 0
回答已采纳
2
回答
将刮取
的
数据加载到Postgresql
中
、
我已经结合了一些关于网络抓取
的
教程,并制作了一个简单
的
网页爬虫,这是刮新张贴
的
问题在这里所以。我想将它们加载到我
的
postgresql数据库
中
,但是我
的
爬虫给我看
的
解码错误有问题。(self.methods[methodname], obj, *args) File "/home/petarp/.virtualenvs/
webscraping
/local/lib/
浏览 3
提问于2015-06-09
得票数 1
回答已采纳
1
回答
世博会内
的
网络抓取
、
、
我正在考虑写一个手机应用程序来显示一些从网站上提取
的
数据。我想使用世博会,因为我已经熟悉Javascript,但我从来没有写过或工作过
的
应用程序。我正在尝试弄清楚是否有可能在应用程序中使用类似Express
的
东西,并在屏幕上显示从Express中提取
的
数据。谢谢!
浏览 18
提问于2020-08-12
得票数 0
1
回答
Python
抓取: soup.select
的
问题
、
我正在开发一个
python
脚本,用于从特定站点( )
中
刮取数据这次我使用soup.select方法,类名为W(100%) M(0),我
的
代码如下所示:import pandas as pd File "/Users/ryanngan/PycharmProjects/
Webscr
浏览 4
提问于2022-09-13
得票数 0
1
回答
Python
-
webscraping
-
多线程
-线程限制?
、
、
、
我有一个从网站检索搜索结果
的
代码。 t.start()for thr in th:该脚本
的
问题是,如果我运行此代码,我
的
笔记本电脑将挂起,因为它将生成3406个线程。我
的
问题是如何确定特定笔记本电脑上
的
最佳线程数?
浏览 0
提问于2018-10-18
得票数 1
1
回答
Selenium webdriver在意外退出后无法重新启动
、
、
、
在几天前
的
最后一次使用之后,我还没有能够启动
python
的
selenium webdriver
的
实例。我尝试在
python
3.5内核上运行
的
是:driver = webdriver.Chrome()File "/Users/myuser/
webscraping
/env/lib/
python
3.5/
浏览 5
提问于2016-09-06
得票数 0
1
回答
寻找方向,以便建立一个在线网络抓取器数据库
、
、
我想开始用
python
编码,以便建立一个在线数据库。更具体地说,我想运行一个从其他网站(他们显然愿意分享他们
的
内容)收集数据
的
网站,以便集中信息。我以前曾经涉足过编程,对编程语言也有基本
的
了解,所以我可以很好地理解如何学习变量、类等。让我困惑
的
是它
的
概念化以及如何实现它。也许我可以单独概述一下我
的
想法,你们可以告诉我这是否有意义: 我想托管一个运行类似django
的
网站,这样就可以执行
python
脚本或应用程序,从其他网站收集信息,剪
浏览 20
提问于2019-01-12
得票数 0
1
回答
webkitbrowser注入javascript修改输入文本值时出错
、
、
、
、
我在使用
Python
2.7
中
的
WebkitBrower从网页获取输入文本
的
值时遇到了问题。下面是示例代码: user_agent='Mozilla/5.0 (compatible; MSIE 9.0; TOB 6.11; Windows NT 6.1
浏览 2
提问于2015-01-01
得票数 1
回答已采纳
2
回答
AttributeError:“”module“”对象没有“”whois“”属性“”
、
、
我尝试执行以下代码:w = whois.whois('
webscraping
.com')我得到了上面的错误。为什么?
浏览 3
提问于2016-12-15
得票数 1
1
回答
使用Soap +
请求
的
Python
WebScraping
、
我试图使用
Python
中
的
soap获取链接
的
信息。我可以得到整个数组
的
信息,但我不知道如何操纵信息
的
方式,我想。 例如:我想显示在线名称(Nome)和状态。
浏览 0
提问于2019-04-14
得票数 1
回答已采纳
2
回答
更改URL字符串
中
的
单个值
、
、
我正在学习网络抓取,我正在example.
webscraping
.com上练习。我可以从一个页面中提取我想要
的
信息,但我想知道如何以最简单
的
方式遍历多个页面。然而,即使创建一个整数并尝试将其作为字符串输入到URL
中
,该url上有一个计数器,以便在每个完整
的
循环周期后更改url,我也没有任何运气。此外,webloop是一个函数,在该函数
中
,我使用for循环从站点提取所有我想要
的
数据。谢谢你到目前为止
的
建议。作为将来
的
参考,如果我想浏览像
浏览 2
提问于2019-11-06
得票数 0
2
回答
将大字符串输出转换为字典
、
、
、
我有一个类似于这样
的
函数,当给出一个url时,它会在who.is上查找域: w = whois.whois(url)因此,只要看一下它,我就能看到布局是用来把它变成字典
的
,但我不知道如何用尽可能有效
的
方式来实现它。我需要删除不想要
的
文本底部,并删除所有的换行符和缩进。单独做并不是很有效率。我希望能够将任何url传递给函数,并有一个可以使用
的
字典。任何帮助都会很感激
的
。但是,我根本不知道如何删除底部
的</
浏览 2
提问于2017-05-10
得票数 0
回答已采纳
5
回答
使用crontab运行selenium (
python
)
、
、
、
我有一个
python
脚本,它使用下一行selenium调用chrome。ff = webdriver.Chrome('/home/user01/
webScraping
/CollectAndGo/chromedriver')
python
脚本是从shell脚本调用
的
。
python
/home/user01/
webScraping
/CollectAndGo/cgcom.py
浏览 8
提问于2014-05-28
得票数 18
回答已采纳
1
回答
从selenium打开后无法从页面源检测json
、
、
在搜索字母'a‘之后,我使用selenium获取“动态内容”,然后将表保存到json文件
中
。Keysdriver=webdriver.Chrome(executable_path="chromedriver")d
浏览 2
提问于2019-01-18
得票数 0
回答已采纳
1
回答
在
python
中
通过Beautifulsoup抓取和下载修改了名称
的
Pdf文件
、
、
、
pentagon-papers" folder_location = r'E:\
webscraping
open(filename, 'wb') as f:然而,我希望文件
的
名称不像文件名,但作为他们
的
描述。例
浏览 10
提问于2021-05-19
得票数 0
回答已采纳
点击加载更多
相关
资讯
浅谈Python中的多线程
Python中的多线程到底是不是鸡肋
Python中http请求方法库汇总
python中Requests的三种参数请求方式
Python 多线程的思考
热门
标签
更多标签
云服务器
对象存储
ICP备案
云点播
实时音视频
活动推荐
运营活动
广告
关闭
领券