1回答
好的，我正在为我的大学编程课程做一个自我指导的学期项目。我的计划是从的不同部分抓取数据等，将它们保存在数据库中，然后使用discord机器人从该数据库中提取数据。然而，我遇到了网站本身的问题。。正如你所看到的，使用重复的div和body标签导航是相当复杂和困难的，而且我非常确定它是动态创建的。我的</e
浏览 6提问于2020-03-16得票数 1
回答已采纳
1回答
我刚刚开始从网络抓取，不幸的是，我面临一个展示:我想要拉一些财务数据，但它似乎是相当复杂的网站(动态内容等)。
到目前为止，我已经用了美汤来完成这件事。但是，我甚至找不到桌子。
浏览 0提问于2018-06-18得票数 0
回答已采纳
(或者我必须使用美汤？)
我已经开始使用美汤了，但它似乎很慢。我刚刚开始使用“屏幕抓取”其他网站的数据来创建某种“混搭”的想法。
浏览 1提问于2009-12-13得票数 11
回答已采纳
1回答
我现在开始用漂亮的汤来抓取网站，我想我已经掌握了基本的知识，虽然我缺乏网页的理论知识，但我会尽我最大的努力来表达我的问题。我所说的动态网页是这样的:一个网站，它的HTML会根据用户的动作而改变，在我的例子中，它是可折叠的表格。我想获得一些"div“标签中的数据，但是当你加载页面时，数据</em
浏览 1提问于2016-11-22得票数 4
2回答
我是Python的新手，所以很抱歉这是一个新手问题。我想知道这个论坛上有没有人有使用python3进行网络抓取的好选择。谢谢，威尔
浏览 1提问于2011-08-11得票数 5
我想从这个页面上抓取营养数据：。但是当我使用浏览器检查页面时，响应的文本与我看到的HTML不匹配。所以我不能用美汤搜索它。
我该如何解决这个问题呢
浏览 14提问于2018-02-28得票数 0
1回答
我需要学习高级python编程技能才能使用python进行web抓取吗？或者，我应该看一些关于网络抓取的教程，同时学习使用python。我对python没有任何经验，因为我是Laravel开发人员，这是我第一次在web抓取中做这样的工作。
浏览 0提问于2019-11-04得票数 -1
我需要做很多html解析/抓取/search引擎/crawling。可以在lxml中进行索引吗？
浏览 1提问于2011-06-06得票数 1
回答已采纳
我试图从whoscored.com抓取足球数据，该网站有一个面向网络的安全封装体，它不让我抓取。最初，我试图提供user_agent，并更改了标题，然后它就起作用了，但这只适用于第一页。由于我需要爬行网站的其他部分，它一直阻止我请求网站。由于阻塞时间一直在增加，它现在变得越来越疲惫。我需要用于研究的数据。我已经看过了所有关于这个话题的老问题。但这无济于事。
工具。a
浏览 3提问于2019-03-29得票数 0
我在寻找一些真正的帮助。我想要使用Python进行web抓取，我需要它，因为我想导入一些数据库，我们如何在Python中做到这一点。我们需要什么样的库？
浏览 2提问于2016-02-11得票数 0
2回答
美汤动态内容的网络抓取
、、、
为了训练我的python技能，我试图从"Arbeitsagentur“()的网络存在中取消特定给定任务的空缺作业数量。geckodriver/geckodriver.exe", options=options)soup = BeautifulSoup(driver.page_source, 'html.parser，但它不包括被查询的信息。计算和插入的。因为我不是一个web开发人员，所以我
浏览 9提问于2022-05-31得票数 1
回答已采纳
1回答
处理URL的速度更快Python
、、、、
我需要从网上抓取各种网址，显示拍卖实时价格数据的HTML。我已经有一个预先组装的URL列表来检查，目前，有一个工作脚本。问题是处理时间不是很长(每个URL大约1.5-2秒)。我将selenium与chrome驱动程序一起使用，并将无头运行作为提高速度的一种选择。最大的问题(也是我为什么使用selenium的原因)是我使用的站点有严格的登录安全性(CSRF令牌和验证码)。我不想尝试和寻找周围的登录。相
浏览 0提问于2017-10-30得票数 0
1回答
我正在使用美汤来抓取一些html/xhtml网页，如下所示：soup = BeautifulSoup(response.text)但是，我的输出显示了几个我想要过滤掉的特殊字符(例如)。我想我遗漏了一些关于解码的东西。
你能告诉我这里可能遗漏了什么吗？谢谢。
浏览 3提问于2017-07-07得票数 1
回答已采纳
在使用美汤之前，我已经通过一个html请求进行了网络抓取。 但是现在我不想要维基百科的数据，我想要的是用户修改后的数据。例如，特斯拉网站有这个功能https://www.tesla.com/en_gb/models/design#battery，在那里你可以个性化你的车。用python/c#编写一个脚本，它可以从我当前打开的</em
浏览 10提问于2020-03-25得票数 0
回答已采纳
1回答
所以我遇到了一个问题，当我向网站发送一个请求，然后使用html.fromstring(site.content)，它抓取了一些页面，但是，有些页面只是打印出来，<Element html at 0x7f6359db3368另外，我还不想使用像美汤或Scapy这样的东西。
浏览 1提问于2016-10-20得票数 1
什么是最好的工具，可以让这一切尽可能简单？我更喜欢某种类型的Python库，因为我想精通Python，但我对任何建议都持开放态度。
浏览 2提问于2009-05-07得票数 2
1回答
我刚接触美汤模块，我有一个问题。我的代码很简单。最重要的是，我试图从上抓取的网站，我正在试图抓取价格。(大数字二(2)和更多)import urllib
page = urllib.request.urlo
浏览 69提问于2018-06-03得票数 1
回答已采纳
我遇到了一个问题，当我试图刮一个网站与python包美丽的汤。不知何故，除了我感兴趣的那部分之外，我从它得到了一切。我正在尝试从这个网站的抓取实时数据。我真的得到了除了实时数据之外的每一个部分，我认为它以某种方式连接到了与数据相同的容器中的脚本块。Firefox和Chrome可以很容易地检查这一部分，但美汤不知何故不了解这一点。感谢您的每一条建议
浏览 15提问于2017-12-21得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
