1回答
我试着用漂亮的汤把Html抓取出来，但是我很难抓取到想要的数据。我已经写了这个，但在这种方式下，我发现所有的脚本都在Html中。response = s.get(dataObject.url)script = soup.findAll('script') 我需要从这个html中获取'
浏览 13提问于2020-07-02得票数 0
我希望能够以编程方式登录到一个网站，并定期从该网站获得一些信息。什么是最好的工具，可以让这一切尽可能简单？我更喜欢某种类型的Python库，因为我想精通Python，但我对任何建议都持开放态度。
浏览 2提问于2009-05-07得票数 2
1回答
处理URL的速度更快Python
、、、、
我需要从网上抓取各种网址，显示拍卖实时价格数据的HTML。我已经有一个预先组装的URL列表来检查，目前，有一个工作脚本。问题是处理时间不是很长(每个URL大约1.5-2秒)。我将selenium与chrome驱动程序一起使用，并将无头运行作为提高速度的一种选择。最大的问题(也是我为什么使用selenium的原因)是我使用的站点有严格的登录安全性(CSRF令牌和验证码)。启动各种数量的无头铬窗口和加载cookie，这样我就已经登录了，然后开始我的业务web抓取。如果有一种方法可以让我手动登录，并以某种方式<
浏览 0提问于2017-10-30得票数 0
1回答
JSSoup是否支持提取类似于美汤soup.findAll(text=True)的文本 文档没有提供关于这个用例的任何信息，但在我看来应该有一种方法。为了澄清我想要的是从页面上抓取所有可见的文本。
浏览 19提问于2021-11-20得票数 1
回答已采纳
1回答
硒刮脚本成美汤
、、
大家好，下面这个脚本是用于Selenium的，但是对于大量的urls，它非常慢，也不可行，谁能告诉我们如何将它转换成快速的Bs4脚本，“美丽的汤”可以单击“显示”按钮吗？谢谢大家的帮助！
浏览 7提问于2021-10-09得票数 1
回答已采纳
我需要做很多html解析/抓取/search引擎/crawling。
目前有很多库，比如Scrapy，Beautiful Soup，lxml，lxml2 requests，pyquery。
浏览 1提问于2011-06-06得票数 1
回答已采纳
2回答
我正在尝试抓取Flipkart上的这个页面：
我尝试使用类"fk-ui-ccarousel-supercontainer am vreco-section carousel-border-top sameHorizontalReco
浏览 0提问于2016-01-12得票数 1
1回答
用“美汤”抓取新闻文章
、、、、
我使用Django框架进行web开发，使用漂亮的Soup库进行web抓取。这是当前我的Django views.py文件，所有的web抓取都会发生：from(raw_html): Strips any HTML tags within a string.>");
return pattern.sub("",
浏览 0提问于2018-05-31得票数 3
1回答
为了节省EC2成本，我想在AWS上运行一个脚本。但是，这个脚本还需要PhantomJS、oauth2client、PYOpenSSL、selenium，当然还有漂亮的汤来完成它的抓取。是否有可能在AWS Lambda上运行“美丽汤”(通过运行以上所需的附加程序)？
浏览 4提问于2017-08-15得票数 2
回答已采纳
我想从这个页面上抓取营养数据：。但是当我使用浏览器检查页面时，响应的文本与我看到的HTML不匹配。所以我不能用美汤搜索它。
我该如何解决这个问题呢？
浏览 14提问于2018-02-28得票数 0
1回答
我正在尝试抓取路透社文章幻灯片中的所有img链接。我想知道是否有人可以向我解释一下，为什么这个只捕捉到第一张图片，而没有其他图片？
浏览 0提问于2014-04-11得票数 0
2回答
标签和类保持不变，但我需要我的python程序来抓取所有内容，因为我只是输入了我的链接。URL here: ')response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser
浏览 0提问于2016-11-16得票数 9
类似于： body = browser.page_sourcefor link in soup.a: link['href']="" 我刚接触美汤，所以我不确定它的语法。我用的是美汤4
浏览 15提问于2019-06-07得票数 0
回答已采纳
1回答
我正在使用美汤来抓取一些html/xhtml网页，如下所示：soup = BeautifulSoup(response.text)
tables_list
浏览 3提问于2017-07-07得票数 1
回答已采纳
我用的是硒+美汤。 driver.execute_script("$('mark').remove()") html= driver.page_source
soup = BeautifulSoup(html</em
浏览 4提问于2018-08-19得票数 0
我遇到了一个问题，当我试图刮一个网站与python包美丽的汤。不知何故，除了我感兴趣的那部分之外，我从它得到了一切。我正在尝试从这个网站的抓取实时数据。我真的得到了除了实时数据之外的每一个部分，我认为它以某种方式连接到了与数据相同的容器中的脚本块。Firefox和Chrome可以很容易地检查这一部分，但美汤不知何故不了解这一点。
浏览 15提问于2017-12-21得票数 1
1回答
所以我遇到了一个问题，当我向网站发送一个请求，然后使用html.fromstring(site.content)，它抓取了一些页面，但是，有些页面只是打印出来，<Element html at 0x7f6359db3368另外，我还不想使用像美汤或Scapy这样的东西。
浏览 1提问于2016-10-20得票数 1
工具说明其内容类型: text/html;charset=UTF-8我的问题是这是一个很大的文本块，我想要抓取/解析出一段非常具体的文本。我还在代码块中看到了许多pythonic字典和列表。我用的是美汤<&#x
浏览 18提问于2019-07-06得票数 0
回答已采纳
我正在学习美汤，我遇到了一个十字问题。这就是在html中抓取dd标签。看看下面的图片，我想获取红色区域中的参数。问题是我不知道如何访问它们。我已经尝试过了： jedinica_mere = nek_html.find('
浏览 11提问于2019-10-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
