2回答
我正在抓取一些网页的一些特定部分的网页。我使用php，curl和xpath来获取页面的一部分。但是人们建议我应该使用XHTML文档的namespaces才能使XPATHs工作。实际上，我正在使用Tidy将网页转换为XHTML。我真的需要名称空间吗?如果需要，在哪种情况下需要，因为在从wikipedia中抓取内容时，相同的代码without namespaces工作得很好。此外，即使在修改我的php代码以包含namespaces之后，该代码</e
浏览 0提问于2011-05-31得票数 0
回答已采纳
1回答
2.5的网页上“文章发布日期”的格式。我根据一篇文章对代码做了一些修改：，但它不适用于2.5版本。请帮帮我！
浏览 4提问于2012-07-12得票数 1
我基本上是在写一个小的网页抓取代码。最初我使用NodeJS+Request+Cheerio来抓取网站，但后来我意识到Cheerio只适用于静态网页，而不适用于那些使用JS加载DOM对象的网页。我已经设置了这里指定的所有依赖项：代码</em
浏览 1提问于2017-08-08得票数 0
我是新的R，目前正在工作的任务，处理网络抓取。我应该阅读这个网页上的所有句子：library(xml2)url <- 'https://www.cs.columbia.edu/~hgs/audio/harvard.html'sentences <- url %>%
html_nodes("li"
浏览 0提问于2019-11-18得票数 2
我是个初学者，编写一些简单的Python代码来从网页中抓取数据。我已经找到了我想要抓取的html的确切部分，但是它一直返回“None”。它适用于网页的其他部分，但不适用于这一特定部分。我使用BeautifulSoup来解析html，而且由于我可以抓取一些代码，所以我假设我不需要使用Selenium。但我还是找不到如何刮掉一个特定的部分。下面是我编写的Python代码：
import requests
浏览 0提问于2019-04-11得票数 3
1回答
有没有办法获取URL的完整HTML代码？我在网上看到了一些PDF格式的转换，但我想知道我是否可以将其转换为HTML。我可以随心所欲地使用HTML代码，但我想尝试使用URL来做同样的事情。
浏览 3提问于2018-01-24得票数 0
我很难去掉我从某个网页上抓取的文本中所有多余的HTML标签，然而，Python中的str.replace()似乎不适用于<br>和=这样的目标，而<li></li>等其他标签将被成功地替换。这是我的代码。
浏览 2提问于2017-04-14得票数 0
1回答
我试图在一定的时间范围内从一个网页上抓取推文。为此，我使用这个链接，它只在我指定的时间范围内搜索：
import pandas as pdimport urllib.request
url = 'https://twitter.com/search?，上面的代码可以正常工作。出于这个原因，我不明白为什么它不适用于</e
浏览 20提问于2018-08-25得票数 0
回答已采纳
我正在构建一个web应用程序，它处理网页中的文本，添加到某些实体的链接，然后重新显示页面，但添加了一些链接。我的服务器端代码是用Perl和Python编写的，我目前正在使用HTML::Parser从页面中提取文本。我可以清理标记、提取和处理文本，但我希望完全显示原始页面，只向以前未链接的文本添加一些链接。任何帮助都将不胜感激。
浏览 1提问于2012-04-13得票数 0
回答已采纳
1回答
我正在尝试从Kickstarter项目网页上抓取一个项目的正文。我有以下代码，这对第一个URL有效，但不适用于第二个和第三个URL。我想知道是否有一个简单的修复我的代码，而不需要使用其他包？url = "https://www.kickstarter.com/projects/1365297844/kuhkubus-3d-escher-figures?ref=discover
浏览 6提问于2020-06-12得票数 1
回答已采纳
我环顾四周，只找到了将URL呈现为HTML的解决方案。然而，我需要一种方法，能够呈现一个网页(我已经有，并有JavaScript)到适当的超文本标记语言。想要:网页(带JavaScript) -> HTML我不知道如何让其他代码按照我想要的方式工作。这是我用来呈现URL的代码：
为了清楚起见，上面的代码获取了一个网页的URL，该<e
浏览 2提问于2015-04-02得票数 7
回答已采纳
我一直在网上搜索网页抓取使用python，我已经找到了beautifulSoup和许多其他刮取工具，如刮除，刮刀等。我看或读的大多数教程都是一样的.好吧，我想做的是：所有教程的代码如下所示：url =
浏览 2提问于2017-05-03得票数 0
回答已采纳
1回答
我一直在评估网络抓取的科学。我使用的框架是Python/Scrapy。我相信可能还有更多。我的问题更多地围绕着基础知识。假设我必须抓取新闻内容。因此，我抓取一个页面，然后编写选择器来提取内容、图像、作者、发布日期、子描述、评论等。
问题是，我如何优化它，使其可扩展到大量数据源。例如，可能有数千个新闻站点，每个站点都有自己的html/页面结构，因此我不可避免地需要为每个站点编写一个抓取逻辑。虽然这是可能的，但这将需要一个庞大的资源团队，花费大量的时间来创建和更新这些爬虫/抓取器
浏览 2提问于2014-09-19得票数 2
2回答
我以前用Watir成功地抓取过网页，但是我在抓取这个特定的网页时遇到了麻烦。
当我在常规浏览器上访问页面时，我可以看到页面每次都会重新加载两到三次，我想这就是问题的根源。我已经成功地在其他网页上使用了上面的代码作为测试，但它似乎不适用于克罗格网站。我不知道该怎么解决。
浏览 0提问于2017-09-10得票数 0
我在试着从上抓取视频。我可以使用Chrome DevTools找到视频链接。但当我使用BeautifulSoup获取视频链接时。链接处于隐藏状态。请帮助修改以下代码以获取视频链接。import refrom bs4 import BeautifulSoup as BS
url_video='http://s.weibo.com/video23&xsort=hot&hasvideo=1&
浏览 30提问于2019-07-17得票数 0
回答已采纳
我在将rvest/XML包加载到R时遇到了困难，并且无法处理代码。head(forbs)它显示的错误就像
forbs1 1<-html_text(“#list_table”)在UseMethod("xml_text")中的错误:不适用于类
浏览 2提问于2019-04-05得票数 1
我将从大量的ULR中抓取HTML代码，并将它们存储在我的计算机上，用于机器学习(基本上，我将使用Python和PyTorch对这些数据进行神经网络训练)。为所有网页存储HTML代码的最佳方法是什么？我希望能够看到我已经刮过的URL，这样我就不必再刮它们了，对于每一段HTML代码(1段HTML代码=从一个URL中提取的所有HTML代码)，我还可能希望看到它来自哪个URL(但可能这是不必要的要求)。我还
浏览 0提问于2020-09-06得票数 0
我需要从网页上使用Python和BeautifulSoup从下面的代码中抓取文本'64%‘，请帮助。
浏览 24提问于2017-07-03得票数 0
我使用下面的代码来打印ASPX网页，它正在工作。但样式表不适用于此template.please，请帮助我将样式应用于打印页。
浏览 4提问于2012-12-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
