我如何编写一个机械化的抓取器来从网页上的每个HTML标签中获取内容？或者，我是否需要将页面转换为字符串并使用正则表达式来获取\<.*?\>和\<\/.*?\>之间的所有内容
浏览 1提问于2015-07-07得票数 0
1回答
我正在使用Apache NUTCH 2.2.1爬行网站，它为我提供了在SOLR上索引的内容。当NUTCH获取内容时，有上下文信息，如“联系我们”，“法律声明”或其他一些不相关的信息(通常来自上部菜单，左侧菜单或页面页脚)，我不需要索引。其中一个解决方案是自动选择内容中最相关的部分进行索引，这可以由自动摘要生成器来完成。有一个名为"summary-basic“的插件，它是用来做这个的吗？如果是这样，它是如何配置的？
浏览 1提问于2014-11-20得票数 0
2回答
目前，我正在做网页抓取使用正则表达式。但是我认为有时候弄清楚正则表达式太难了，所以我在想，XSL/XPath是C#中正则表达式的替代方案吗？另外，我想知道除了上面列出的两种技术之外，是否还有更先进的网页抓取技术。谢谢。
浏览 0提问于2011-02-17得票数 4
回答已采纳
1回答
考虑这个链接：https://www.reddit.com/r/todayilearned/comments/6x6iz8/til_princess_diana_on_live_tv_shook_the_hand_of/?ref=share&ref_source=linkhttp://www.bbc.com/news/av/magazine-39490507/how-princess-diana-changed-attitudes-to-aids
浏览 0提问于2017-09-01得票数 1
1回答
抓取oddsportal信息
、、、、
我使用的是Python3.5，实际上我关注的是使用BeautifulSoup/lxml/Selenium/PhantomJS进行3.5抓取
我只是想用Python代码抓取我需要的所有数据。我可以很容易地用BeautifulSoup从静态HTML中抓取信息。我最近也发现了如何从动态url中获取信息，使用Chrome的网络选项卡，并在XHR选项下查看出现的HTTPrequest。它通常会给我从JS生成的html代码，在这种情况下，我可以继续使用正则表达式，用BS4抓取</
浏览 2提问于2016-01-14得票数 1
0回答
我使用urllib来抓取网页查询结果的内容(示例= )。但是，我需要一个正则表达式来查找以£为单位的价格。我没有尝试过太多(因为我不是很擅长正则表达式)。另外，urllib会检索JS和HTML吗？我知道我需要的一些信息包含在JS中。任何帮助都将不胜感激。
浏览 9提问于2017-12-12得票数 0
由于Heritrix 3.x的开发人员文档大部分已经过时(其中大部分与Heritrix 1.x有关，因为大多数类都已更改或代码已被显着重写/重构)，有人能告诉我系统中处理实际网页内容提取的相关类(或类)我想要做的是获取Heritrix将要抓取的网页的内容，然后将分类器应用于该网页的内容？(分析结构特征等)我认为这个功能可能分布在ContentExtractor类和它的许多子类中，但我要做的是定位网页内容的完整位置或可读&#x
浏览 8提问于2013-07-19得票数 0
2回答
我希望从网页urls获得结构化文章数据。到目前为止，我已经找到了这两个服务和。有没有更好的替代方案，或者自己写代码来做这件事值得吗？
浏览 2提问于2014-10-07得票数 0
我想要的正则表达式代码只抓取.com域，没有任何子文件夹或.com之后的任何东西。
例如:在包含urls列表的网页上，我想抓取和，但不想抓取或
浏览 5提问于2013-01-25得票数 0
2回答
我正在尝试删除4k+网页上的一些垃圾js代码。网页上还有其他的js，所以我只需要用一个名为clickIE的特殊函数去掉JS。在我引入正则表达式之前，我一直使用这个线性函数...我的正则表达式在测
浏览 4提问于2011-12-18得票数 0
回答已采纳
4回答
抓取网页内容
、、、、
我正在开发一个项目，我想在后台抓取一个网站的内容，并从那个抓取的网站获得一些有限的内容。例如，在我的页面中，我有"userid“和"password”字段，通过它们，我可以访问我的邮件，抓取我的收件箱内容，并将其显示在我的页面中。
我通过单独使用javascript完成了上面的工作。
浏览 0提问于2009-02-25得票数 19
1回答
我需要抓取一个网站，然而，它的内容是动态的。Python中有没有可以调用js函数的包？例如，假设我在JS中有一个链接和JS函数1、2和3，我应该在该网页上调用，并且在所有JS函数调用之后我需要最终的网页。
浏览 16提问于2019-02-12得票数 0
我正在尝试使用yql抓取网页。我认为将其输出为json会将所有内容作为一个对象。但是，如果有任何像< strong >这样的html标记，则该文本不会包含在"content“中。或者我应该把它作为xml来获取，然后正则表达式出标签？
浏览 2提问于2011-02-12得票数 0
我对正则表达式还不熟悉，只是还没有掌握它的诀窍。所以我需要抓住中间的任何东西如果我有$data，这是生成的$result，我如何将其放入正则表达式并回显作为
浏览 6提问于2012-04-23得票数 0
3回答
我在java中有一个正则表达式，可以从我抓取的网页中提取特定的urls。这些urls基本上是javascript和样式表，它们包含在页面中。我选择使用正则表达式来提取这些内容，而不是解析文档，因为这应该更容易，而且解析文档对我没有任何附加价值。为了获得有效的urls (绝对或相对)，我使用以下正则表达式：它提取'"，(和url结尾之间的任何内容，在本例中为'/
浏览 2提问于2017-01-20得票数 1
1回答
我想刮一个网站的一部分，让我们说: www.mywebsite.com/x1/x2您需要先打开x1，然后单击按钮，x2将作为弹出窗口打开。如果关闭x1，则无法访问x2。该网站支持JavaScript。
浏览 3提问于2015-07-20得票数 0
我正在使用Node.js和Puppeteer构建一个刮板机。在本例中，Puppeteer获取页面的主要内容，将其保存为字符串，Rss Parser将其转换为RSS提要，创建一个XML文件，该文件保存为包含抓取的内容的物理文件。问题是，如果抓取的内容包含像Adsense代码这样的脚本元素，它也会被抓取。我需要一个简单的正则表达式，将删除任何脚本元素，以及它的所有属性和之间的所有内容。我不能使用jQuery，因为这是一个不包含jQuery
浏览 1提问于2021-03-20得票数 1
1回答
网页由CGI程序生成。大多数网页的URL都包含诸如?id=2323&title=foo之类的表达式。然而，我面临的一个问题是，这个网站有一个日历。也会生成一些类似日期的网页。这意味着纳奇将试图抓取一些无害的网页，如year=2030&month=12。如何在Nutch中避免这样的陷阱？编写很多正则表达式？
浏览 1提问于2012-01-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
