2回答
我试图为爬虫创建一个通用的regex模式，以避免所谓的“爬虫陷阱”(只添加url参数并引用相同页面的链接，这会导致大量无用的数据)。很多时候，这些链接只是一次又一次地将相同的部分添加到URL中。下面是一个日志文件的示例：
http://examplepage.com/cssms/chrome/cssms/chrome/cssms/pages/browse/cssms/pages/misc/...
我可以使用正则表达式缩小爬虫的范围，并且我希望有一个模式，它告诉爬虫忽略所有有重复部分的内容。用正则表达式可以吗？谢谢你提前给我一些提示！
我只想澄清：
爬虫陷阱的设计并不是为了防止爬行，而是由于网页
浏览 4提问于2015-09-28得票数 1
回答已采纳
1回答
我有一个网络爬虫，我试图从DateTime中删除时钟时间。例如，从爬虫我得到“2019年1月29日09:46:46"，如何删除或替换"9:46:46”，使只有“2019年1月29日”离开。
我试着写了这段代码，但没有结果。我使用".replace(time，‘')“来删除小时、分钟和秒。但是它看起来像是删除了所有的DateTime。
date_time = record.find('i ') .replace(time，‘’)
从date_time中，我根据我爬到的网站上的日期得到日期。但我希望只知道日期、月份和年份，而不需要时间、时间和时间。
浏览 1提问于2019-08-05得票数 0
回答已采纳
我对python有一定的中级水平。如果我必须用python编写一个网络爬虫，我应该遵循什么以及从哪里开始。有什么特别的tut吗？任何建议都会很有帮助。谢谢
浏览 3提问于2010-07-29得票数 6
1回答
预期字符串或缓冲区
、、、
我正在编写一个爬虫，它将爬行信息保存在变量i中，所以我这样做了：
my_string = i
match = re.search("\<!-- populate table from mysql database -->(.*?)\</tbody>" , my_string).group(1)
print match
得到了这个错误：
TypeError:预期的字符串或缓冲区
有人能就这里的问题给我提些建议吗？
浏览 4提问于2016-05-10得票数 0
回答已采纳
我是刮一个网站，但我得到转义序列字符与输出。这些字符如下：
\r \n \t \xa
我尝试了.split()方法，但是这个方法的问题是当scrapy爬虫找不到一个值时，它不会刮掉任何值并移动到下一个迭代。
绕开这些角色的最好方法是什么？
以下为产出：
浏览 4提问于2020-08-08得票数 0
3回答
对于显示文件树的URL，例如，是否有一个小型的实体模块来遍历URL树并像ls -lR一样列出它
我猜测(纠正我的错误)，文件属性、链接类型、大小、日期没有标准编码……在html <A属性中
因此，在流动的沙子上构建一个可靠的URLtree模块是困难的。
但是这个轮子(Unix file tree -> html -> treewalk API -> ls -lR or find)肯定已经完成了吗？
(似乎有几个爬虫/网络爬虫/抓取器，但到目前为止它们看起来很丑陋和特别，尽管BeautifulSoup用于解析)。
浏览 2提问于2009-03-26得票数 3
2回答
我想用C#创建一个爬虫。问题是，一些网站在其robots.txt文件中禁用了黑名单爬虫，使用：
User-agent: *
Disallow: /
有什么办法可以伪造我的请求来证明我是Googlebot吗？
浏览 3提问于2012-04-09得票数 0
回答已采纳
下面是我的代码：
a='<title>aaa</title><title>aaa2</title><title>aaa3</title>'
import re
re.findall(r'<(title)>(.*)<(/title)>', a)
结果是：
[('title', 'aaa</title><title>aaa2</title><title>aaa3', '/title&#
浏览 0提问于2013-07-21得票数 8
我试图使用爬虫来获取ieee论文关键字，但现在我得到一个错误，如何才能修复我的爬虫？我的代码在这里 import requests
import json
from bs4 import BeautifulSoup
ieee_content = requests.get("http://ieeexplore.ieee.org/document/8465981", timeout=180)
soup = BeautifulSoup(ieee_content.text, 'xml')
tag = soup.find_all('script')
fo
浏览 18提问于2019-02-19得票数 1
回答已采纳
2回答
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。我希望将我想要查询的URL (或查询参数并让crawler构建URL)传递给crawler，crawler将进行URL调用，并将提取的项返回给我。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。
我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取一个URL时，都必须派生和拆卸一个新的进程，因
浏览 0提问于2013-05-23得票数 2
我有一个域domain.com，当没有子域时，它通过.htaccess重写到subdomain.domain.com/Home/Index。
当然，这不是服务器文件系统中的文件，而是路由。该页面是用Zend2构建的。
由于这种转发，爬虫是否可能找不到位于public/robots.txt或ubdomain.domain.com/robots.txt‘中的 robots.txt？
爬虫究竟是如何工作来获取robots.txt的？
浏览 4提问于2015-05-18得票数 0
我有一个drupal front_page，它可以编辑从博客到头版的所有匿名用户。但我希望facebook上的clawler能看到我的og: data，发布带有当前标题的评论。脸书爬虫获得了302的正面，并采取标题从头版。
我怎样才能(也许)做一个白名单给facebook爬虫获取og:来自受限区域的数据？
浏览 0提问于2012-08-12得票数 0
回答已采纳
我正在尝试用Python构建一个基本的网站爬虫。但是，我从这个网站收集到的代码是用于python2.7的。我想知道如何为python 3或更高版本编写代码。我已经开始尝试转换它，但是我不断地遇到错误。
import re
import urllib
textfile = open('depth_1.txt', 'wt')
print("Enter the URL you wish to crawl..")
print('Usage - "http://phocks.org/stumble/creepy/" <--
浏览 3提问于2016-09-24得票数 1
我正在做一个重点突出的爬虫，面对一个问题，同时在文档中找到一个关键短语。
假设我想在文档中搜索的关键短语是“新事物”
将BeautifulSoup与python结合使用，我执行以下操作
if soup.find_all(text = re.compile("Something new",re.IGNORECASE)):
print true
我希望它只在下列情况下打印true
“新事物”-->真的
"$#something新“
以下情况则不适用：
"thisSomething新闻“->假
“新事物”-->虚假
假设允许使用特殊字符。
浏览 1提问于2014-09-26得票数 2
回答已采纳
我在一个简单的函数中使用BeautifulSoup来提取全部为大写文本的链接：
def findAllCapsUrls(page_contents):
""" given HTML, returns a list of URLs that have ALL CAPS text
"""
soup = BeautifulSoup.BeautifulSoup(page_contents)
all_urls = node_with_links.findAll(name='a')
# if the
浏览 2提问于2010-11-04得票数 0
回答已采纳
我必须抓取5-6个域名。我想写一个爬虫，这样离线请求如果包含一些子字符串的例子设置为aaa，bbb，ccc，如果离线url包含来自上面设置的子字符串，那么它应该被处理，而不是过滤掉。我应该编写一个自定义中间件，或者我可以只在允许的域中使用正则表达式。
浏览 11提问于2016-08-23得票数 0
回答已采纳
我正在使用scrapy编写小爬虫。其中一个XPath包含价格后跟"zł“(波兰货币标记)，问题是它被换行符、空格和不间断空格混淆了。所以当我这样做的时候：
sel.xpath("div/div/span/span/text()[normalize-space(.)]").extract()
我得到了：
[u'\n 1\xa0740,00 z\u0142\n \n \n ']
我想改成
[u'1740,00']
或者简单地转换为浮点变量。最好/最
浏览 1提问于2015-12-21得票数 2
我想从用户代理字符串中提取带有其版本的僵尸名称。我试过用分裂函数。但是，由于显示用户代理字符串的方式因一种爬虫而异，那么获得预期输出的最佳方法是什么？(请考虑一下，我需要一个通用的解决方案)
输入(用户代理字符串)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)
msnbot/2.0b (+http://search.msn.com/msnbot.htm)
预期产出
浏览 0提问于2013-09-03得票数 1
回答已采纳
我一直在玩龙卷风，扭曲，gevent，get，以便在获取50k urls的过程中获得最好的性能。
我想要创建的过程：
将所有urls解析为一组(避免重复)
对于每个url:检查白名单redis db (包含数百万url )中的url是否存在
使用gevent/其他异步库下载urls
将获取的内容插入队列中。
并行:侦听带有线程的队列
使用线程处理(密集regex)队列项
将输出保存到MySQL DB中
对于每个url更新，白名单redis db
我每天要处理数百万个urls，我开始实现它，但遇到了一些问题；
首先，用我从异步爬行器获得的结果填充队列会消耗
浏览 2提问于2015-03-29得票数 0
我需要在抓取网站时更新抓取规则中的拒绝列表。(例如，我想在爬虫工作时动态修改拒绝规则列表)
我尝试的是
deny = ['a','b','c']
rules = ( Rule(LinkExtractor(allow=('/r/','/p/' ), deny=deny), callback='parse_item', follow=True), )
如果有任何建议，我将不胜感激。谢谢
浏览 0提问于2017-12-09得票数 0
3回答
以编程方式下载页源中未显示的文本
、、、、
我在用Python写爬虫。给定一个网页，我以以下方式提取它的Html内容：
import urllib2
response = urllib2.urlopen('http://www.example.com/')
html = response.read()
但是一些文本组件不显示在Html页面源中，例如在中(重定向到索引中，请访问其中一个日期并查看特定的邮件)如果您查看页面源，您将看到邮件文本没有出现在源中，而是似乎是由JS加载的。
如何以编程方式下载此文本？
浏览 0提问于2015-02-18得票数 1
回答已采纳
我需要从这里删除：产品/和/i之间的一切，并保持使用regex，或c#。这些是爬虫应用程序中的选项。请帮帮忙。
浏览 2提问于2013-10-25得票数 1
回答已采纳
如何选择位于具有特定子标签的标签之后的p标签？使用网络爬虫。
$crawler->filter('h2 span#hello + p')->each(function ($node) {
var_dump($node->html());
});
示例：
<h2><span id="hello">Hi</span></h2>
<p>I want this p-tag, that is after the h2 above</p>
<p>me too!&l
浏览 1提问于2015-09-29得票数 0
我有一个变量sentences包含： 1996年3月，佩奇的网络爬虫开始探索网络，佩奇自己的斯坦福主页是唯一的起点。为了将它为给定网页收集的反向链接数据转换为重要性的度量，布林和佩奇开发了PageRank算法。在分析BackRub的输出时，对于给定的网址，由按重要性排序的反向链接列表组成。两人意识到，基于PageRank的搜索引擎将产生比现有技术更好的结果(当时现有的搜索引擎基本上是根据搜索项在页面上出现的次数对结果进行排序)。 然后，我在Django HTML中使用truncatewords来缩短句子的视图。 {{ sentences|truncatewords:30 }} 因此，结果显示
浏览 36提问于2019-03-08得票数 3
回答已采纳
我必须用Python写一个网络爬虫。我不知道如何解析页面并从HTML中提取URL。我应该去哪里学习来编写这样的程序呢？
换句话说，有没有一个简单的python程序可以作为通用网络爬虫的模板？理想情况下，它应该使用相对简单的模块，并且应该包括大量的注释来描述每一行代码所做的事情。
浏览 2提问于2013-03-20得票数 17
1回答
我正在尝试编写一个爬虫，只处理一个网站的内部链接。我正在使用python 2.7，漂亮的汤和请求，我需要所有的内部链接(绝对和相关)。 我的客户要求我为一个网站爬虫，但我希望它只抓取内部链接。我需要它忽略jpg/png/gif和其他类型的urls，所以它只处理页面。 import re, request
from bs4 import BeautifulSoup
def processUrl(url):
if not url in checkedUrls:
try:
if 'text/html' in requests.hea
浏览 18提问于2019-01-11得票数 0
我正在使用Python3.5和re模块开发一个刮板/网络爬虫，其中一个函数需要检索YouTube通道的URL。我使用包含正则表达式匹配的以下部分代码来完成这一任务：
href = re.compile("(/user/|/channel/)(.+)")
应该返回的是类似于/user/username或/channel/channelname的内容。它在很大程度上成功地做到了这一点，但它不时地获取一种类型的URL，其中包含更多的信息，比如/user/username/videos?view=60或其他在username/部分之后出现的信息。
为了解决这个问题，我将上面的代码重写为
浏览 1提问于2016-11-20得票数 2
回答已采纳
我正在工作的网络爬虫应用程序下载股票价格每十分钟。我能够提取引用，但我不确定如何安排它在一整天每十分钟运行一次。请给我建议要么是时间循环的东西，要么是网络爬虫应用程序本身的解决方案。
我需要一个在Windows上工作的解决方案。
浏览 1提问于2015-03-05得票数 2
我运行了一个数据爬虫程序(BeautifulSoup)，它返回分配给变量priceLast的以下字符串
<td>
200,90<br/>
196,90 </td>
<td>
20,90<br/>
16,90 </td>
<td>
2,90<br/>
1,90 </td>
空格随时间变化，因此我想将<td>XXXX<b
浏览 89提问于2020-05-16得票数 0
回答已采纳
我正在构建一个小应用程序，当我共享页面时，抓取HTML的爬虫不会评估JavaScript(这很有意义)。因此，我想做的是使用某种服务器端的用户代理检测，在社交媒体爬虫到达时进行检测，然后不再向它显示普通的AngularJS模板文件，而是将其重定向到一个服务器生成的页面，该页面将包含所需的元标记，所有这些都填充了正确的信息。我知道有prerender.io可以做到这一点，但是是否有一种简单的方法可以使用NodeJS/ExpressJS来实现呢？
浏览 0提问于2017-10-05得票数 0
回答已采纳
我正在使用抓取抓取超过10万页的网站。在这种情况下，速度是最大的问题。今天我注意到hxs.select('//*').re('something')比hxs.select('//script/text()').re('something')慢得多。有没有专家能给我解释一下原因？
据我所知，不管我使用什么xpath选择器，爬虫都应该下载整个页面。因此，xpath应该不会对速度产生太大影响。
非常感谢你的建议。
浏览 1提问于2012-04-19得票数 0
1回答
在列表之间提取Web爬虫
、、、、
我在用python写一个网络爬虫。我希望获得<li> </li>标记之间的所有内容，.For示例：
<li>January 13, 1991: At least 40 people <a href ="......."> </a> </li>
所以在这里我想：
(a.)提取日期并将其转换为dd/mm/yyyy格式。
(B)前面的数字。
soup = BeautifulSoup(page1)
h2 =soup.find_all("li")
count = 0
while count <
浏览 2提问于2015-01-07得票数 1
回答已采纳
我正在尝试用Scrapy (scrapy.org)创建简单的爬虫。例如，允许使用item.php。我如何编写规则，允许以http://example.com/category/开头的url，但在GET参数中，page应该与其他参数一起使用任意数量的数字。这些参数的顺序是随机的。请帮助我怎样才能写出这样的规则？
很少有有效值是：
以下是守则：
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkEx
浏览 6提问于2014-12-06得票数 4
回答已采纳
我正在做一个爬虫来获取里面的文本html，我用的是漂亮的汤。
当我使用urllib2打开url时，这个库会自动转换使用葡萄牙语重音的html，比如用另一个字符"a³a“a§”
我想要的只是得到没有重音的单词
contrã.rio -> contrario
我试着使用这个算法，但是当文本使用像这样的单词时，这个算法才起作用。
def strip_accents(s):
return ''.join((c for c in unicodedata.normalize('NFD', s) if unicodedata.category(
浏览 0提问于2011-08-30得票数 5
回答已采纳
环顾四周，似乎如果你通过Scrapy登录到一个网站，如果你试图在爬虫中使用Selenium，认证的登录会话不会转移。有没有办法把这个会话转移到Selenium上？或者我必须用Selenium重新登录网站吗？
谢谢!
浏览 1提问于2016-07-15得票数 3
我正在编写一个爬虫来获取html文件的某些部分。但我不知道如何使用re.findall()。
举个例子，当我想找到所有..。在文件中，我可以这样写：
re.findall("<div>.*\</div>", result_page)
如果result_page是字符串"<div> </div> <div> </div>"，则结果将是
['<div> </div> <div> </div>']
只有整根绳子。这不是我想要的，我期待
浏览 10提问于2015-04-26得票数 5
我最近开始学习网络爬虫，我用Ruby、和构建了一个样本爬虫来存储。我在一个可能有数十亿个链接的大型公共网站上测试这个爬虫。
crawler.rb正在索引正确的信息，尽管当我在activity monitor中检查内存使用情况时，它显示内存在不断增长。我只运行了大约6-7个小时的爬虫，内存显示mongod为1.38 is，Ruby进程为1.37 is。它似乎每小时增长100MB左右。
似乎我可能有一个内存泄漏？他们是不是一个更好的方式，我可以实现相同的抓取，而不会升级到失控的内存，以便它可以运行更长时间？
# Sample web_crawler.rb with Anemone, Mongodb
浏览 0提问于2012-02-22得票数 7
回答已采纳
我想用Python删除一个段落中包含单词"…Read more"的句子。将内容转换为
'AAA. BBB. CCC. DDD …Read more'
简单地
'AAA. BBB. CCC.'
只需去掉未完成的句子，以"…Read more"结尾。这个过程是为了爬虫结果清洗的目的，如你所知。
我已经尝试了下面的代码
paragraph=re.sub('[.] .*?…Read more$','',paragraph)
我现在得到的结果只是'AAA'。我想把内容保留到最后一个未完成的句子
浏览 0提问于2019-08-17得票数 1
回答已采纳
在我的爬虫系统中，我将获取间隔设置为30天。我最初将我的用户代理设置为“...”那么许多urls就会被拒绝。但是在将我的用户代理更改为适当的名称后，我想获取那些最初被拒绝的urls。但问题是，那些具有db_gone状态的urls将具有45天的重试间隔。所以生成器在这种情况下不会选择that.Hence，我该如何获取那些具有db_gone状态的urls呢？
默认情况下，nutch是否有任何选项来单独抓取这些db_gone urls？
或者，我是否需要编写一个单独的map-reduce程序来收集这些urls并使用freegen为它们生成片段？
浏览 0提问于2011-07-08得票数 1
我是Python的新手，所以如果有任何帮助，我将不胜感激。我有个网络爬虫，用的是美汤。它可以工作，但对于下面的代码，它会返回错误'None type object has no attribute‘。我知道这意味着它遇到了一个没有条目的页面。如何停止此错误并使其返回包含条目的所有其他页面。web crawler中的某些页面具有该条目，而某些页面为空。
bbb = re.compile('First listed')
next_s = soup.find(text=bbb).parent.parent.get_text(strip=True)
谢谢
浏览 2提问于2017-06-18得票数 0
我是新刮和想要建立一个简单的网络爬虫。不幸的是，如果我使用的是allowed_domain，当域使用相对路径时，刮除会过滤掉所有的子页面。怎么解决这个问题呢？
class ExampleSpider(CrawlSpider):
name = "example_crawler"
allowed_domains = ["www.example.com"]
start_urls = ["https://www.example.com"]
rules = (
Rule(LinkExtractor(),
浏览 0提问于2018-08-05得票数 0
回答已采纳
1回答
我正在寻找一个屏幕爬虫的建议，我需要从某些网站提取“联系我们”的信息。
有什么想法可以让我得到一个好的(更喜欢免费的) screenscarper？
浏览 1提问于2010-01-17得票数 3
回答已采纳
2回答
我正在尝试建立一个快速的网络爬虫，因此，我需要一个有效的方法来定位页面上的所有链接。像lxml这样的快速XML/HTML解析器与使用正则表达式匹配的解析器之间的性能比较如何？
浏览 1提问于2013-06-05得票数 1
2回答
我有一个复合的c1网站。我喜欢使用Microsoft Search Server功能。我已经安装了所有的软件，但当我搜索时，我会得到每一页的结果，因为导航菜单在每一页上都有索引。当我使用导航菜单上的class="noindex“选项时，菜单中使用的链接后面没有爬虫。
谁能告诉我如何才能排除内容，但确保爬虫仍然遵循内容中使用的链接？
浏览 10提问于2011-11-29得票数 1
回答已采纳
1回答
我在python中为非常简单的网络爬虫编写了下面的程序，但是当我运行它时，它会返回'NoneType‘对象是不可调用的，您能帮我吗？
import BeautifulSoup
import urllib2
def union(p,q):
for e in q:
if e not in p:
p.append(e)
def crawler(SeedUrl):
tocrawl=[SeedUrl]
crawled=[]
while tocrawl:
page=tocrawl.pop()
浏览 2提问于2012-12-01得票数 1
我在我的网站上有一个脚本(年龄检查cookie脚本)
<script>
if(!$.cookie("date") && [*id*] != 1) {
window.location="/[~1~]";
}
</script>
自从10januari以来，谷歌从谷歌索引(site:mysite.com)中删除了带有脚本的页面
我需要从脚本中排除爬虫。但是我该怎么做呢？
/
正
浏览 0提问于2016-03-10得票数 0
1回答
Python
、、
最近，我看了一段关于用python编写网络爬虫的视频。出于某种原因，我得到了一个SSLError。我试着用代码的第6行来修复它，但没有成功。知道它为什么会出错吗？代码是从那时起逐字写成的。
import requests
from bs4 import BeautifulSoup
def creepy_crawly(max_pages):
page = 1
#requests.get('https://www.thenewboston.com/', verify = True)
while page <= max_pages:
浏览 2提问于2014-11-24得票数 0
1回答
仅抓取域名
、、
如何使用Scrapy实现只抓取域名？ 我对任何domain.tld的深度搜索不感兴趣。我的想法是从每个域的索引页面只使用1跳的深度-所以直接从主页链接将足够作为链接缓冲区。 我需要尽可能快的爬虫作为唯一的。 我想将域领域限制为.cz 谢谢。
浏览 11提问于2019-03-14得票数 0
2回答
我正在用蟒蛇和漂亮的汤创建一个爬虫。
我必须访问标记才能在dataLayer中获取一些数据。
我搜索了一个美好的汤，并设法返回我需要的标记，但我不能把它变成一个json来访问信息。
这是我为获得以下内容而编写的代码：
page = get_html('URL')
dataLayer = page.findAll('script')[NUMBER OF SCRIPT]
这是我的回归：
<script type="text/javascript">
dataLayer = [{
'site
浏览 3提问于2017-01-23得票数 1
回答已采纳
1回答
我有一个小爬虫(python，bs4)，它工作得很好。但是，如果我要爬行的文本在一行中有两个以上的字包装(新行)，则内容将在多个单元格中编写。
例如：
AAA
BBB
CCC
进入csv单元的结果是"AAA BBB CCC“。
坏情况：
AAA
BBB
CCC
结果如下：
单元1: AAA BBB
单元2(第二行)：CCC
“守则”是：
...
beschreibung_container = container.find_all("pre", {"class":"is24qa-objektbeschreibung text-co
浏览 1提问于2018-05-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
