1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 543提问于2024-01-06
我可以通过以下方式获取Common Crawl的列表： https://commoncrawl.s3.amazonaws.com/crawl-data/CC-MAIN-2017-09/wet.paths.gz 如何使用公共爬网新闻数据集来实现这一点？ 我尝试了不同的选项，但总是收到错误： https://commoncrawl.s3.amazonaws.com/crawl-data/CC-NEWS-2017-09/warc.paths.gz https://commoncrawl.s3.amazonaws.com/crawl-data/CC-NEWS/2017/09/warc.paths.g
浏览 42提问于2021-03-21得票数 0
回答已采纳
我可以理解如何在正常应用程序中禁止机器人爬行一些页面/文件夹。例如，对于谷歌-bot这里描述得很好。
但是，如果我有一个页面应用程序(这个应用程序只使用ajax上传新内容，并且在客户端上有路由和页面生成)，我该怎么办？如何使它可爬行是描述这里和这里，但如果我没有一个机器人跟随一些链接(在我的起始页面)？我这样说的意思是：
当SPA首次加载时，它会加载一些基本的HTML。这个html可以有特定的链接，如：
家(#！家/)
关于(#！)
新闻(#！新闻)
但我现在确实想要一个机器人爬#！关于链接。
浏览 0提问于2014-05-01得票数 2
回答已采纳
1回答
我想在我的Facebook应用程序中测试like按钮，首先是在localhost中。由于这个url必须可以到达facebook，所以我使用了隧道技术，这对于信用回调来说已经很好用了。
当一个人点击like按钮时，like计数递增，并且like按钮突然被“确认”链接所取代。单击它将显示内容预览，并要求确认。确认后，计数再次出现片刻，然后消失。但新闻提要显示了该活动。
此外，当用户通过单击X按钮并从新闻提要中选择“删除帖子和不同的内容”来不喜欢该页面时，它总是在第一次失败，但当用户重复该操作时，它会成功地不受欢迎。
被点赞的页面是这样的：
<html xmlns="http://ww
浏览 2提问于2011-11-25得票数 0
回答已采纳
我试图爬一个新闻网站，我需要改变一个参数。我用下面的代码替换它：
while i < len(links):
conn = urllib.urlopen(links[i])
html = conn.read()
soup = BeautifulSoup(html)
t = html.replace('class="row bigbox container mi-df-local locked-single"', 'class="row bigbox container mi-df-local single-l
浏览 4提问于2016-06-23得票数 9
1回答
我正在尝试使用Python中的Scrapy在一些航班上运行航班搜索，然后将其导出为csv。这只是为了好玩，因为我对Scrapy有了更多的了解。
这是我所拥有的
from scrapy.item import Item, Field
from scrapy.http import FormRequest
from scrapy.spider import Spider
class DeltaItem(Item):
title = Field()
link = Field()
desc = Field()
class DmozSpider(Spide
浏览 1提问于2015-04-17得票数 0
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。
用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
590859A8-9A1A-4E52-8E60-AD292B16B4A8.png
655C6D0E-4901-4369-AA98-452F9FEFB852.png
4E73A31E-C9C4-45C0-A34E-8EA9AE335A98.jpeg
91321020-9B32-4C77-910A-FA
浏览 335提问于2021-01-09
SharePoint2010 search中的索引数据库和属性数据库有什么不同？
浏览 5提问于2011-02-15得票数 0
回答已采纳
1回答
我的刮刀用了大约一个小时。过了一会儿，我开始看到这些错误：
2014-01-16 21:26:06+0100 [-] Unhandled Error
Traceback (most recent call last):
File "/home/scraper/.fakeroot/lib/python2.7/site-packages/Scrapy-0.20.2-py2.7.egg/scrapy/crawler.py", line 93, in start
self.start_reactor()
F
浏览 3提问于2014-01-16得票数 3
1回答
我是搜索引擎新手，我发现googlenews非常有趣。
我想写一个简单的爬虫
只解析三个不同新闻网站的文章链接。
将链接保存在数据库(mysql)中，并使用链接在网站上公布的时间戳(而不是爬虫检测到链接的时间)。
如您所知，新闻网站每天都会生成链接(我想基本上解析它们的所有链接(不仅仅是今天打印的链接，还包括生成before...and的所有链接--所有这些链接都保存在新闻网站数据库中)。
我不知道我想爬的新闻网站使用的是哪个数据库，我也没有访问它的权限。
那么googlenews如何能够解析所有新闻网站的所有文章链接，包括很久以前生成的链接呢？googlenews可以访问
浏览 4提问于2014-06-06得票数 3
回答已采纳
在我们的网站上有一个网站地图
网站管理员中心报告说，网站地图中的一些urls被我们的robots.txt屏蔽了，请看，！尽管这些urls在Robots.txt中并不是不允许的。还有其他类似的网址，例如，gamezebo.com/gamelinks出现在我们的网站地图中，但它被报告为“robots.txt限制的网址”。
另外，我在站长中心有一个解析结果，上面写着：“第21行:爬行延迟: 10规则被Googlebot忽略”。什么意思？
我很感谢你的帮助
谢谢。
浏览 3提问于2009-09-28得票数 1
快速问一下，我错误地开始了对我的一个内容源的增量抓取。然后我暂停了它，这样它就不会影响用户了。 它将在下一次计划的增量爬网时恢复还是需要手动恢复？
浏览 12提问于2019-12-20得票数 0
我正在尝试创建一个自定义报告，它显示当前的爬网时间/持续时间，状态是完全爬网还是增量爬网。
有谁知道我可以用什么API来获取这样的信息？
浏览 0提问于2009-06-01得票数 0
回答已采纳
0回答
使用Python语言编写爬虫程序，使用正则表达式将指定日期时段内的全部上市公司股票数据爬取下来，并按照股票代码保存到相应的Excel文件中。
有偿联系微信：15527440125
浏览 204提问于2020-05-23
1回答
我使用apache-nutch-crawler1.6进行爬行。在爬行之后，当我尝试使用命令读取爬行结果的内容时
bin/nutch readseg -dump crawl/segments/* segmentAllContent
错误是
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/ubuntu/nutch/framework/apache-nutch-1.6/blogs/segments/20
浏览 0提问于2013-06-21得票数 1
我在seed.txt中用url-1成功地执行了一次爬行，我可以在MySQL数据库中看到爬行的数据。现在，当我尝试通过在seed.txt中用url-2替换url-1来执行另一次新的爬行时，新的爬行开始于抓取步骤，并且它试图抓取的url是seed.txt中旧的替换的url。我不确定它是从哪里拿到这个旧网址的。
我尝试检查隐藏的种子文件，但没有找到，并且在我运行爬网命令的NUTCH_HOME/ run /local中只有一个文件夹urls/seed.txt。请告诉我可能是什么问题？
浏览 1提问于2013-04-17得票数 1
我开始测试Scrapy以便抓取一个网站，但当我测试我的代码时，我得到一个错误，我似乎不知道如何解决。
以下是错误输出：
...
2012-12-18 02:07:19+0000 [dmoz] DEBUG: Crawled (200) <GET http://MYURL.COM> (referer: None)
2012-12-18 02:07:19+0000 [dmoz] ERROR: Spider error processing <GET http://MYURL.COM>
Traceback (most recent call last):
F
浏览 2提问于2012-12-18得票数 0
回答已采纳
我的问题是:我有sharepoint 2007 web应用程序和windows server 2008操作系统。我在SharePoint2007中做搜索，它工作得很好。最近我添加了一个新的网站页面，但它没有出现在搜索结果中。我也在爬虫日志中查找了它，但我没有找到页面的url。
新信息当我切换到windows身份验证时，一切都很好，页面是在搜索process.but中找到的，切换回表单身份验证不会使网页出现在搜索结果中。
我的问题是:如何让新页面出现在搜索结果中？
浏览 1提问于2013-01-31得票数 0
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2249提问于2018-09-12
SharePoint 2010 search中的爬网程序影响规则和爬网规则有何不同？
浏览 1提问于2011-02-13得票数 4
回答已采纳
我有一个MOSS 2007实例，其中我的客户希望我的网站配置文件中的内容不显示为链接。我们如何才能做到这一点？
我尝试从SSP中删除首选搜索中心url。它做到了这一点，但它也打破了位于页面右上角(欢迎菜单下方)的标准搜索功能。
浏览 1提问于2009-09-28得票数 0
微软SharePoint 2013。我有一个任务列表，其中有一些日期列。每当我尝试在列表上方的Serach框中搜索日期值时，我都得不到任何项目。其他值在搜索框中工作正常。请帮帮我。 未启用内容审批
浏览 10提问于2019-04-16得票数 0
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？
此外，我正在尝试在我的python代码中执行一个函数或方法来自动更改mi IP。我所看到的是，最好的方法是通过TOR浏览器(将其用作从页面获取数据的搜索引擎)，但我无法使其工作。你对创建这个函数有什么建议吗？
谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
我已经建立了一个新的网站，提交了我的主页网址到谷歌，我的网站地图(我有约6300页)。
现在，当我输入site:mydomain.com时，有1,992个页面已经爬行了。但他们都是在7月20日(我总结网站地图的那一天)爬行的。
在我的站点地图中，我为不同的页面URL设置了不同的变更和优先级。但我有3页集changefreq:hourly，至少120页集changefreq:daily，3 000页集changefreq:weekly，其余是changefreq:monthly。但是为什么谷歌不在我设置changefreq:hourly的时候爬我的网页，changefreq:daily？
我的网
浏览 0提问于2012-08-03得票数 1
回答已采纳
我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：
domain'.sharepoint.com/_api/search/query?Querytext='res1a2b3c4d5e‘
基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/上传的任何文档，我将不会得到结果。
如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百
浏览 2提问于2017-04-18得票数 1
我是Python的新手，我想使用Python来抓取几个需要Google帐号登录的网站。例如，我想爬一个网站xxx.appspot.com，我需要登录我的谷歌帐户访问它，因为这个数据库需要验证，我是授权人员。
当我做这样的事情：
content=urllib.urlopen(target_url).read()
当然，我得到的“内容”只是一个登录页面。如何实现代码，以便爬虫在实际爬行之前可以在Google帐户中签名。
浏览 1提问于2013-12-18得票数 2
回答已采纳
我正在尝试在Python脚本中运行Scrapy。相关代码如下：
import scrapy
from scrapy.crawler import CrawlerProcess
class PostSpider(scrapy.Spider):
name = "post crawler"
allowed_domains = ['test.com']
def __init__(self, **kwargs):
super(PostSpider, self).__init__(**kwargs)
url =
浏览 0提问于2016-03-25得票数 2
1回答
我想从论坛上得到信息，Dcard。我还构建了一个函数来排列我收到的数据。 import json
import pandas as pd
import requests
from requests_html import HTML
import re
import openpyxl
def Crawl(ID):
link='https://www.dcard.tw/_api/posts/'+str(ID)
requ=requests.get(link)
rejs=requ.json()
return(pd.Da
浏览 11提问于2021-07-30得票数 0
2回答
使用python查找重复文件
、、、、
我正在尝试写一个Python脚本，它将在目录中爬行，找到所有重复的文件并报告重复的文件。解决这个问题最好的办法是什么？
import os, sys
def crawlDirectories(directoryToCrawl):
crawledDirectory = [os.path.join(path, subname) for path, dirnames, filenames in os.walk(directoryToCrawl) for subname in dirnames + filenames]
return crawledDirectory
#print
浏览 1提问于2012-09-24得票数 1
2回答
我创建了GCP虚拟机(ubunto)。我安装了python和scrapy。我想从那里运行我的蜘蛛，scrapy crawl test -o test1.csv我从gcp打开终端并运行蜘蛛(工作)，这将需要至少3个小时。 如何确保在退出终端(浏览器)时脚本将继续执行。
浏览 23提问于2019-08-31得票数 1
回答已采纳
我是selenium/python的新手，这就是我的问题:我有一个简单的网站，里面有几条新闻。我试着写一个脚本，遍历所有新闻，打开每个新闻，做一些事情，然后返回到所有其他新闻。所有新闻都有相同的xpath，区别只有最后一个符号-我试着把这个符号作为变量，循环所有新闻，在每次访问新闻后递增我的变量：
x = len(driver.find_elements_by_class_name('cards-news-event'))
print (x)
for i in range(x):
driver.find_ele
浏览 18提问于2018-01-25得票数 0
回答已采纳
6回答
Python和Spyder新手。如何在Spyder中重新定位窗格。我在左上角设置了编辑器，在右上角设置了对象检查器，在左下角设置了ipython控制台。不知何故，我把它搞乱了，不知道如何重新定位它们。已经爬遍了网络，但没有找到joy。
谢谢
jpl
浏览 4提问于2015-03-06得票数 23
1回答
我回到了Python中的一个旧项目，但我似乎忘记了我是如何提取数据的，如果有人能为我指出正确的方向和文档来实现这一点，我将不胜感激。
我实现了一个web爬虫，它通过扫描我的HTML代码从html页面中提取信息。使用我使用过的BeautifulSoup和urllib2库扫描mywebsite.com/product=1的URL。
但是我想让mywebsite.com增加到最多10。如何提取、读取和替换url的末尾并替换它呢？我注意到其他人实现了urlparse库来替换域main，但是它与我的方法不一样。
> mywebsite.com/product=1
> mywebsit
浏览 2提问于2017-03-03得票数 0
回答已采纳
我的本意是只想爬取xxxxx，为何标签也被爬取了呢
scrapy.py（项目文件）：
图片
pipeline.py:
图片
浏览 60提问于2023-08-23
嗨,
我有一个自定义的索引连接器，通过AssociationNavigator方法与实体相关联。为了( SharePoint 2013的)搜索爬网关联实体，我们需要在关联实体中设置'DirectoryLink‘属性或'AttachmentAccessor’属性，如下所述：*
当我设置DirectoryLink属性时，搜索将搜索关联的实体(子实体)和父实体。
但是，当我将子实体设置为作为附件进行爬网时，如果使用AttachmentAccessor属性，爬网程序只会爬行父实体，而忽略相关实体，因此不会对其进行索引。
这是自定义连接器的一些问题吗？就像在帖子里一样。如果更改为.n
浏览 4提问于2013-07-12得票数 1
我正在尝试将托管属性映射到文档库的Modified By字段。我可以看到该字段的内部名称是Editor。但我在爬网属性中找不到ows_editor。
有没有办法将其添加到爬网属性中，以及如何添加？
浏览 2提问于2011-02-14得票数 0
而不是使用google搜索设备爬虫来索引内容，而是使用对sql服务器数据库的查询。
查询运行得很好，但我认为所有这些注册表现在都属于默认集合( Google Search Appliance的完整索引)。
您知道如何仅使用查询的数据创建新的集合吗？
提前谢谢。诚挚的问候。何塞
浏览 0提问于2010-02-09得票数 1
回答已采纳
我试图创建一个新闻应用程序，显示来自一些网站的新闻。
一些朋友帮我写了一些php，这样我就可以使用http请求调用php，并从响应中获取JSON。
然后，我可以解析JSON并正确显示新闻。
但是，服务器不是我的。
实际上，我不想让服务器使用php进行通信。
我只想在客户端这样做。
1)我知道如何在本地使用python解析html并得到结果，有没有办法在Android中实现我的python代码，运行python代码后，它会连接到新闻网站并正确显示。
2)如果没有，我不想托管服务器，该怎么办？
浏览 1提问于2013-01-13得票数 0
3回答
平台:服务器2008上的MOSS 2007
Sharepoint正在工作等...
问题:当你搜索某个东西时，它什么也找不到，也没有错误。
身份验证和权限看起来都很好。搜索服务已启动并正在运行。
可能的问题是什么？任何我可能错过的检查点，任何我应该检查的糟糕的配置，等等…？
浏览 0提问于2009-07-07得票数 4
我在windows server 2008 R2上使用solr5.0，nutch1.10和cygwin。我发出的命令如下：
B/爬网-D urls/ b/urls爬网/2
据我所知，2是爬行的轮数。当我执行此命令并读取crawldb时，我只收到127个url，这比预期的要少得多。此外，它不会在更深的深度爬行。当我发出这个命令将数据传递给Solr时：
bin/nutch solrindex段爬网/crawldb -linkdb爬网/linkdb爬网/ /*
然后执行搜索，那么我总共只得到了20个url。有人能帮上忙吗。我需要做一个更深的深度爬行。
浏览 0提问于2015-06-03得票数 0
自动更新目录中的全文索引的内部系统进程(change tracking = on)需要很长时间才能完成，从而锁定了希望同时访问同一个表的其他查询。 除了将更改跟踪设置为关闭之外，是否可以采取其他措施来避免这些影响？保持较小的目录大小是否有帮助，即每个目录一个表？全文目录目前有34 GB大小，其中包含一些包含大量记录的非常大的表。
浏览 22提问于2019-02-22得票数 0
回答已采纳
1回答
我需要创建一个包含外部数据(来自BDC)的列表字段。该字段必须包含多个值。但是我没有找到一种方法来让外部数据字段接受多个值。
通过使用Column-Properties，可以从User-Contetntype创建这样的多值字段。通过从外部数据创建列，我不可能激活多值模式。
它应该看起来像这样，仅仅来自外部数据源(BDC)：
有没有人知道如何处理这种情况？
浏览 2提问于2012-04-23得票数 1
嗨
在一些网站的列表中，我有一个名为"Number“类型的名为"Grade”的列。我已经执行了完整爬网和增量爬网，但该列未出现在已爬行的属性中。
我想在这个等级之外创建一个托管属性，但是当我点击“添加映射”时，我看不到“等级爬行”属性。
是否对列表中的所有列都进行了爬网？
请告诉我是不是丢了什么东西？
浏览 0提问于2011-05-05得票数 0
回答已采纳
我有一个私有的github存储库，其中包含一个自述文件：
我想要像web浏览器一样访问本自述文件，但使用的是python脚本。
我的账号使用双因素身份验证。
我尝试使用基本身份验证，就像请求文档中解释的那样：。
我得到了一个404 (未找到)。
如何获取README.md文件的超文本标记语言？
在我的情况下，标记源并没有帮助。
脚本在服务器(而不是台式机)上执行。
浏览 2提问于2020-03-10得票数 0
1回答
我还在尝试Scrapy，并且我正试图在我的本地网络上爬行一个网站。该网站的IP地址为192.168.0.185。这是我的蜘蛛：
from scrapy.spider import BaseSpider
class 192.168.0.185_Spider(BaseSpider):
name = "192.168.0.185"
allowed_domains = ["192.168.0.185"]
start_urls = ["http://192.168.0.185/"]
def parse(
浏览 0提问于2012-02-11得票数 2
我创建了一个社区门户网站和几个社区网站。但我不断得到“目前在这个视图中没有社区”。在社区门户上。我试图重新索引搜索，并做了完整的爬行，但没有帮助。对内容搜索for部件(webtemplate:community)中的查询的测试根本没有返回结果。创建社区站点后，是否需要执行任何步骤，以便搜索这些站点？
浏览 1提问于2014-10-21得票数 0
您好，我目前正在Watson knowledge studio中创建机器学习模型，需要使用加载的盲数据进行测试。请需要一些帮助，了解如何将邮件服务器与Watson discovery服务连接/集成，以便理解收到的邮件。
浏览 0提问于2018-09-14得票数 0
3回答
我目前正在着手一个项目，该项目将涉及爬取和处理大量数据(数百个数据集)，并对它们进行挖掘以提取结构化数据，命名实体识别，重复数据删除，分类等。
我熟悉来自Java和Python世界的ML工具: Lingpipe、Mahout、NLTK等。然而，当涉及到为如此大规模的问题选择平台时-我缺乏足够的经验来决定是Java还是Python。
我知道这听起来像是一个模糊的问题，但我正在寻找关于选择Java或Python的一般建议。JVM提供了更好的性能(？)在Python之上，但是像Lingpipe之类的库是否与Python生态系统相匹配呢？如果我使用Python，在多台机器上扩展和管理它会有多容易。
我
浏览 6提问于2012-03-15得票数 34
回答已采纳
有人知道如何在没有JavaScript库的情况下获得jQuery的.offset()和.closest()的等价物吗？
对于.closest()，如果我知道在DOM树上爬多远，我就可以使用那么多的.parentNode，但是如果我不知道要爬多远，我就卡住了。
浏览 2提问于2011-01-14得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
