1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 547提问于2024-01-06
1回答
我使用apache-nutch-crawler1.6进行爬行。在爬行之后，当我尝试使用命令读取爬行结果的内容时
bin/nutch readseg -dump crawl/segments/* segmentAllContent
错误是
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/ubuntu/nutch/framework/apache-nutch-1.6/blogs/segments/20
浏览 0提问于2013-06-21得票数 1
我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：
domain'.sharepoint.com/_api/search/query?Querytext='res1a2b3c4d5e‘
基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/上传的任何文档，我将不会得到结果。
如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百
浏览 2提问于2017-04-18得票数 1
自动更新目录中的全文索引的内部系统进程(change tracking = on)需要很长时间才能完成，从而锁定了希望同时访问同一个表的其他查询。 除了将更改跟踪设置为关闭之外，是否可以采取其他措施来避免这些影响？保持较小的目录大小是否有帮助，即每个目录一个表？全文目录目前有34 GB大小，其中包含一些包含大量记录的非常大的表。
浏览 22提问于2019-02-22得票数 0
回答已采纳
我正在尝试创建一个托管元数据字段，但它没有显示在我的爬网列中。它是一个自定义字段。我不确定哪里出了问题，但当我搜索时，我唯一的结果是查看与列表相关的所有项目页面。它似乎不会搜索列表项本身。我不知道这是否相关。
我将此列添加到我的视图中，以备需要时使用，但这并不起作用。
浏览 1提问于2010-06-15得票数 1
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格：
import scrapy
class PeopleSpider(scrapy.Spider):
name="People"
start_urls=[
'http://canada411.yellowpages.ca/search/si/1/519-896-7080/',
]
def parse(self,response):
for people in response.css("div.person-search__table--row"):
yield
浏览 0提问于2017-02-16得票数 0
我已经在stackoverflow和网络上搜索过了，一定是这里漏掉了什么。我还没有找到我要找的东西。也许它叫别的什么..我有下面的代码，它将抓取第一个文件夹中的所有内容，但不会从其他文件夹中抓取其他项目。例如，它会抓取第一个/前面的所有内容，但如果你有一个站点mysite.com/ folder2 /，它就不会抓取folder2。一切都是联系在一起的。它也会向后移动。如果你把最长的链接放在网站的前面就会一直走到网站的前面。我不确定我错过了什么任何指针将是伟大的。该网站是一个joomla网站，我正试图废止。
<?php function storelink($web,$taken) {
$
浏览 0提问于2013-02-19得票数 0
2回答
我想知道从什么时候起Facebook上的粉丝就是粉丝了？我想出的唯一办法就是抓取粉丝页面的整个feed，然后像墙上的帖子一样追踪第一个帖子。然而，这种方法并不十分准确。
有什么想法吗？
浏览 2提问于2011-05-19得票数 0
回答已采纳
我们有三个域名非常接近重复的内容(Magento网站)。让我们称它们为production.com、development.com和staging.com。
我在development.com和staging.com上有机器人无索引。我还启用了htpasswds。谷歌对这些域名的搜索显示，它们还没有被索引。然而，当我登录到该软件的后端时，我开始收到来自Chrome的网络钓鱼警告。
我需要尽快停止这一切。如果警告扩散到前端，我们将看到相当严重的后果。
最佳的行动方案是什么？
浏览 1提问于2013-12-07得票数 0
谷歌可以很好地索引我的Angular.js应用程序的内容，例如，它执行JS，XHR，整个交易，但由于某些原因，标题没有正确索引，仍然是静态的HTML备用(默认标题由超文本标记语言设置，在JS执行之前)。
在index.html中，我有：
<title ng-bind="title + ' — Default Title'">Default Title</title>
每当路由改变时，它就像这样设置：
app.run ['$location', '$rootScope', ($locati
浏览 2提问于2014-05-19得票数 2
1回答
我正在使用SQL Server2008 R2全文索引。我注意到我搜索的一些结果没有包含在结果中。在进一步的调查中，我发现可疑数据包含ASC控制字符()。我的表是一个简单的平面结构，如果任何行包含这些字符中的一个，则不会显示结果。
只要我替换数据中的字符，结果就会出现。我在查询中使用CONTAINS。
我找不到一个可以证实这种行为的链接。我可以从数据库中删除这些字符，但如果能确认并了解原因会更好。任何帮助都将不胜感激。
浏览 0提问于2013-09-02得票数 0
请任何人让我知道，我如何才能识别更新的网址去重新抓取？当页面要重新爬行时，我只想抓取页面的更新内容，而不是已经抓取的旧内容。提前谢谢。普拉亚..。
浏览 0提问于2012-04-20得票数 0
我正在存储一个PHP数组，其中key=>value对是用于在网站上构建jQuery UI选项卡的信息。
存储在MySQL数据库中的字符串如下所示：
A:2：{i:0；a:2：{i:1；s:9：“信息”；i:2；s:643：“本节关于fooLorem ipsum ...”；}i:1；a:2：{i:1；s:14：“更多信息”；i:2；s:465：“Lorem ipsum ...";}}
(不是有效的序列化数组或html，因为我出于格式原因截断了冗长的内容)
我想允许此内容馈送到Sphinx (全文索引)的网站搜索目的。基本上，Sphinx只是抓取数据库的内容并索引它找到的内容，取决于
浏览 0提问于2009-09-21得票数 0
回答已采纳
我想在我的网站上看到所有公开访问链接的列表，这样我就知道用户可以访问哪些页面。是否有网站或应用程序可以抓取我的网站并显示此类信息？
浏览 1提问于2011-12-04得票数 0
2回答
我一直在尝试各种方法，但都没有效果。我的Nutch/Solr配置基于以下内容：
现在我已经启动并运行了Nutch和Solr，我想使用Solr来索引爬行数据。Nutch成功地抓取了我指定的域，但是当我运行命令将该数据传递给Solr时，Nutch失败了。下面是命令：
bin/nutch solrindex http://solr:8181/solr/ crawl/crawldb crawl/linkdb crawl/segments/*
下面是输出：
Indexer: starting at 2013-09-12 10:34:43
Indexer: deleting gone documents
浏览 2提问于2013-09-12得票数 2
我有一个cms，不能生成友好的url
什么是最好的方式来重命名，而不得到重复的内容从谷歌。
现在我在.htacces中有：
RewriteEngine On
RewriteBase /
RewriteRule welcome.html page.php?1[L]
RewriteRule about-us.html page.php?2[L]
这是最好的方法吗？
任何帮助都将不胜感激
浏览 2提问于2010-12-02得票数 0
回答已采纳
1回答
框架中的独立前端和后端
、、、、
我是Spring框架的新手，我想学习如何完全分离前端(html，js等)。和后端(Java)。
我将使用RESTfull服务，使用JSON。我想我要构建一个页面应用程序。
我不喜欢jsp页面中显示的大多数教程。
我看到我的朋友公司项目(使用Spring )，他们使用嵌入式Jetty服务器，在服务器配置中，他们为前端和后端路径分配了两种不同的路径。
我看到前端代码，在后端只有html、javascripts等，方法是一样的。(完全分开！！)
我的问题是：“他们如何从前端传递请求到后端，如何从后端获得结果并更新前端”。
此外，他们还使用Maven后端和前端，在根中定义为模块。
你能和我分享一些教程
浏览 1提问于2015-04-11得票数 2
回答已采纳
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？
此外，我正在尝试在我的python代码中执行一个函数或方法来自动更改mi IP。我所看到的是，最好的方法是通过TOR浏览器(将其用作从页面获取数据的搜索引擎)，但我无法使其工作。你对创建这个函数有什么建议吗？
谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。 有时因为脚本加载了很长时间，我在浏览器中遇到超时， 但在后台，我继续说。我在我的数据库里看到了。 我能防止这种情况吗？..现在，如果我停止webserver，这是可能的。 谢谢你，并致以最良好的问候。
浏览 0提问于2010-01-22得票数 0
我的node.js项目中有一些自定义类模块。是否可以从另一个自定义模块访问自定义模块？如果是，我可以使用什么路径表示法？我似乎想不出一个不会产生错误的错误：Error: Cannot find module 'someModules/DB'。我可以从我的根require('./someModules/DB')脚本导出和index.js罚款。但是它不适用于someModules/Table。以下是我的目录结构：
project root
-index.js
-someModules
--DB
---index.js
--Tabl
浏览 3提问于2017-09-11得票数 1
回答已采纳
通常，indexed_search只对已经访问过的页面进行索引。如果用户没有访问过该页面，则不会有搜索结果。有没有一种不需要访问就能索引所有页面的方法？或者我必须使用另一个扩展？
Typo3: v4.2.8 Indexed_search: v2.11.1
浏览 0提问于2012-01-16得票数 0
回答已采纳
2回答
因此，给定以下标记，如果用户浏览器禁用了JavaScript，他们将被重定向到另一个页面，该页面尝试在没有JavaScript的情况下模拟站点功能(可能是动态呈现的页面)，或者是一个警告页面，通知用户必须启用JavaScript才能使用该站点
<!doctype html>
<html>
<head>
<!-- If the browser has javascript disabled, the browser will be redirected-->
<!-- to a page that does not requi
浏览 7提问于2011-09-27得票数 2
2回答
为了方便起见，我使用Java解析一个随机网站的超文本标记语言，假设它是。在解析HTML数据之后，我希望提取其中的一些数据，并将其显示在显示器上。之后，用户将输入搜索词，并按下一个按钮。这个按钮将执行“搜索”按钮后面的脚本。我想在几个网站上做到这一点，所以给我一种只与google一起工作的方法不会对我有太大帮助。
浏览 0提问于2012-03-30得票数 0
回答已采纳
以前，我已经阻止了搜索引擎机器人，以防止使用robots.txt文件爬行我的网站，但现在我想取消阻止它们。 我更新了robots.txt文件，并允许搜索引擎机器人爬行我的网站，但搜索引擎似乎仍然使用我的旧robots.txt文件，我如何告诉搜索引擎使用我的新robots.txt文件？或者是我的robots.txt文件有什么问题？ 我的旧robots.txt文件的内容： User-agent: *
Disallow: / 我的新robots.txt文件的内容： User-agent: *
Allow: /
# Disallow these directories, url types &am
浏览 27提问于2019-03-24得票数 2
回答已采纳
我需要爬行几个网址，并抓取他们的内容到一个数据库。
爬网数据必须同时包含HTML和外部CSS和JS文件。
我使用Nokogiri抓取CSS没有任何问题，但无法轻松获得Javacript。
下面是我的相关代码：
..。
arrJS = []
page = Nokogiri::HTML(open(url))
page.css('script').map {|link| arrJS << link['src'].to_s}
..。
当我在像yahoo.com这样的站点上使用它时，我得到了一个与html上的javascripts无关的奇怪的arrJS数组。
浏览 0提问于2012-02-06得票数 2
回答已采纳
1回答
朋友们，我用Java实现了一个多线程的网络爬虫。为了使它更高效，我想将其转换为分布式架构，即在3台机器上。据我所知，主从架构是最好的。谁能提供一些见解，说明哪种体系结构是最好的，以及我如何用Java实现它？
浏览 0提问于2013-02-26得票数 0
如何取消云社区的文章同步？
或者，如何设置只同步原创的文章??????????????????????????????????????????????????
浏览 261提问于2020-10-24
当我尝试Crawler4j 的快速入门时，
在controller.java中
我想这是我应该更改结果存储位置的地方。
`public class Controller {
public static void main(String[] args) throws Exception {
String crawlStorageFolder = "/data/crawl/root";
int numberOfCrawlers = 7;
CrawlConfig config = new CrawlConfig();
浏览 5提问于2016-09-11得票数 0
我尝试在SharePoint Document Library上搜索文件(例如，默认的“根目录”)。我上传了一些测试文件，或者在网上创建了新的办公文件，并提出了一些搜索请求，例如https://graph.microsoft.com/v1.0/sites/root/drive/root/search(q='{query}')，直到昨天，一切都很好。
现在我开始在SharePoint上编辑文件或创建/上传新的文件，对于这些编辑的或新的文件，我有一个问题，当我搜索它们时没有得到结果。“旧的”文件，我开始创建的时候，我发现，虽然，只要我不编辑它们。
为了获得访问权限，我在AAD中注册
浏览 8提问于2018-08-31得票数 0
回答已采纳
来自非Java背景的Scala给我带来了广泛的困难，包括这一点。
scala> class A
defined class A
scala> class B extends A
defined class B
scala> val a = new A
a: A = A@2e893a4a
scala> val b = new B
b: B = B@3a47c130
scala> a.asInstanceOf[B]
java.lang.ClassCastException: A cannot be cast to B
...
scala>
浏览 0提问于2011-07-10得票数 1
回答已采纳
2回答
如何使用Mechanize库查找网站上的所有链接？
我喜欢递归地解析内部链接，以便抓取一个网站的所有链接。
浏览 0提问于2012-07-23得票数 2
回答已采纳
1回答
我正在预取一个javascript文件。我可以在“网络”选项卡中看到文件已被检索。但是，文件本身并没有被执行，我看不到警报。
下面是最小的例子：
index.html
<!doctype html>
<html class="no-js" lang="">
<head>
</head>
<body>
<p>Hello world!</p>
<link rel="prefetch" href="alert.js">
</
浏览 1提问于2018-05-29得票数 0
回答已采纳
2回答
你好，我在Ubuntu上安装了solr和nutch。我能够爬行和索引偶然，但不是所有的时间。我不断地收到这个路径错误，并且在网上找不到解决方案。通常，我会删除有错误的目录并重新运行，它会运行得很好。但我不想再这样做了。导致该错误的原因是什么？谢谢。
LinkDb: adding segment: file:/home/nutch/nutch/runtime/local/crawl/segments/20111027231916
LinkDb: adding segment: file:/home/nutch/nutch/runtime/local/crawl/segments/20111027
浏览 0提问于2011-10-28得票数 2
SharePoint2010 search中的索引数据库和属性数据库有什么不同？
浏览 5提问于2011-02-15得票数 0
回答已采纳
我有一段艰难的时间与buggy模块，需要做很多安装，卸载等。
但是即使我卸载，模块也会将数据保留在SQL文件中，而从零开始的唯一方法就是每次重新安装.
如何保存导入时将删除所有旧数据的SQL文件？
一个新的SQL文件，它不包含任何新安装和卸载模块的数据。
我尝试过添加database和其他设置，但是似乎一旦安装了一个模块.它太late..it了，它不断地爬回到数据库中，有时还会形成依赖关系？
浏览 0提问于2015-08-23得票数 0
我有一个简单的标记。
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Document</title>
<link rel="prefetch" href="
浏览 3提问于2020-09-25得票数 1
我有一个ngx-datatable，其中有几个列，如下所示：
<ngx-datatable-column name="PLZ/Ort" prop="plzCity" [flexGrow]="1" >
<ng-template let-column="column" let-sort="sortFn" let-sortDir="sortDir" ngx-datatable-header-template>
<span (click)="so
浏览 0提问于2019-05-15得票数 0
1回答
有n楼梯，一个站在最底层的人想爬到顶上。这个人一次可以爬一级或两层楼梯。
现在，我想找到所需的可被给定的m个整除的最小步骤数。
下面是我使用创建的java程序，用于打印可能的步骤：
public static void main(String args[]) {
int n = 10, m = 2;
List<Integer> vals = new ArrayList<>();
Set<String> set = new TreeSet<>(Comparator.reverseOrder());
浏览 2提问于2020-04-30得票数 0
回答已采纳
2回答
我想自动索引一个文档或网站时，它是馈送到apache solr。我们如何才能做到这一点？我见过使用需要通过php脚本调用的CRON作业的示例，但它们的解释不是很清楚。使用java api SolrJ，我们有没有办法自动索引数据，而不需要手动操作?？
浏览 1提问于2015-05-28得票数 0
1回答
我正在尝试设置Apache Nutch抓取URL，遵循指南。作为一个较老的指南(该指南适用于1.x版，我使用的是2.3版)，我对结构进行了必要的更改。但是，当我尝试运行爬网时，我得到以下错误：
root@IndiStage:~# /usr/local/nutch/framework/apache-nutch-2.3/src/bin/crawl urls FirstCrawl 2
No SOLRURL specified. Skipping indexing.
Injecting seed URLs
/usr/local/nutch/framework/apache-nutch-2.3/src/
浏览 0提问于2015-11-15得票数 9
3回答
我正在抓取亚马逊的产品，原则上一切都很顺利。
我从这个很好的教程中得到了三个类：
我将这些文件添加到以下代码中(类Spider)：
import java.io.FileNotFoundException;
import java.util.*;
public class Spider {
public static final int MAX_PAGES_TO_SEARCH = 10000;
private Set<String> pagesVisited = new HashSet<String>();
private List<
浏览 2提问于2016-11-06得票数 1
在我们的网站上有一个网站地图
网站管理员中心报告说，网站地图中的一些urls被我们的robots.txt屏蔽了，请看，！尽管这些urls在Robots.txt中并不是不允许的。还有其他类似的网址，例如，gamezebo.com/gamelinks出现在我们的网站地图中，但它被报告为“robots.txt限制的网址”。
另外，我在站长中心有一个解析结果，上面写着：“第21行:爬行延迟: 10规则被Googlebot忽略”。什么意思？
我很感谢你的帮助
谢谢。
浏览 3提问于2009-09-28得票数 1
我一直在改进web应用程序前端的结构，并做了一些事情，比如合并和缩小css/js文件，版本文件，以及构建一些模板。然而，我查看了一些web工具，发现有一大堆未使用的js/css。有任何关于-discovering的建议完全必要的代码-combining，缩小，并为页面的正确代码，我主要寻找像一个逻辑建议，任何代码样本都会很棒。我特别在apache上使用python、cheetah模板、yui压缩器、用于版本控制的修改时间、mod_rewrite和gzip。
浏览 1提问于2011-05-18得票数 3
回答已采纳
我使用Nutch 1.6来抓取一些论坛，并用Solr 1.6.2对它们进行索引。我在Solr上运行了一个测试查询，令人惊讶的是只有几个结果。我担心Nutch的页面解析或Solr的索引存在问题。在四处窥探之后，我发现Nutch并没有解析它检索到的很多页面：
bin/nutch readseg -list -dir crawl-mothering2/segments/
NAME GENERATED FETCHED PARSED
20130228001531 23 27 9
20130228003940 1430 1434 661
浏览 3提问于2013-03-21得票数 1
快速问一下，我错误地开始了对我的一个内容源的增量抓取。然后我暂停了它，这样它就不会影响用户了。 它将在下一次计划的增量爬网时恢复还是需要手动恢复？
浏览 12提问于2019-12-20得票数 0
这个问题听起来可能很熟悉，但与之前提出的问题不太一样。
我有一个CSS，它被发送到没有javascript功能的浏览器(由一个链接标记引用)。我有另一个CSS，它由网站的ajax版本使用，并由JS注入页面。这些文件中的每一个都比较大(gt 200 K)。--我不想让启用JS的客户端下载这两个文件。--我可以使用noscript标记轻松地做到这一点。但是，在用户在过滤脚本标记的代理后面的情况下，这是有限制的。因此浏览器最终完全没有CSS。
<html>
<head>
<noscript><link rel="stylesheet" typ
浏览 2提问于2011-12-29得票数 0
回答已采纳
<!—Firefox Prefetching -->
<link rel="prefetch" href="http://www.example.com/page2.html">
<!—Chrome Prefetching -->
<link rel="prerender" href="http://www.example.com/page2.html">
如果我在页面上使用Javascript进行预渲染/预取(比如Google Analytics JS)，那么预渲染/预取会在页面
浏览 4提问于2012-05-15得票数 8
回答已采纳
我正在尝试创建一个自定义报告，它显示当前的爬网时间/持续时间，状态是完全爬网还是增量爬网。
有谁知道我可以用什么API来获取这样的信息？
浏览 0提问于2009-06-01得票数 0
回答已采纳
7回答
我正在寻找一些健壮的，良好记录的PHP网络爬虫脚本。也许是Java项目的一个port -
我正在寻找免费和非免费的版本。
浏览 2提问于2011-01-30得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
