我的问题是:我有sharepoint 2007 web应用程序和windows server 2008操作系统。我在SharePoint2007中做搜索，它工作得很好。最近我添加了一个新的网站页面，但它没有出现在搜索结果中。我也在爬虫日志中查找了它，但我没有找到页面的url。
新信息当我切换到windows身份验证时，一切都很好，页面是在搜索process.but中找到的，切换回表单身份验证不会使网页出现在搜索结果中。
我的问题是:如何让新页面出现在搜索结果中？
浏览 1提问于2013-01-31得票数 0
我有一个MOSS 2007实例，其中我的客户希望我的网站配置文件中的内容不显示为链接。我们如何才能做到这一点？
我尝试从SSP中删除首选搜索中心url。它做到了这一点，但它也打破了位于页面右上角(欢迎菜单下方)的标准搜索功能。
浏览 1提问于2009-09-28得票数 0
1回答
我已经在wiki库中创建了一个新页面。问题是，当我搜索已创建的页面时，它显示以下错误。如何解决这个问题？ error searching
浏览 27提问于2020-11-04得票数 0
1回答
可以使用带有伪URL的Apify抓取多个页面吗？ 当人们问同样的问题时，答案大多指向伪URL，如果有可能或不可能这样做，并不会直接解决问题。 如果我在运行爬虫的时候不知道伪URL，并且我从一个页面上抓取了10个链接-然后想要抓取这10个链接，那怎么做呢？ https://kb.apify.com/tutorial-creating-your-first-crawler/crawling-multiple-pages
浏览 15提问于2019-03-19得票数 0
我正在使用阿帕奇Nutch1.7，我面临着这个问题与爬行使用网址作为种子网址，这个网址有许多内部链接存在的页面，也有许多外部链接到其他领域，我只对内部链接感兴趣。
但是，当这个页面被爬行时，其中的内部链接不会被添加，以便在下一轮抓取时获取(我给出的深度是100)。我已经将db.ignore.internal.links设置为false，但由于某些原因，内部链接不会添加到下一轮获取列表中。
另一方面，如果我将db.ignore.external.links设置为false，它将正确地拾取页面中的所有外部链接。
这个问题在其他领域是不存在的，能告诉我这个页面是怎么回事吗？
我还附上了nucth-s
浏览 2提问于2013-10-15得票数 1
我的node.js项目中有一些自定义类模块。是否可以从另一个自定义模块访问自定义模块？如果是，我可以使用什么路径表示法？我似乎想不出一个不会产生错误的错误：Error: Cannot find module 'someModules/DB'。我可以从我的根require('./someModules/DB')脚本导出和index.js罚款。但是它不适用于someModules/Table。以下是我的目录结构：
project root
-index.js
-someModules
--DB
---index.js
--Tabl
浏览 3提问于2017-09-11得票数 1
回答已采纳
请任何人让我知道，我如何才能识别更新的网址去重新抓取？当页面要重新爬行时，我只想抓取页面的更新内容，而不是已经抓取的旧内容。提前谢谢。普拉亚..。
浏览 0提问于2012-04-20得票数 0
如何设置每个主机要索引的最大页数？我不想索引所有百万页的网站，我只想索引前100000个找到的页面。
浏览 4提问于2010-10-06得票数 1
我正在寻找一种方法来搜索站点(或顶级页面列表)，并确定是否实际需要包含在相关页面上的JS文件，或者哪些页面确实需要特定的JS文件。
服务器端语言是PHP.页面的实际显示不会是个问题。
我继承了一个非常大的网站。到目前为止，惯例是，如果在任何子页面上需要一个JavaScript文件，则通常会将其放在每个页面的模板中。没有条件。没有缩小。没有连接。
展望未来，我们将推出require.js，但目前还需要在遗留页面上做一些工作。
30k+文件在网页目录中，Google索引域的350k+页面。
浏览 4提问于2013-12-10得票数 4
SharePoint2010 search中的索引数据库和属性数据库有什么不同？
浏览 5提问于2011-02-15得票数 0
回答已采纳
2回答
我用scrapy写了一个基本的CrawlSpider，但是我想知道urls被抓取的顺序是什么？
我希望爬虫应该爬行所有的链接在开始网址页面，然后移动到其他网址，这似乎不是顺序。
我该怎么做呢？
浏览 2提问于2011-12-05得票数 2
回答已采纳
我正在尝试创建一个托管元数据字段，但它没有显示在我的爬网列中。它是一个自定义字段。我不确定哪里出了问题，但当我搜索时，我唯一的结果是查看与列表相关的所有项目页面。它似乎不会搜索列表项本身。我不知道这是否相关。
我将此列添加到我的视图中，以备需要时使用，但这并不起作用。
浏览 1提问于2010-06-15得票数 1
1回答
Nutch有时会得到一些URL的SocketTimeout或ConnectionRefused异常。我怎么才能让Nutch只重试这些URL？如果我重新运行“爬行”命令，它会告诉我没有什么可重新运行的。这是可以理解的，因为"db.fetch.interval.default“设置为30天。我不想改变这一点，因为这甚至影响到成功的页面。我需要的是一种只爬失败爬行的方法。
有办法这样做吗？
稍后添加:我使用的是Nutch 1.10
浏览 4提问于2015-06-24得票数 0
回答已采纳
在我们的网站上有一个网站地图
网站管理员中心报告说，网站地图中的一些urls被我们的robots.txt屏蔽了，请看，！尽管这些urls在Robots.txt中并不是不允许的。还有其他类似的网址，例如，gamezebo.com/gamelinks出现在我们的网站地图中，但它被报告为“robots.txt限制的网址”。
另外，我在站长中心有一个解析结果，上面写着：“第21行:爬行延迟: 10规则被Googlebot忽略”。什么意思？
我很感谢你的帮助
谢谢。
浏览 3提问于2009-09-28得票数 1
快速问一下，我错误地开始了对我的一个内容源的增量抓取。然后我暂停了它，这样它就不会影响用户了。 它将在下一次计划的增量爬网时恢复还是需要手动恢复？
浏览 12提问于2019-12-20得票数 0
我已经从我的wordpress网站上删除了一些页面。但是GSC对那些被删除的页面显示错误“提交的url有爬网问题”。使用检查url工具后，显示url不在Google上。如何解决这个错误？
浏览 0提问于2020-01-16得票数 0
我使用Nutch 1.6来抓取一些论坛，并用Solr 1.6.2对它们进行索引。我在Solr上运行了一个测试查询，令人惊讶的是只有几个结果。我担心Nutch的页面解析或Solr的索引存在问题。在四处窥探之后，我发现Nutch并没有解析它检索到的很多页面：
bin/nutch readseg -list -dir crawl-mothering2/segments/
NAME GENERATED FETCHED PARSED
20130228001531 23 27 9
20130228003940 1430 1434 661
浏览 3提问于2013-03-21得票数 1
有没有人遇到过这样的错误:搜索爬虫忽略了一个aspx页面？对于这些页面，我收到以下警告消息：“此URL的内容已被服务器排除，因为没有索引属性”。
任何帮助都将不胜感激。
谢谢。
浏览 0提问于2009-05-19得票数 1
回答已采纳
1回答
我使用apache-nutch-crawler1.6进行爬行。在爬行之后，当我尝试使用命令读取爬行结果的内容时
bin/nutch readseg -dump crawl/segments/* segmentAllContent
错误是
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/ubuntu/nutch/framework/apache-nutch-1.6/blogs/segments/20
浏览 0提问于2013-06-21得票数 1
我们使用散列片段之后的信息来使用JavaScript显示不同的页面，这样就不会迫使浏览器再次加载整个页面。例如，指向页面的直接链接可能如下所示(book_id/ page _id)：
www.example.com/book#1234/5678
由于我们没有直接链接到每个页面而是书籍，我们正在考虑将这些直接链接添加到sitemap.xml中。
我的问题是，谷歌是否正在考虑将其作为一个单独的链接，或者只是忽略散列片段之后的所有内容，在正常的爬行过程中，或者我们是否将其包含在sitemap.xml中？
浏览 0提问于2011-05-14得票数 5
回答已采纳
SharePoint 2010 Search未爬网日志文件格式(.log)文件类型，我向共享文档添加了一些新的日志文件(.log)。但我不能在他们里面搜索。
我已在文件类型页面中添加了文件类型(日志)，并运行了完全爬网，但无法搜索日志文件内容。
爬网日志未显示任何内容
有什么想法吗？
浏览 3提问于2014-11-22得票数 0
我在seed.txt中用url-1成功地执行了一次爬行，我可以在MySQL数据库中看到爬行的数据。现在，当我尝试通过在seed.txt中用url-2替换url-1来执行另一次新的爬行时，新的爬行开始于抓取步骤，并且它试图抓取的url是seed.txt中旧的替换的url。我不确定它是从哪里拿到这个旧网址的。
我尝试检查隐藏的种子文件，但没有找到，并且在我运行爬网命令的NUTCH_HOME/ run /local中只有一个文件夹urls/seed.txt。请告诉我可能是什么问题？
浏览 1提问于2013-04-17得票数 1
有没有办法禁用或密码保护Google Mini设备上的搜索页面？我指的是选项1 中描述的页面。
我基本上是想防止有人偶然发现这个URL并在这里搜索，而不是通过使用该设备的实际站点之一。
浏览 0提问于2009-02-24得票数 1
回答已采纳
我在我的网站上运行一个爬虫来测试断链接等等。
它首先使用像www.domain.com这样的URL
一件奇怪的事情是，它显示的目录没有内部链接。例如，目录/样例_dir/正在爬行树中显示，但我在页面中找不到到该目录的任何内部链接。
这种情况怎么可能发生，是否有办法防止它发生？
浏览 0提问于2011-11-03得票数 5
2回答
我想知道从什么时候起Facebook上的粉丝就是粉丝了？我想出的唯一办法就是抓取粉丝页面的整个feed，然后像墙上的帖子一样追踪第一个帖子。然而，这种方法并不十分准确。
有什么想法吗？
浏览 2提问于2011-05-19得票数 0
回答已采纳
我有一个问题：
在一个文件中有一个“匹配”模式，它表示扩展名应该在哪个域下工作。
火狐扩展也是一样的吗？还是必须在js文件中确定？
如果第二个选择是正确的，谁能告诉我怎么做？到目前为止，我得到标签的网址大约10次(使用警报)。
如果你知道任何网站，提供100%业余爱好者为ff扩展，我会感谢它，它的2天我爬互联网没有停止，但我找不到一个完整的解决方案！
感谢您的阅读。
浏览 3提问于2014-01-26得票数 0
我是茉莉花和RequireJS的一个完全的菜鸟，所以任何帮助都是非常感谢的。
我们有以下目录结构
/assets
/libs <- populated by Jam
/scripts
/tests
我正在尝试设置Jasmine + Grunt + RequireJS来运行我的测试，但是我一直得到以下错误，当我运行我的任务咕噜茉莉花时，我在RequireJS站点上查看了这个错误，但在我看来，一切都已经就绪。
Error: scripterror: Illegal path or script error: ['scripts/MyModule']
这
浏览 2提问于2013-04-29得票数 10
回答已采纳
最近，我遇到了一个lead生成器工具，它可以让我通过谷歌搜索搜索LinkedIn联系人，结果链接显示在谷歌搜索结果旁边的空白区域。
它捕获当前页面上的所有链接，并在右侧显示它们。我想做一些类似的事情。我如何才能做到这一点？google API中有没有可用的帮助？如何在Google搜索结果页面上获取我的自定义表单？
浏览 0提问于2017-10-20得票数 0
1回答
我遇到了抓取速度慢的scrapy (大约1页/秒)。我正在从aws服务器上抓取一个主要网站，所以我不认为这是一个网络问题。Cpu利用率远远不到100，如果我启动多个抓取进程，爬行速度会快得多。
Scrapy似乎爬行了一大堆页面，然后挂起了几秒钟，然后重复。
我已经尝试过了: CONCURRENT_REQUESTS = CONCURRENT_REQUESTS_PER_DOMAIN = 500
但这似乎并不能真正使指针超过20。
浏览 0提问于2012-11-22得票数 8
1回答
框架中的独立前端和后端
、、、、
我是Spring框架的新手，我想学习如何完全分离前端(html，js等)。和后端(Java)。
我将使用RESTfull服务，使用JSON。我想我要构建一个页面应用程序。
我不喜欢jsp页面中显示的大多数教程。
我看到我的朋友公司项目(使用Spring )，他们使用嵌入式Jetty服务器，在服务器配置中，他们为前端和后端路径分配了两种不同的路径。
我看到前端代码，在后端只有html、javascripts等，方法是一样的。(完全分开！！)
我的问题是：“他们如何从前端传递请求到后端，如何从后端获得结果并更新前端”。
此外，他们还使用Maven后端和前端，在根中定义为模块。
你能和我分享一些教程
浏览 1提问于2015-04-11得票数 2
回答已采纳
我正在通过web服务搜索SharePoint服务器。当web服务返回Word/Excel/PowerPoint文档时，它们包含指向实际文件的链接，例如。当web服务返回PDF文档时，它们包含指向链接到PDF文档的页面的链接，例如包含指向的链接的。我已经尝试了_vti_bin/search.asmx操作、查询和QueryEx，但没有成功。获得实际文档的链接以便我的应用程序可以下载它的最佳方法是什么？
不幸的是，我使用的是一个大型的共享SharePoint安装，而且服务器配置不太可能被更改。
浏览 0提问于2010-09-18得票数 0
谷歌可以很好地索引我的Angular.js应用程序的内容，例如，它执行JS，XHR，整个交易，但由于某些原因，标题没有正确索引，仍然是静态的HTML备用(默认标题由超文本标记语言设置，在JS执行之前)。
在index.html中，我有：
<title ng-bind="title + ' — Default Title'">Default Title</title>
每当路由改变时，它就像这样设置：
app.run ['$location', '$rootScope', ($locati
浏览 2提问于2014-05-19得票数 2
通常，indexed_search只对已经访问过的页面进行索引。如果用户没有访问过该页面，则不会有搜索结果。有没有一种不需要访问就能索引所有页面的方法？或者我必须使用另一个扩展？
Typo3: v4.2.8 Indexed_search: v2.11.1
浏览 0提问于2012-01-16得票数 0
回答已采纳
SharePoint 2010 search中的爬网程序影响规则和爬网规则有何不同？
浏览 1提问于2011-02-13得票数 4
回答已采纳
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？
此外，我正在尝试在我的python代码中执行一个函数或方法来自动更改mi IP。我所看到的是，最好的方法是通过TOR浏览器(将其用作从页面获取数据的搜索引擎)，但我无法使其工作。你对创建这个函数有什么建议吗？
谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
以前，我已经阻止了搜索引擎机器人，以防止使用robots.txt文件爬行我的网站，但现在我想取消阻止它们。 我更新了robots.txt文件，并允许搜索引擎机器人爬行我的网站，但搜索引擎似乎仍然使用我的旧robots.txt文件，我如何告诉搜索引擎使用我的新robots.txt文件？或者是我的robots.txt文件有什么问题？ 我的旧robots.txt文件的内容： User-agent: *
Disallow: / 我的新robots.txt文件的内容： User-agent: *
Allow: /
# Disallow these directories, url types &am
浏览 27提问于2019-03-24得票数 2
回答已采纳
微软SharePoint 2013。我有一个任务列表，其中有一些日期列。每当我尝试在列表上方的Serach框中搜索日期值时，我都得不到任何项目。其他值在搜索框中工作正常。请帮帮我。 未启用内容审批
浏览 10提问于2019-04-16得票数 0
我需要从一个不属于我的域的页面中抓取一些数据。我知道如何加载页面服务器端，并分析它在各种不同的语言(asp.net，PHP等)，然而，我需要抓取页面后，它已经登录。
<div id="profile" data-userid="1234"></div>
除非登录，否则data-userid属性中不会有ID。可以在服务器端登录站点吗？(我确实有登录凭据)
谢谢,
托马斯
浏览 0提问于2012-03-23得票数 0
回答已采纳
使用Sharepoint 2010企业搜索，我们正在尝试爬行基于内部媒体维基的维基站点。搜索失败，错误为：“该URL已永久移动。( URL重定向至... )”。
由于wiki站点具有区分大小写的URL，因此当Sharepoint 2010尝试使用小写URL名称进行爬网时，Wiki会说“页面不存在”并使用301！重定向
有人有解决方案吗？提前谢谢。
浏览 1提问于2011-05-17得票数 4
回答已采纳
我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：
domain'.sharepoint.com/_api/search/query?Querytext='res1a2b3c4d5e‘
基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/上传的任何文档，我将不会得到结果。
如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百
浏览 2提问于2017-04-18得票数 1
1回答
我正在尝试更改searchResult.aspx页面上“链接到文档”的图标。我在结果的xslt中添加了以下内容，但是结果the部件永远不会呈现，这意味着代码被破坏了。我尝试关注SP2007文章()，但我的环境是SP2010。请提个建议。
<div class="srch-Icon" id="{concat($currentId,'_Icon')}">
<xsl:if test="contenttype='LegalLinkedDocument'">
<img align=
浏览 0提问于2012-07-23得票数 0
回答已采纳
我使用robots.txt文件来防止爬虫抓取特定的页面。当我想要阻止在/folder/myfolder/中爬行myfolder中的所有内容时，我可以将robots.txt放在/folder/myfolder/robots.txt中并写道：
User-agent: *
Disallow: /
或者我必须将robots.txt放在/robots.txt中并设置：
User-agent: *
Disallow: /folder/myfolder/
谁知道呢？
浏览 3提问于2016-12-03得票数 1
我正在尝试建立一个chrome扩展，以供许多用户使用。这个chrome扩展将总是从同一个网站抓取数据。 经过在线培训后，我知道我必须将抓取逻辑放在内容脚本中。现在，由于要抓取的网站包含许多页面和链接，我正在尝试以一种扩展用户看不到主窗口打开不同链接的方式进行抓取。 您将在下面找到内容脚本的起始点 chrome.runtime.onMessage.addListener(function(request,sender, sendResponse){
if (request.todo=="extractData") {
alert("before launchin
浏览 14提问于2019-08-27得票数 0
1回答
我使用Python和Scrapy来回答这个问题。
我试图抓取网页A，它包含指向网页的链接列表-- B1、B2、B3、.每一个B页面都包含一个指向另一个页面的链接，C1、C2、C3、.，其中包含一个图像。
所以，使用Scrapy，在伪代码中的思想是：
links = getlinks(A)
for link in links:
B = getpage(link)
C = getpage(B)
image = getimage(C)
然而，当我试图在Scrapy中解析多个页面时，我遇到了一个问题。这是我的代码：
def parse(self, response):
浏览 1提问于2013-06-10得票数 5
回答已采纳
我正在构建一个php+querypath爬虫来构建一个想法的原型。我担心一旦我运行它，目标站点可能会以某种方式受到影响，因为它有大量我想要抓取的相关页面--目前有1361个页面。
有什么建议可以将对目标站点的影响降到最低？
浏览 2提问于2012-03-28得票数 0
回答已采纳
我正在使用请求库(gzip已启用)，它会因此错误而崩溃。
似乎这个错误发生在这一行，
response.body = response.body.toString(self.encoding)
包含这一行的范围，
response.body = Buffer.concat(buffers, bufferLength)
if (self.encoding !== null) {
response.body = response.body.toString(self.encoding)
}
完全的斯塔克迹，
Error: Cannot create a string longer than 0x
浏览 9提问于2021-03-23得票数 4
回答已采纳
我的本意是只想爬取xxxxx，为何标签也被爬取了呢
scrapy.py（项目文件）：
图片
pipeline.py:
图片
浏览 60提问于2023-08-23
嗨,
我有一个自定义的索引连接器，通过AssociationNavigator方法与实体相关联。为了( SharePoint 2013的)搜索爬网关联实体，我们需要在关联实体中设置'DirectoryLink‘属性或'AttachmentAccessor’属性，如下所述：*
当我设置DirectoryLink属性时，搜索将搜索关联的实体(子实体)和父实体。
但是，当我将子实体设置为作为附件进行爬网时，如果使用AttachmentAccessor属性，爬网程序只会爬行父实体，而忽略相关实体，因此不会对其进行索引。
这是自定义连接器的一些问题吗？就像在帖子里一样。如果更改为.n
浏览 4提问于2013-07-12得票数 1
我想在我的网站上看到所有公开访问链接的列表，这样我就知道用户可以访问哪些页面。是否有网站或应用程序可以抓取我的网站并显示此类信息？
浏览 1提问于2011-12-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
