我想在我的网站上看到所有公开访问链接的列表，这样我就知道用户可以访问哪些页面。是否有网站或应用程序可以抓取我的网站并显示此类信息？
浏览 1提问于2011-12-04得票数 0
我正在尝试创建一个托管元数据字段，但它没有显示在我的爬网列中。它是一个自定义字段。我不确定哪里出了问题，但当我搜索时，我唯一的结果是查看与列表相关的所有项目页面。它似乎不会搜索列表项本身。我不知道这是否相关。
我将此列添加到我的视图中，以备需要时使用，但这并不起作用。
浏览 1提问于2010-06-15得票数 1
1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 543提问于2024-01-06
2回答
我想知道从什么时候起Facebook上的粉丝就是粉丝了？我想出的唯一办法就是抓取粉丝页面的整个feed，然后像墙上的帖子一样追踪第一个帖子。然而，这种方法并不十分准确。
有什么想法吗？
浏览 2提问于2011-05-19得票数 0
回答已采纳
请任何人让我知道，我如何才能识别更新的网址去重新抓取？当页面要重新爬行时，我只想抓取页面的更新内容，而不是已经抓取的旧内容。提前谢谢。普拉亚..。
浏览 0提问于2012-04-20得票数 0
我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：
domain'.sharepoint.com/_api/search/query?Querytext='res1a2b3c4d5e‘
基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/上传的任何文档，我将不会得到结果。
如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百
浏览 2提问于2017-04-18得票数 1
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？
此外，我正在尝试在我的python代码中执行一个函数或方法来自动更改mi IP。我所看到的是，最好的方法是通过TOR浏览器(将其用作从页面获取数据的搜索引擎)，但我无法使其工作。你对创建这个函数有什么建议吗？
谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
通常，indexed_search只对已经访问过的页面进行索引。如果用户没有访问过该页面，则不会有搜索结果。有没有一种不需要访问就能索引所有页面的方法？或者我必须使用另一个扩展？
Typo3: v4.2.8 Indexed_search: v2.11.1
浏览 0提问于2012-01-16得票数 0
回答已采纳
自动更新目录中的全文索引的内部系统进程(change tracking = on)需要很长时间才能完成，从而锁定了希望同时访问同一个表的其他查询。 除了将更改跟踪设置为关闭之外，是否可以采取其他措施来避免这些影响？保持较小的目录大小是否有帮助，即每个目录一个表？全文目录目前有34 GB大小，其中包含一些包含大量记录的非常大的表。
浏览 22提问于2019-02-22得票数 0
回答已采纳
我希望我的站点地址栏在我转到子页面时不要更改它的地址，它应该显示我的index.html，即使我进入子页面。
例如，如果我打开www.xyz.com并导航到任何页面，它仍然应该显示www.xyz.com。
我听说用.htaccess可以做到这一点，可能吗？
浏览 1提问于2011-03-07得票数 2
回答已采纳
我已经构建了一个web应用程序。
一旦你登录了，就会显示两个Google Adsense的广告。
问题是，广告中的产品几乎总是一样的，即使我的webapp是一个任务/项目管理工具，我猜有很多产品是用Google Adsense做营销的。
Google不能访问我的用户的私人页面(我不想这样)，所以我认为它只是爬行登录页面，但是，检查web服务器访问日志，谷歌似乎没有试图读取任何页面。
我猜它可能使用了某种缓存。
我的最终目标只是让更多种类的产品在我的Google Adsense上做广告。
谢谢，汤姆
浏览 6提问于2010-10-04得票数 1
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格：
import scrapy
class PeopleSpider(scrapy.Spider):
name="People"
start_urls=[
'http://canada411.yellowpages.ca/search/si/1/519-896-7080/',
]
def parse(self,response):
for people in response.css("div.person-search__table--row"):
yield
浏览 0提问于2017-02-16得票数 0
我的问题是:我有sharepoint 2007 web应用程序和windows server 2008操作系统。我在SharePoint2007中做搜索，它工作得很好。最近我添加了一个新的网站页面，但它没有出现在搜索结果中。我也在爬虫日志中查找了它，但我没有找到页面的url。
新信息当我切换到windows身份验证时，一切都很好，页面是在搜索process.but中找到的，切换回表单身份验证不会使网页出现在搜索结果中。
我的问题是:如何让新页面出现在搜索结果中？
浏览 1提问于2013-01-31得票数 0
我们有三个域名非常接近重复的内容(Magento网站)。让我们称它们为production.com、development.com和staging.com。
我在development.com和staging.com上有机器人无索引。我还启用了htpasswds。谷歌对这些域名的搜索显示，它们还没有被索引。然而，当我登录到该软件的后端时，我开始收到来自Chrome的网络钓鱼警告。
我需要尽快停止这一切。如果警告扩散到前端，我们将看到相当严重的后果。
最佳的行动方案是什么？
浏览 1提问于2013-12-07得票数 0
我所做的是：
crawl 获取页面的所有链接，将它们放入列表启动一个新的爬虫程序，它访问列表中的每个链接下载它们
一定有更快的方法，当我访问页面时，我可以直接下载链接？谢谢！
浏览 3提问于2012-01-10得票数 6
回答已采纳
SharePoint2010 search中的索引数据库和属性数据库有什么不同？
浏览 5提问于2011-02-15得票数 0
回答已采纳
1回答
我正在制作一个子网站，我想一个新的CSS表，这是削减到什么页面需要。
理想情况下，我想要的是一个firefox扩展，它可以显示当前查看的页面上使用的CSS，而不是该页面上未使用的CSS。
这个是可能的吗？
浏览 4提问于2010-12-22得票数 0
我一直在改进web应用程序前端的结构，并做了一些事情，比如合并和缩小css/js文件，版本文件，以及构建一些模板。然而，我查看了一些web工具，发现有一大堆未使用的js/css。有任何关于-discovering的建议完全必要的代码-combining，缩小，并为页面的正确代码，我主要寻找像一个逻辑建议，任何代码样本都会很棒。我特别在apache上使用python、cheetah模板、yui压缩器、用于版本控制的修改时间、mod_rewrite和gzip。
浏览 1提问于2011-05-18得票数 3
回答已采纳
5回答
谷歌什么时候会重新抓取一个网站？为什么Google在Cache中有同一页面的两个版本？？
forum.portal.edu.ro/index.php?showtopic=112733&st=25/ forum.portal.edu.ro/index.php?showtopic=112733&st=50为：缓存页
浏览 14提问于2009-08-04得票数 0
回答已采纳
1回答
我正在使用SQL Server2008 R2全文索引。我注意到我搜索的一些结果没有包含在结果中。在进一步的调查中，我发现可疑数据包含ASC控制字符()。我的表是一个简单的平面结构，如果任何行包含这些字符中的一个，则不会显示结果。
只要我替换数据中的字符，结果就会出现。我在查询中使用CONTAINS。
我找不到一个可以证实这种行为的链接。我可以从数据库中删除这些字符，但如果能确认并了解原因会更好。任何帮助都将不胜感激。
浏览 0提问于2013-09-02得票数 0
1回答
单个IP请求的精确限制
、、、
我正在开发一个应用程序，它从所有字母中获取前20个页面。基本上，在这个时候没有限制的问题。但是我需要知道每秒从一个IP地址发出的请求的确切数量是多少？
诚挚的问候,
浏览 1提问于2011-11-16得票数 0
回答已采纳
微软SharePoint 2013。我有一个任务列表，其中有一些日期列。每当我尝试在列表上方的Serach框中搜索日期值时，我都得不到任何项目。其他值在搜索框中工作正常。请帮帮我。 未启用内容审批
浏览 10提问于2019-04-16得票数 0
我有一个MOSS 2007实例，其中我的客户希望我的网站配置文件中的内容不显示为链接。我们如何才能做到这一点？
我尝试从SSP中删除首选搜索中心url。它做到了这一点，但它也打破了位于页面右上角(欢迎菜单下方)的标准搜索功能。
浏览 1提问于2009-09-28得票数 0
1回答
我已经在wiki库中创建了一个新页面。问题是，当我搜索已创建的页面时，它显示以下错误。如何解决这个问题？ error searching
浏览 27提问于2020-11-04得票数 0
我需要从一个不属于我的域的页面中抓取一些数据。我知道如何加载页面服务器端，并分析它在各种不同的语言(asp.net，PHP等)，然而，我需要抓取页面后，它已经登录。
<div id="profile" data-userid="1234"></div>
除非登录，否则data-userid属性中不会有ID。可以在服务器端登录站点吗？(我确实有登录凭据)
谢谢,
托马斯
浏览 0提问于2012-03-23得票数 0
回答已采纳
我有一个ngx-datatable，其中有几个列，如下所示：
<ngx-datatable-column name="PLZ/Ort" prop="plzCity" [flexGrow]="1" >
<ng-template let-column="column" let-sort="sortFn" let-sortDir="sortDir" ngx-datatable-header-template>
<span (click)="so
浏览 0提问于2019-05-15得票数 0
我打算在页面加载之后，使用JS将这样的预取链接注入文档：
<link rel="prefetch" href="https://www.example.com">
这会启动预取吗？或者，只有当rel=、prefetch和preload在页面加载时是文档的一部分时，它们的链接才会受到尊重？
浏览 3提问于2021-08-10得票数 1
回答已采纳
我们使用散列片段之后的信息来使用JavaScript显示不同的页面，这样就不会迫使浏览器再次加载整个页面。例如，指向页面的直接链接可能如下所示(book_id/ page _id)：
www.example.com/book#1234/5678
由于我们没有直接链接到每个页面而是书籍，我们正在考虑将这些直接链接添加到sitemap.xml中。
我的问题是，谷歌是否正在考虑将其作为一个单独的链接，或者只是忽略散列片段之后的所有内容，在正常的爬行过程中，或者我们是否将其包含在sitemap.xml中？
浏览 0提问于2011-05-14得票数 5
回答已采纳
2回答
因此，给定以下标记，如果用户浏览器禁用了JavaScript，他们将被重定向到另一个页面，该页面尝试在没有JavaScript的情况下模拟站点功能(可能是动态呈现的页面)，或者是一个警告页面，通知用户必须启用JavaScript才能使用该站点
<!doctype html>
<html>
<head>
<!-- If the browser has javascript disabled, the browser will be redirected-->
<!-- to a page that does not requi
浏览 7提问于2011-09-27得票数 2
1回答
Nutch:数据读取和添加元数据
、、、、
我最近开始寻找apache nutch。我可以做设置，并能够用nutch抓取我感兴趣的网页。我不太理解如何读取这些数据。我基本上希望将每个页面的数据与一些元数据(现在是一些随机数据)关联起来，并将它们存储在本地，稍后将用于搜索(语义)。我需要使用solr或lucene来做同样的事情吗？我对所有这些都是新手。据我所知，Nutch是用来抓取网页的。它可以做一些额外的功能，比如向爬行的数据添加元数据吗？
浏览 1提问于2012-05-27得票数 5
回答已采纳
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。 有时因为脚本加载了很长时间，我在浏览器中遇到超时， 但在后台，我继续说。我在我的数据库里看到了。 我能防止这种情况吗？..现在，如果我停止webserver，这是可能的。 谢谢你，并致以最良好的问候。
浏览 0提问于2010-01-22得票数 0
我的node.js项目中有一些自定义类模块。是否可以从另一个自定义模块访问自定义模块？如果是，我可以使用什么路径表示法？我似乎想不出一个不会产生错误的错误：Error: Cannot find module 'someModules/DB'。我可以从我的根require('./someModules/DB')脚本导出和index.js罚款。但是它不适用于someModules/Table。以下是我的目录结构：
project root
-index.js
-someModules
--DB
---index.js
--Tabl
浏览 3提问于2017-09-11得票数 1
回答已采纳
我正在存储一个PHP数组，其中key=>value对是用于在网站上构建jQuery UI选项卡的信息。
存储在MySQL数据库中的字符串如下所示：
A:2：{i:0；a:2：{i:1；s:9：“信息”；i:2；s:643：“本节关于fooLorem ipsum ...”；}i:1；a:2：{i:1；s:14：“更多信息”；i:2；s:465：“Lorem ipsum ...";}}
(不是有效的序列化数组或html，因为我出于格式原因截断了冗长的内容)
我想允许此内容馈送到Sphinx (全文索引)的网站搜索目的。基本上，Sphinx只是抓取数据库的内容并索引它找到的内容，取决于
浏览 0提问于2009-09-21得票数 0
回答已采纳
1回答
可以使用带有伪URL的Apify抓取多个页面吗？ 当人们问同样的问题时，答案大多指向伪URL，如果有可能或不可能这样做，并不会直接解决问题。 如果我在运行爬虫的时候不知道伪URL，并且我从一个页面上抓取了10个链接-然后想要抓取这10个链接，那怎么做呢？ https://kb.apify.com/tutorial-creating-your-first-crawler/crawling-multiple-pages
浏览 15提问于2019-03-19得票数 0
3回答
我有个任务要做。
我需要下载一个网页，看看该网页是否包含任何RSS馈送。
我知道如何使用C#中的Http将网页下载为字符串，但如何确定http页面字符串中是否包含任何RSS？
谢谢
杰克
浏览 1提问于2009-11-19得票数 2
如何设置每个主机要索引的最大页数？我不想索引所有百万页的网站，我只想索引前100000个找到的页面。
浏览 4提问于2010-10-06得票数 1
我用node.js做了爬虫。我想爬一些网站的基础上，每小时。
我试着找出我应该使用的用户代理，但是我只得到了像谷歌机器人和必应机器人这样的结果。我不知道我能不能利用这些用户代理。
你能告诉我我应该使用哪个用户代理吗？
浏览 1提问于2018-09-10得票数 1
回答已采纳
我正在寻找一种方法来搜索站点(或顶级页面列表)，并确定是否实际需要包含在相关页面上的JS文件，或者哪些页面确实需要特定的JS文件。
服务器端语言是PHP.页面的实际显示不会是个问题。
我继承了一个非常大的网站。到目前为止，惯例是，如果在任何子页面上需要一个JavaScript文件，则通常会将其放在每个页面的模板中。没有条件。没有缩小。没有连接。
展望未来，我们将推出require.js，但目前还需要在遗留页面上做一些工作。
30k+文件在网页目录中，Google索引域的350k+页面。
浏览 4提问于2013-12-10得票数 4
如何取消云社区的文章同步？
或者，如何设置只同步原创的文章??????????????????????????????????????????????????
浏览 261提问于2020-10-24
我尝试在SharePoint Document Library上搜索文件(例如，默认的“根目录”)。我上传了一些测试文件，或者在网上创建了新的办公文件，并提出了一些搜索请求，例如https://graph.microsoft.com/v1.0/sites/root/drive/root/search(q='{query}')，直到昨天，一切都很好。
现在我开始在SharePoint上编辑文件或创建/上传新的文件，对于这些编辑的或新的文件，我有一个问题，当我搜索它们时没有得到结果。“旧的”文件，我开始创建的时候，我发现，虽然，只要我不编辑它们。
为了获得访问权限，我在AAD中注册
浏览 8提问于2018-08-31得票数 0
回答已采纳
我已经参考了本教程()来使用Hbase设置Nutch2.2.1。我已经完成了教程中给出的设置，但是没有清楚地提到如何抓取数据并将数据存储到Hbase表中。
你能为我推荐一些相关的链接/书籍来获得相同的信息吗？
浏览 3提问于2014-01-15得票数 3
2回答
如何使用Mechanize库查找网站上的所有链接？
我喜欢递归地解析内部链接，以便抓取一个网站的所有链接。
浏览 0提问于2012-07-23得票数 2
回答已采纳
我正在试着用我的应用程序设置prerender。我在客户端使用react，在服务器端使用express。我在prerender IO上设置了一个帐户，并按照站点的建议安装了prerender-node中间件。下面是我的服务器的样子： const express = require("express");
const bodyParser = require("body-parser");
const app = express();
const SocketManager = require('./sockets/SocketManager')
浏览 39提问于2020-03-31得票数 0
回答已采纳
我在Visual Studios 2012中创建了一个新的Azure云服务Web角色。ScriptManager包含在Site.Master页面中：
<asp:ScriptManager ID="ScriptManager1" runat="server">
<Scripts>
<asp:ScriptReference Name="jquery" />
<asp:ScriptReference Name="jquery.ui.combined" /&
浏览 3提问于2012-09-27得票数 1
回答已采纳
1回答
我想要达到这样的效果
给定一个文档，比如一个带有id的txt文件，我需要对其进行处理，根据单词进行词干提取，并从中生成索引表。但是这个索引表可能分布在3个系统上，可能是基于这样的标准:以字母a-h开头的单词在第一个系统上被索引，下一个三分之一在第二个系统上，最后三分之一在第三个系统上。但是我不知道我应该使用什么技术来实现这一点？索引表数据结构应该在RAM中，以便可以快速回答搜索查询(假设我们能够以这种方式对其进行索引，并让用户搜索来自不同系统的单词或句子)。这个目的可以通过使用JAVA Sockets来实现吗？
实际上，我们(5人组)正在尝试制作一个小型但分布式的搜索引擎。假设爬行已经完成，页
浏览 1提问于2014-08-23得票数 0
1回答
我正在尝试使用Python中的Scrapy在一些航班上运行航班搜索，然后将其导出为csv。这只是为了好玩，因为我对Scrapy有了更多的了解。
这是我所拥有的
from scrapy.item import Item, Field
from scrapy.http import FormRequest
from scrapy.spider import Spider
class DeltaItem(Item):
title = Field()
link = Field()
desc = Field()
class DmozSpider(Spide
浏览 1提问于2015-04-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
