1回答
我使用角js作为我的web前端，ASP.NET作为我的后端。我正看着和，这两个看起来都像个卵子(对我来说)。
浏览 4提问于2013-09-17得票数 0
回答已采纳
我有一个Kentico 12 MVC站点，其中的cms和我猜“客户端”站点在同一服务器中，但独立的IIS条目。一个叫做admin.site.com，另一个叫做dev.site.com。页面容器>页面类型"Product“如果我使用Pages Index和search，它只抓取站点的内容小部件
浏览 19提问于2020-05-08得票数 0
我是一个相对新手的程序员，对PHP有很好的理解，但更多的是阅读，理解和复制我需要的部分，而不是从头开始开发。我已经查看了cURL，但似乎没有提供我正在寻找的东西，除非我遗漏了什么？
浏览 5提问于2013-02-21得票数 0
3回答
我想知道为什么爬虫不运行javascript来获得呈现的页面和索引。这背后有什么原因？或者这是搜索引擎未来可能会出现的一个缺失的特性？
浏览 4提问于2013-10-10得票数 17
回答已采纳
2回答
但是正如您所知道的，GWT返回纯空的HTML页面，其中包含.js文件中包含的数据。
那么，Ping服务将无法提取预定义的关键字，这是真的吗？？
浏览 1提问于2010-11-04得票数 1
回答已采纳
1回答
我在GUI环境中使用Qt创建了一个用于特定任务的简单web爬虫。现在，我想将它自动化(使用cron)，并使用纯非GUI环境所必需的。我试图将代码移植到一个非GUI应用程序，但没有成功。我有一些问题：
如果仍然不可能，您建议获得和解析HTML页面的库是什么？(多平台和C
浏览 0提问于2012-09-20得票数 1
我使用的是ajax驱动的WordPress主题，它有像www.example.com/#!/page这样的hashbang URL。我想知道我可以为每个页面添加自定义标题和描述，因为搜索引擎优化？该网站还没有索引，所以我看不到谷歌如何看到带有hashbang URL的页面，但我假设它将具有与主页相同的标题？顺便说一句，这个网站是www.jsomedia.com
浏览 0提问于2012-10-28得票数 1
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
6回答
在我的程序中，用户可以加载带有链接的文件(它是一个text爬虫)，但是我需要验证用户选择的文件是纯文本还是其他什么(只允许纯文本)。
有可能这样做吗？
浏览 15提问于2011-07-02得票数 8
回答已采纳
1回答
向机器人隐藏代码
、、、、
有没有一种方法只对爬虫隐藏页面的特定部分？那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。但没有理由不让智能js阅读爬虫来隐藏它。麦芽酒
浏览 6提问于2014-10-16得票数 0
回答已采纳
我正在阅读angular的服务器端渲染文档，因为它们提到服务器端渲染是帮助爬虫。我知道在服务器端渲染爬虫可以获得整个dom，但爬虫也可以与组件交互，那么它如何帮助爬虫呢？
浏览 18提问于2019-09-15得票数 0
1回答
我要做个爬虫。对于http请求，我曾经这样做过。', function () { }); http.request(options, callback).end(); throw er; // Unhandled 'error' eventError: getaddrinfo ENOTFO
浏览 2提问于2015-01-18得票数 1
回答已采纳
登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个好主意，但如果爬虫不能使用(当然是内
浏览 2提问于2013-03-18得票数 3
我正在工作的Backbone.js/木偶网站，需要搜索引擎优化(SEO)。我们使用的是java/spring RESTful后端和Apache2.2 We服务器。到目前为止我想出的解决方案是：
对于启用javascript浏览器的普通用户，使用纯客户端骨干实现。使用Apache的mod_rewrite将所有路径路由到我们的index.html页面，路径完好无损，以便backbone.js返回正确的页面，url保留其形式。使用Apache的httpd.conf文件嗅探机器人/爬虫，并创建重写
浏览 5提问于2013-03-08得票数 6
如何使用爬虫来点击执行js代码的链接，这个链接没有HREF属性。爬虫可以通过客户端在页面上执行js代码吗？
浏览 82提问于2021-02-03得票数 0
1回答
问题是爬虫找不到规范的站点，因为它是通过Angular动态加载的。有没有可能绕过这个限制，比如在Angular项目的索引站点中放置对所有对象的引用？更清楚地说：object的详细视图: mysite.com/#/ detail /object1
如果我根据当前显示的对象动态添加对amp页面的引用，爬虫将找不到amp
浏览 1提问于2017-09-18得票数 0
我的问题是：
SSR将如何与搜索引擎爬虫工作，以了解我的文章存在？所以，如果我要搜索“我的网站条款”或“我的网站条款栏”，它如何知道这些不同的文章存在？
浏览 2提问于2017-03-01得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
