腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在网站和独立应用程序中使用Django框架
、
我计划为它写一个
网络
爬虫
和一个基于
网络
的
前端
(或者至少是它找到的信息)。我想知道是否可以使用Django框架让
网络
爬虫
使用与网站相同的MySQL后端(而不是让
网络
爬虫
本身成为“网站”)。
浏览 1
提问于2009-06-04
得票数 1
回答已采纳
1
回答
gatsby和strapi有什么不同?
、
、
、
我对strapi和gatsby之间的区别有一点困惑。 两者一起使用还是选择其中之一好呢? 如果它们一起使用,它们是如何协同工作的(背后的机制)? 什么时候以及在什么情况下一起使用它们?
浏览 51
提问于2021-08-01
得票数 0
3
回答
网络
爬虫
与Django
前端
的接口
、
、
第三:向用户公开一个基于Django的
前端
,让他们搜索抓取的数据。基本上--对于用Django或现有的python
爬虫
编写我可以适应的
爬虫
有什么建议吗?不过,我真的需要一些可以从
前端
快速搜索的东西。
浏览 0
提问于2009-06-09
得票数 2
1
回答
在性能方面,为什么facebook不一次加载所有的
JS
文件?
、
登录后,我查看了facebook中的html代码,他们似乎对
JS
文件做了很多请求(根据firebug,多达20个)。所以,虽然我知道facebook需要加载许多
JS
和CSS文件(而不是一个
JS
和一个CSS文件),但我的问题是更通用的网站和
网络
爬虫
的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响
网络
爬虫
(googlebot和朋友)吗?我想提高性能,加载“稍后需要”的内容(text/
js
/css)似乎是个好主意,但如果<e
浏览 2
提问于2013-03-18
得票数 3
3
回答
非常简单的C++
网络
爬虫
/蜘蛛?
、
我试图在C++中做一个非常简单的网页
爬虫
/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的,以了解这个概念。我发现了这个: 然而,这是复杂的理解对我来说,因为我开始学习C++大约一个月前。
浏览 15
提问于2010-11-25
得票数 22
回答已采纳
3
回答
单页应用程序Web
爬虫
和SEO
、
、
、
我在
前端
使用框架将我的博客创建为单页面应用程序。为了进行查询,我在后端使用了rest API和Django。由于所有内容都是使用javascript代码呈现的,当
爬虫
访问我的博客时,它们看到的只是一个空页面。我正在考虑查看用户代理,每当用户代理来自
爬虫
时,我都会将页面的渲染版本提供给它,但我在实现上述方法时遇到了问题。为
网络
爬虫
创建一个在后台SEO友好的rest API和Django的单页应用程序的最佳实践是什么?
浏览 0
提问于2017-08-16
得票数 1
1
回答
如何访问Symfony中的PHPunit测试中的模板变量
、
、
我试图为控制器编写测试,而不是依赖于输出HTML (
前端
开发人员无疑会对此进行修改),我希望确保
前端
开发人员拥有他们需要的所有数据。 如何在PHPUnit测试中访问传递给模板的数据数组以便进行验证?我知道我可以假装呼叫控制器,而不是使用
网络
爬虫
,但这是最好的方法吗?
浏览 1
提问于2016-08-08
得票数 1
回答已采纳
3
回答
用PHP解释JavaScript
、
、
、
、
我的第一个想法是使用node.
js
,但由于node.
js
可以访问套接字、文件和其他东西,我想我更愿意避免这样做。的基本原理:--我正在用进行屏幕抓取,并且遇到了许多情况,其中的数据是由JavaScript在
前端
生成的,我想避免编写专门的过滤函数,以便在每个案例的基础上对JavaScript进行操作,因为这需要很多时间否决:--我不知道这个问题有什么争议,现代的
网络
爬虫
都知道,唯一的区别是它们往往不是用PHP编写的。1
浏览 6
提问于2010-12-02
得票数 15
回答已采纳
2
回答
如何打开需要node.
js
的web应用程序
、
、
、
我必须运行微
爬虫
,这是一个
爬虫
网络
应用程序,与node.
js
运行。我不知道如何打开这个应用程序,我下载了node.
js
,当我在node.
js
命令行中编写install npm和install bower时,什么也没有发生。我也不知道如何在安装后启动web应用程序。
浏览 2
提问于2014-09-28
得票数 1
2
回答
浏览器限制会影响网页
爬虫
吗?
、
、
return Redirect("/h"); return View(); 问题:如果我限制一些浏览器访问我的主视图,它也会限制对
网络
爬虫
的访问吗
浏览 0
提问于2013-02-21
得票数 0
回答已采纳
1
回答
使用Spring 3的动态作业调度
、
、
、
、
我已经开发了一个
网络
爬虫
,爬行以启动URL作为种子参数。如果可能的话,我希望允许用户根据作业来安排此任务。 目前我正在使用Spring 3.1.2和Hibernate。我需要给用户一个
前端
,它接收cronJob参数,并在此基础上运行
爬虫
。可以用弹簧来做吗。
浏览 6
提问于2012-08-28
得票数 5
回答已采纳
1
回答
如何在Heroku上连续运行和托管Node.
js
脚本?
、
我目前想部署一个网站排名API,为此,我需要一个
网络
爬虫
。事情是,我想让
网络
爬虫
运行24/7,以便它可以不断更新网站。但是,对于Heroku这样的服务,一个小时后服务器就停止了。我如何宿主一个总是在Heroku上活动的Node.
js
脚本。如果不可能,我还能做些什么呢?
浏览 0
提问于2021-01-21
得票数 1
回答已采纳
1
回答
搜索引擎,它根据非结构化数据创建有关主题的信息表。
、
、
、
我正在寻找一个web应用程序,它可以以与搜索引擎非常相似的方式从
网络
上收集数据,但它不会将结果作为标题和摘要的列表,而是将结果转储到一个表中,试图从其内部索引中的页面中提取元数据。(很久以前,谷歌有一个叫做Google Squared的
网络
应用程序。今天还有其他类似的工具吗?这是维基百科页面中的相关描述: Google从整个
网络
中提取结构化数据,并以类似电子表格的格式显示其结果。每个搜索查询返回一个搜索结果表,其中有自己的一组列--与搜索主题相关联的公共属性。
浏览 0
提问于2023-02-07
得票数 2
1
回答
单页应用程序的ReactJS服务器端呈现
、
、
、
、
我已经做了什么, 我想提供一个服务器端呈现我的we
浏览 2
提问于2015-07-30
得票数 8
2
回答
更新meta标签的content属性
、
我有这个:<meta name="keywords" content="" />谢谢
浏览 1
提问于2010-10-22
得票数 6
回答已采纳
1
回答
如何制作一个使用Javascript路由器的可索引网站?
、
、
、
、
我一直在开发一个使用Backbone.
js
路由器的项目,所有数据都是通过restful请求由javascript加载的。服务器使用可索引数据呈现此页面,当用户访问此页面时,我可以手动初始化Backbone.
js
路由器。当用户在某个地方共享该网站的网址时,它将不是一个可索引的页面,而且web
爬虫
可能无法识别该网址的内容。另外,
网络
爬虫
搜索页面中的额外字符串可能会让用户感到厌烦。我可以在服务器端从他们的用户代理中检测到流行的
网络
爬虫
,比如谷歌、雅虎、必应、Facebook,
浏览 1
提问于2013-01-06
得票数 2
回答已采纳
1
回答
爬取白页的可能解决方案
、
我正处于一个我必须编写的程序的开始阶段,该程序将从我拥有的大型数据库中提取用户,并将其与任何类似于Whitepages电话簿的内容进行比较。这样做的原因是为了用更新的相关联系信息更新存储在我的数据库中的任何旧联系信息。到目前为止,我只接触过Whitepages Pro,它提供了一个API,允许我对他们的数据库运行一些查询,并返回我认为是最新的信息。我可以访问用户的电话号码、姓名和地址,因此最初的想法是将旧的电话号码+姓名与更新的数据库进行比较,以更正旧的数据。我的问题是,对于我的问题,这看起来是一个好的解决方案吗?Whitepages似乎是我唯一可以使用的工具(它确实花费了300美元,但如果它
浏览 1
提问于2015-05-01
得票数 0
3
回答
如何防止昂贵的API被
爬虫
和
爬虫
吃掉?
我注意到,来自蜘蛛和
爬虫
的访问产生了对该API的数千次调用,而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分,即只有实际的访问者才能看到它,并且在抓取网页时不会生成API调用?
浏览 1
提问于2016-10-23
得票数 2
1
回答
HTTP:“差异:用户-代理”标题的单一页面反应应用程序,为机器人进行SSR?
、
、
、
、
我有反应
网络
应用程序。这是一个单一的页面应用程序,所以基本上有一个“空”HTML文件和一个
JS
包来完成这一切。我通过用户和机器人的User-Agent字符串来区分它们。所以这些都是可能的:ROBOT DESKTOP
浏览 0
提问于2021-01-07
得票数 0
回答已采纳
1
回答
node.
js
网络
爬虫
图像/视频
、
、
、
最近我一直在使用
网络
爬虫
,我已经想出了如何搜索文本,但有没有办法让我的
网络
爬虫
搜索其他东西,比如视频和图像,然后下载它们并组织它们。这是目前为止我的
网络
爬虫
:var cheerio = require('cheerio'); var URL = require('pagesToVisit.push(baseUrl + $(this).attr('href
浏览 3
提问于2016-09-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
优秀的前端JS框架
前端干货之JS图谱
可爱的前端JS框架
HTML+CSS+JS教程;前端
前端开发爬虫首选puppeteer
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券