我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
3回答
第三:向用户公开一个基于Django的前端，让他们搜索抓取的数据。基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有什么建议吗？或者我是否应该在第二步中加入“变成Django友好的东西”，并编写一些胶水代
浏览 0提问于2009-06-09得票数 2
1回答
我在Scrapy中有两个爬虫，它从网站上删除一些数据，然后最后存储在数据库(sqlite3)中。现在我想使用Django来管理。Django必须管理爬虫，即激活、停用、删除等。类似地，数据库中的数据将在Django的管理中列出。所有的爬虫都要从Django跑。到目前为止，我已经学习了如何在Django中使用自定义命令，但我还无法找到其余的部分。有人能帮我提个主意吗？
浏览 3提问于2014-02-04得票数 1
回答已采纳
1回答
因此，当爬虫请求URL时，Django服务器请求节点服务器，该节点服务器调用React.renderToString并生成HTML。HTML被发送到Django，Django将其发送给爬虫。当我调用Node并请求数据，然后将其发送给爬虫时，这里不存在性能问题吗？与在Django中直接呈现它和发送相比，不存在性能损失吗？SEO在我的应用程序中非常重要，但我也想使用客户端呈现。
浏览 2提问于2015-08-13得票数 2
回答已采纳
2回答
我是个网络爬虫新手。我要建立一个搜索引擎，爬虫保存Rapidshare链接，包括找到Rapidshare链接的URL…经过一些搜索，我发现可以与Django一起工作我试图查找有关nutch与Django集成的信息，但一无所获
我希望你能给我建这样的网站的建议…尤其是爬虫
浏览 4提问于2011-01-07得票数 5
1回答
它在django项目中。蜘蛛会抓取数据并将其放入数据库中，django将使用该数据库来显示相同的数据。news.models导入LatestNews导入DjangoItem 类名称(DjangoItem)：#在这里定义您的项目的字段，如：#NewsScraperItem= scrapy.Field() django_model
浏览 16提问于2020-06-29得票数 0
回答已采纳
3回答
为了进行查询，我在后端使用了rest API和Django。由于所有内容都是使用javascript代码呈现的，当爬虫访问我的博客时，它们看到的只是一个空页面。我正在考虑查看用户代理，每当用户代理来自爬虫时，我都会将页面的渲染版本提供给它，但我在实现上述方法时遇到了问题。为网络爬虫创建一个在后台SEO友好的rest API和Django的单页应用程序的最佳实践是什么？
浏览 0提问于2017-08-16得票数 1
我很好奇，我使用Django运行runserver，第一个请求是我正在做的，但是其他的呢？我不提供百度服务器，为什么有人从我的临时服务器请求它？
浏览 0提问于2018-02-02得票数 0
2回答
我正在使用django开始抓取抓取spiders = scrapyd.list_spiders("defaultscrapyd.schedule("default", spider, list_id=list.id, spiders_number=3)
我可以基于list_id连接所有与单个请求相关的爬虫吗将信息从spider发送到django很简单(我可以获得djang
浏览 1提问于2020-03-26得票数 0
我知道这个问题已经问了很多次了，提供了一些解决方案(比解决方案更好的解决方案)，但是我不明白为什么我不能从一个刮刮的项目外部导入python脚本。我的意思是，对于任何其他python脚本，我能够通过提供良好的导入来完成它，但是在scrapy项目no中，我导入的每个脚本都必须位于scrapy项目中。
浏览 1提问于2022-03-09得票数 0
谷歌网站管理员工具通知谷歌爬虫机器人已经停止爬行一个特定的网站，因为一个“无法到达的robots.txt”。不幸的是，google并没有给出任何关于爬虫错误的额外细节。我有过作为我在base.html模板中的元标记之一，我为每个django应用程序做了这件事，而且我在其他任何网站上都没有这个问题我试图通过安装和配置django机器人()并将其添加到我的url中来解决这个问题：
(r
浏览 4提问于2013-08-23得票数 0
回答已采纳
由于网络爬虫在没有任何请求数据的情况下访问了我的网站的某些部分，我收到了很多发送到我的电子邮件中的错误，我想知道在Django中处理网络爬虫的最好方法是什么？
浏览 0提问于2010-12-19得票数 2
回答已采纳
我的项目包含一个网络爬虫，这是目前还不是很好的表现，大约需要7分钟才能完成。现在，由于已经有了django restframework来访问django应用程序的数据，所以我认为最好有一个REST端点，在那里我可以通过一个简单的POST请求从远程启动爬虫。但是，我不希望客户端同步等待爬虫完成。我只想马上给他发送信息，说爬虫已经启动，并在后台启动爬虫。statusfrom re
浏览 3提问于2017-10-18得票数 7
回答已采纳
我想在settings.py中设置一个变量ENV，如下所示：path_django_site = os.path.join(os.path.dirname(__file__), "../../") os.environ['DJANGO_SETTINGS_MODULE'] = 'pjt1.settings.dev'
ENV = os.environ[
浏览 0提问于2015-02-12得票数 2
我有一个简单的Django网站，有2页。有点像那些愚蠢的buzzfeed小测验。但是，facebook爬虫也会被重定向，因此共享内容最终会成为主页，而不是个性化的结果页面。
tl；博士:我如何在不重定向facebook爬虫的情况下重定向进来的人类用户？理想情况下，我希望在django视图中这样做，而不是在.htaccess中。
浏览 0提问于2014-02-15得票数 1
回答已采纳
我想知道如何在指定的时间内自动执行Django中的代码。我正在构建一个收集信息并将其存储在JSON文件中的网络爬虫，以及一个读取文件并将文件信息存储在SQLite数据库中的函数。目前，我必须运行爬虫和功能，将数据保存在数据库中，只需单击一个按钮，但这是非常无效的。最好是自动更新数据库信息，大约每6小时更新一次(当然，只有在服务器正在运行的情况下)。
浏览 25提问于2019-08-10得票数 0
回答已采纳
1回答
因此，我正在做以下项目：
我正在使用Django开发一个网站，将作为一个网络爬虫的远程管理工作。更具体地说，我用Scrapy创建了一个蜘蛛，可以从另一个网站下载一些PDF文件。我的目标是找到一种通过POST (我猜)请求调用爬行器的方法，并让爬虫在我的Django视图中运行。下载的文件将存储到运行网站的服务器上，而不是存储到运行爬行器的任何人的个人计算机上。我是Django和Scrapy的新手，所以我不知道如何让它们协同工作来实现我正在寻找的目标，有人能为我指引方向吗？
浏览 0提问于2017-08-16得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
