一个是Python，另一个是MySQL爬虫应用程序，它可以读取/写入数据库。当我做docker-compose up时，我看到：我的问题是，为什么在DB容器中创建数据库之前，我的爬虫脚本还在运行？如何确保在运行爬虫脚本之前已经创建了数据库？:
M
浏览 5提问于2020-02-05得票数 1
我应该为网络爬虫使用哪个数据库引擎，InnoDB还是MYiSAM？我有两台电脑，每台都有1TB的硬盘。如果其中一个已满，我希望它自动保存到另一台PC，但读取应该保存到正确的PC；我该如何做到这一点？
浏览 1提问于2010-08-17得票数 1
回答已采纳
2回答
我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜欢用java编写代码，但我可以用任何
浏览 0提问于2010-11-11得票数 0
2回答
我有一个java脚本，它像爬虫一样工作，并将数据保存在MySql DB中。我想做的是建立一个移动应用程序(Andriod/ios)，这将连接到mysql数据库检索结果，并只是显示给用户。
浏览 3提问于2014-02-23得票数 0
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
内部页面我有这个功能 $query = mysql_query("UPDATE user SET visit = visit
浏览 5提问于2012-07-13得票数 0
回答已采纳
1回答
我有一个爬虫，从多个网站获取数据，并更新到mysql表的信息。我使用scrapy编写的crawler.The爬虫将插入/更新大量的列。是否可以批量插入/更新scrapy中的项目？
浏览 0提问于2015-02-07得票数 0
我有一个现有的AWS胶水爬行器，它的胶水连接器连接到一个成功运行的MySQL数据库。我需要将它移动到胶合v3，以便它使用更新的MySQL JDBC驱动程序(Glue 2.0作业使用MySQL JDBCDriverVersion5.1，而AWS 3.0使用MySQL JDBC驱动程序8.0.23爬虫是用boto3 3的glue_client.update_crawler创建/更新的。爬行器设置为使用JDBC胶水连接器，该连接器也是用boto3创建的，并且没有glue_version参数。关于bot
浏览 8提问于2022-12-02得票数 1
我想知道会话是否是由网络爬虫和机器人请求的页面创建的。我使用MySQL作为会话存储，并希望防止网络爬虫和机器人的请求创建不必要的会话条目。
浏览 0提问于2011-04-03得票数 3
2回答
我需要真正快速和持久的缓存为我的网络爬虫。它不需要像Java语言中的ConcurrentSkipListSet那样快，但肯定不能像我尝试过的那样使用基于散列索引的表的MySQL。
浏览 3提问于2011-08-20得票数 6
回答已采纳
我正在为Python Scrapy构建一个扩展，以获取爬虫相关的详细信息，如开始时间、结束时间、爬虫状态(打开、关闭或活动)。现在我需要在我的MySql数据库表中存储当前的时间戳。有人能帮我吗？我需要一个代码来连接MySql数据库从剪贴画代码，并做数据库相关的查询，如插入，选择等。谢谢..
浏览 3提问于2013-10-14得票数 0
客户计划使用Glue爬虫排除oracle模式或oracle表？Glue爬虫不支持Oracle和MySQL数据库的/数据库/模式/表，我尝试了许多不同的模式来排除oracle模式或oracle表，但结果并不是预测的。如何设计Oracle数据库或MySQL数据库的排除模式？测试是oracle服务的名称。test.APEX_030200.WWV_*
test.APEX_030
浏览 10提问于2020-12-25得票数 1
1回答
我需要一个开源的web爬虫在java开发的增量爬行支持。
Crawl4j是一个很好的网络爬虫</
浏览 4提问于2014-09-22得票数 1
回答已采纳
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。
浏览 1提问于2014-05-20得票数 0
回答已采纳
1回答
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。
浏览 2提问于2012-01-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
