我已经开发了一个StormCrawler项目，该项目在该拓扑中具有多个额外的螺栓。我的爬虫应该工作7 x 24小时，没有任何停机时间。因此，我无法重新启动crawler并更改拓扑配置。我想在运行时绕过(打开或关闭)一些螺栓。在运行时禁用和启用StormCrawler中的某些螺栓的最佳方法是什么？ 谢谢
浏览 16提问于2020-10-11得票数 0
回答已采纳
所以我正在尝试打开我的storm crawler实例上的删除螺栓，这样他们就可以在我们网站的urls发生变化和页面消失时清理索引。 作为参考，我在1.13。(我们的系统人员尚未将我们升级到Elk v7 ) 我从来没有尝试过修改es-crawler.flux，现在我正在寻找一些帮助，让我知道我做得是否正确。我添加了一个螺栓： - id: "deleter"
浏览 32提问于2019-09-13得票数 0
回答已采纳
此外，该网站有一个RSS订阅最近发布或更新的页面，每10分钟爬行。这对于检测新页面非常有效。然而，我也想重新抓取已更改的页面(例如。当标题改变时)在短时间内。当解析RSS源时，所发现的DISCOVERED连同状态URL和来自RSS源的一些额外的元数据(即，feed.publishedDate)。我最初的想法是，只要文档被标记为status (使用自定义索引器螺栓)，就向FETCHED索引添加一个元数据indexedD
浏览 1提问于2019-08-02得票数 1
当我们在Elasticsearch索引中搜索Stormcrawler爬行的结果时，人们不可避免地将结果与Google进行比较，并且搜索到的结果与相同主题的google搜索进行了不利的比较。谷歌帮助确定不同页面排名的方法之一是跟踪任何给定页面的入站链接。 在思考我们页面上的搜索结果并查看状态索引时，我遇到了字段url.path。url.path似乎包含通向当前页面的完整路径。有没有可能在索引中创建一个多值字段，只填充来
浏览 7提问于2019-03-23得票数 0
回答已采纳
我正在设计一个apache storm拓扑(使用streamparse)，它使用一个spout (apache kafka spout)和一个并行大于1的螺栓构建，可以批量读取kafka spout中的消息并将消息持久化到mysql表中
螺栓分批读取消息。当螺栓在mysql上插入失败时，我不会在kafka中提交偏移量，但一些消息已经在spout发送到螺栓的消息队列中。已经在队列中的
浏览 2提问于2019-01-31得票数 0
我听说在很多情况下都使用了术语“PeopleSoft -on”，特别是在我的组织中，在那里广泛使用了。我不知道它与现有产品的“扩展”、应用程序中的新模块，或者像您为自己的产品购买的“附加”(Add)有什么不同。是否有一个更正式的定义‘螺栓’，我不熟悉？
浏览 0提问于2014-03-25得票数 1
1回答
我的一个螺栓把数据插入卡桑德拉。有没有办法在这个螺栓的实例化之间打开与Cassandra的连接？风暴拓扑中静态连接的范围是什么？与其他消息传递系统不同，这些系统的“工作”在循环
浏览 0提问于2014-01-03得票数 7
回答已采纳
1回答
我是使用C++代码编写状态机实现的，现在我需要计算一个系统状态到另一个系统状态之间的转换时间？请帮助在C++中有任何应用程序接口来计算状态之间的时间？系统处于打开状态-->系统处于关闭状态{打开到关闭和图形之间的时间}
示例:systemd-
浏览 2提问于2015-07-28得票数 0
我最近才发现了Storm爬虫，从过去的经验和研究中，我发现这个基于Apache的项目非常健壮，适合于许多用例和场景。我想做小的和大的递归爬行在许多web域与特定的速度设置和限制取回urls的数量。我可以为不同的域设
浏览 5提问于2017-05-22得票数 1
回答已采纳
在Ubuntu 17.10中有一些奇怪的东西。当我关闭(或重新启动)系统挂在黑色的空屏幕上，只有光标。这不是tty1，也不是tty7。让系统关闭的唯一方法是手动打开tty7。切换1-2秒后，系统继续正常关闭。问题是如何避免这种行为。
浏览 0提问于2017-10-20得票数 5
1回答
我有一个不断更新输入文件的螺栓。但我无法获取更新的内容，因为我正在从prepare()方法读取文件。我想在不停止或终止拓扑的情况下获取更新的文件。在Storm中有没有类似于手表服务的东西来做这件事？或任何不同的方法来解决这个问题？
浏览 1提问于2015-09-05得票数 1
我有一个使用RotatingFileHandler进行日志记录的Python程序。日志文件处理程序以独占模式(一次)打开日志文件，并使其保持打开状态，直到应用程序关闭。问题是，我需要允许其他进程在Python程序仍在运行时读取日志文件。
在以前使用C++的项目中，我创建了一个队列记录器。它维护了一个日志条目队列。辅助工作线程将定期检查队列，如果有任何条目，则打开日志文件，将条目转储到文件，并立即关闭文件，直到有更多日志条目排队。这意味
浏览 48提问于2018-07-11得票数 1
5回答
这是面试问题之一，我想知道我是否做得对，并想知道我的解决方案是否是最有效的。O(n对数n)首先，我会在每个包中对每个组件的重量进行排序，这是可能的，因为它们在一个袋子中都有不同的
浏览 6提问于2012-02-12得票数 2
我有一个Storm拓扑，它从远程服务器读取数据，然后在bolts中处理文本。 当检测到没有数据可读时，我想停用/关闭spout，同时让螺栓有时间完成处理。我尝试在spout中使用deactivate()方法，当检测到没有数据可读时调用它。我不知道如何让它工作(找不到很多关于它的文档)。 当我检测到没有数据可读时，我决定调用我在spout中编写的方法。我在关闭拓扑时使用了K
浏览 19提问于2019-06-29得票数 1
回答已采纳
我们有一个定制的WebKit应用，在Windows上使用WebKit构建，在Mac上使用操作系统的webview组件。我们正在寻找一种方法来判断我们是否利用了硬件加速。是否有任何相关的设置，例如在plist中？似乎我们忘记了一个编译标志，或者在webview初始化中设置了一些选项，或者类似的东西。或者，如果在Safari中有一个关闭或打开它的标志
浏览 1提问于2011-07-27得票数 0
7回答
我最近遇到了一个Linux进程，它“泄漏”了文件描述符:它打开了文件描述符，但没有正确地关闭其中一些描述符。我现在知道如何检查有多少打开的文件描述符；
浏览 152提问于2009-08-31得票数 65
回答已采纳
1回答
我创建了一个快捷方式，它可以打开和压缩后端数据库，然后将其关闭。
问题是，如果有人打开了数据库，它会抛出一个警告，告诉用户正在使用该数据库。有没有什么方法可以忽略这个警告，直接关闭程序呢？我计划让这个任务在我的系统上成为每天晚上工作时运行的计划任务，我假设没有人，但以防有人把他们的计算机留在打开数据库的情况下。这是我创建的快捷方式：(完美工作)
浏览 16提问于2019-07-16得票数 0
4回答
获得随机自由打开的测试端口
、、、、
我正在使用REST服务运行一些集成测试。我使用OWIN，下一个测试开始时应用程序就会关闭。你能建议我一个好的方法来确定系统上的一个自由端口，而不需要预先打开它，然后关闭它。或者说这不可能。
因为它还不能被系统</em
浏览 1提问于2018-12-17得票数 9
回答已采纳
现在风暴喷口有一个开放的方法来配置它们，而螺栓有一个准备方法。有没有办法让所有Spout实例等待侦听它们的Bolts上的所有prepare方法完成？我有一个案例，我想在飞行中传递一些配置信息给螺栓(因为这个配置信息一直在变化)。我在一些地方读到，我们应该使用Zookeeper或像redis这样的内存中的键值存储来实现这一点。但我担心的</
浏览 0提问于2014-05-14得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
