1回答
我必须编写一个Unix/Linux守护进程，它应该跨不同的位置监视任何文件目录中的特定文件集(例如*.log)，并将其报告给我。然后，我必须读取所有新修改的文件，然后对它们进行处理，并将抓取的数据推送到Elasticsearch中。
对如何实现这一点有什么建议吗？我尝试了各种Perl模块(例如File::ChangeNotify、File::Monitor)，但我需要指定目录，这是我不想要的:我需要动态生成文件列表，还需要内容。
浏览 2提问于2015-12-11得票数 0
我正在尝试从没有统一结构的网页中抓取一些内容。我想要做的是告诉XPATH按照它看到的顺序抓取html标记中的任何内容并返回结果，而不必指定div名称等，因为它们是不同的，也不是非常统一。所以我需要知道如何说“按照在标签中找到的顺序返回任何html内容，不管它们是classes、em、强标签等等。我使用XPATH的唯一经验就是指定实际的div名称，例如：
//div[@id='tab_info']
浏览 1提问于2017-07-29得票数 0
我想问，有没有什么方法可以让我使用Nutch 2.1爬虫在facebook的公共页面上发布URL的次数/发布的URL和评论在Facebook上被点赞的次数？
浏览 2提问于2013-01-17得票数 4
3回答
我通过两个接口拥有对GNU/Linux服务器的root访问权限。我正在使用Jericho和HtmlUnit来抓取一些网页。我想指定哪个接口应该用于HTTP连接。
浏览 2提问于2013-06-06得票数 2
我正在学习网页设计，我想在chrome和firefox开发工具中做你能做的事情，但是让它保存在我的系统中，并保持更改，并在我选择的编辑器中编辑。有什么能让我做到的吗？
浏览 0提问于2014-07-31得票数 2
我实现了一个屏幕抓取器。当屏幕抓取JFrame关闭时，它刚才覆盖的屏幕部分将被抓取(捕获)。这在使用Oracle的标准Java的Windows中工作得很好。然后，需要将JFrame从屏幕上移除，以便抓取器可以捕获下面的桌面。
同样的代码在使用OpenJDK的Linux中不起作用，其结果是抓取器捕获定义抓取区的瞬态JFrame的内容。
浏览 0提问于2014-03-14得票数 0
1回答
我需要在tfileinputdelimited内的文件路径名中输入正则表达式 我有一个文件观察器，它在目录中寻找要添加的新文件。我希望新文件有类似的单词，例如文件1被称为apple1.csv，另一个将在另一个时间添加的文件被称为apple2.csv我想要一种方法，以便告诉talend提取包含单词apple的文件，而不管之前或之后是什么。 现在我有： tmap tmap -> tmap迭代-> tmap输入输入分隔的-> tmap -> tdboutput 我认为tfileinputdelimited应该有一个正则表达式，因为现在我选择了一个特定的文件 ?
浏览 14提问于2019-02-09得票数 0
回答已采纳
我们正在尝试找出哪个Linux发行版最适合Nutch-Hadoop集成？我们计划使用集群来抓取Nutch中的大型内容。如果你需要更多关于这个问题的澄清，请告诉我。
谢谢你。
浏览 2提问于2010-06-01得票数 2
3回答
我在SLES10上，并试图扩展我所做的/usr的大小：似乎起作用了。现在，当我试图做：我得到：我也试过：其结果是：
warning - device size 157...., specified 288.... error invalid argument: seeking to 1181
浏览 0提问于2009-07-09得票数 3
回答已采纳
1回答
我正在使用Apache NUTCH 2.2.1爬行网站，它为我提供了在SOLR上索引的内容。当NUTCH获取内容时，有上下文信息，如“联系我们”，“法律声明”或其他一些不相关的信息(通常来自上部菜单，左侧菜单或页面页脚)，我不需要索引。其中一个解决方案是自动选择内容中最相关的部分进行索引，这可以由自动摘要生成器来完成。有一个名为"summary-basic“的插件，它是用来做这个的吗？如果是这样，它是如何配置的？
浏览 1提问于2014-11-20得票数 0
我想知道是否可以在hasNext(字符串模式)中指定扫描内容。例如，我想检索正在扫描的行的前三个字符。那么，是否有一种方法可以指定诸如在这里我想抓取行的前3个字母字符。
浏览 2提问于2013-09-22得票数 1
回答已采纳
2回答
有没有一种方法可以完全像浏览器一样执行网页中的所有JavaScripts，而不指定要执行哪个函数？在我看到的大多数例子中，这些似乎指定了你想要从抓取的网页中执行JavaScript的哪一部分。我需要抓取所有的内容并像浏览器一样执行所有的JavaScripts，然后得到最终执行的代码，我们可以使用google inspect看到这些代码？
浏览 1提问于2014-12-15得票数 3
回答已采纳
3回答
从CSV获取事件数
、、、、
输出目标Cisco IOS - 4Microsoft IIS 5.0 < 5.1 - 2Apache 2.0.44 (Linux)Cisco IOSCisco IOSLinuxKernel 2.4.20Microsoft
浏览 6提问于2016-12-16得票数 0
2回答
在inspect期间，我可以看到内容位于类article-wrap中，如截图中突出显示的那样：但是当我尝试抓取其中的文本内容时，我什么也得不到：为什么会这样呢？我是否指定了错误的类？如果是，我需要指定哪个类？要知道应该指定哪个类(或标签、或div等)，最简单的方法是什么？
浏览 2提问于2018-05-23得票数 0
1回答
机械化主机名匹配
、、、
我正在使用Mechanize来抓取一个站点，并且得到了与主机名不匹配相关的错误。我发现问题的根源是在我抓取的站点上正在使用SNI，我想指定主机名以确保使用正确的证书。custom_user_agent以下是我认为我需要添加的内容(或类似的内容)，以确保使用正确的证书：
OpenSSL::SSL::SSLSocket.hostnam
浏览 19提问于2016-07-18得票数 2
2回答
我正在将内容源指定为内部非sharepoint网站但是，一个完整的爬网只能在网站的根目录下抓取22个页面(有100个)，除非我指定了‘自定义-指定页面深度和服务器跳数：’并将‘页面深度’和‘限制服务器跳数
浏览 0提问于2009-04-30得票数 0
我正在抓取我想要的所有内容，然而，soup.find_all中有太多的条目(即使在尝试使用'span‘和class_=指定之后)。看起来，抓取所有的500是导致我的程序滞后，这不是理想的。
浏览 2提问于2017-09-28得票数 0
回答已采纳
2回答
我需要打开allow_url_include。我该怎么做呢？我既可以访问php.ini，也可以访问.htaccess。我试着添加了在.htaccess和在php.ini中。有没有办法使用curl/get page函数作为变通方法？
浏览 1提问于2009-06-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
