我正在使用java将文档索引到solr。当我索引计算机中的文件时，我的代码工作得很好。但是当我尝试索引位于alluxio中的文件时，我遇到了一个异常"No fileSystem for scheme: alluxio“。我已经在我的pom中添加了alluxio依赖项。loadDocuments(
在SparkRead中，我从
浏览 7提问于2018-07-13得票数 0
我使用一个大文本文件中的每个记录对Lucene的索引执行搜索，然后根据需要处理结果并写入输出。hadoop jar $HADOOP_HOME&#
浏览 1提问于2012-07-29得票数 0
我想做一个搜索引擎。我想在其中爬行一些网站，并将其索引和信息存储在Hadoop中。然后使用Solr搜索就可以了。但我面临着很多问题。如果在google上搜索，那么不同的人会给出不同的建议和不同的配置方式来设置基于hadoop的搜索引擎。以下是我的一些问题：2) Solr有什么用？如果NUTCH完成了抓取，并将抓取的索引和信息存储到Hadoop中，那么
浏览 2提问于2012-09-06得票数 3
和这部分是我的实际数据： Bob bobj@gmail.com 1468839687比利琼斯BillyJ@gmail.com 1468839769 "type" : "index_hadoop", "ioConfig" : { "inputSpec1)我注意
浏览 5提问于2016-07-21得票数 0
1回答
Sphinx和大数据
、、、、
我想使用全文搜索引擎，我决定成为Sphinx。但我正在使用hadoop和大数据平台，而Sphinx Search与mysql DB兼容，无法处理大数据。那么，有没有办法将Sphinx用于大数据环境，如hadoop或HDFS或任何其他nosql数据库？
浏览 2提问于2015-10-07得票数 0
我们在一个具有1TB EBS卷的Amazon Web Services EC2实例上运行Solr来存储索引，这样我们就可以轻松地启动具有相同(只读)索引的其他服务器。但是，我们的索引很快就会超过1TB，而我并不是真的想要对多个EBS卷进行条带化来保存索引。而且，重新生成索引的速度非常慢。我希望将索引生成--可能是托管--转移到Hadoop，最好是亚马逊的Elastic MapReduce，不过如果需要的话，我可以设置单独的Hadoop服务器。在
浏览 0提问于2011-06-01得票数 3
我正在运行nutch来抓取和索引solr。at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:208)at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:983)
at org.apache.hado
浏览 1提问于2017-10-27得票数 0
我正在使用Elasticsearch-hadoop连接器运行PySpark和Elasticsearch。我可以使用以下方法从所需的索引中读取： "es.nodes": "127.0.0.1", inputFormatClass="o
浏览 1提问于2016-04-15得票数 0
回答已采纳
1回答
/bin/pyspark --driver-class-path=/path/to/elasticsearch-hadoop.jarrdd = sc.newAPIHadoopRDD("org.elasticsearch.hadoop.mr.EsInputFormat", "org.apache.hadoop.io.Null
浏览 1提问于2016-03-14得票数 1
回答已采纳
在我们的组织中，我们试图围绕大数据、、Hadoop、和相关的生态系统开发一些能力。
我们正在考虑做一个概念的证明，我们的目标是存储，索引和搜索大量的PDF文件，电子邮件文档和word文档。如果是，那么它是hadoop用例吗？如果是这样的话，我们应该追求什么技术呢？我们尝试将PDF存储在HDFS中，并通过mapper作业并行地创建lucene索引，并将索引存储在数据节点本地临时目录中。但我们不确定我们是否做对了，如何使它成为适当的大数据Hadoop用例，以及如何在技术堆栈上做出决定，无论是
浏览 1提问于2014-08-07得票数 0
我使用的Hadoop版本是0.20.2。("mapred.compress.map.output", "true") "org.apache.hadoop.io.compress.LzoCodec");
当我在Hadoop中运行jar文件时，它显示了一个不能写入映射输出的异常。
浏览 2提问于2013-02-11得票数 1
我可以使用MapReduce框架创建索引并以某种方式将其添加到分布式Solr中吗？
如果可以的话，我需要选择MapReduc
浏览 2提问于2010-11-21得票数 2
回答已采纳
，并在其中加载批处理数据时获得了错误，如下所示： java.lang.RuntimeException:at io.druid.indexer.JobHelper.runJobs(JobHelper.java:343) ~[d
浏览 1提问于2016-10-20得票数 0
我目前在hadoop集群中有许多数据库，希望将这些数据库中的一些表索引到Solr索引中以进行搜索。有没有办法做到这一点？或者是否有某种机制可以在hadoop本身中执行这种搜索？
浏览 2提问于2012-06-20得票数 1
回答已采纳
Solr: Solr可以用于为Apache爬行的网页建立索引。它有助于搜索索引网页。戈拉和ZooKeeper:我不确定。HBase是一个键值对DB还是仅仅是Hadoop的一个接口？或者我应该问，没有Hadoop HBase还能存在吗？如果
浏览 3提问于2015-03-26得票数 0
我想在我的弹性地图减少作业的输出上使用LZO压缩，该输出存储在S3上，但不清楚这些文件是否被自动编入索引，以便将来在此数据上运行的作业将文件拆分为多个任务。例如，如果我的输出是一堆TSV数据行，在1GB的LZO文件中，未来的映射作业将只创建一个任务，或者类似于(1GB/blockSize)任务(即文件未被压缩时的行为，或者如果目录中有一个LZO索引文件)吗编辑：，如果这不是自动完成的，那么建议如何使我的输出被LZO索引？在将文件上传到S3之前进行索引吗？
浏览 3提问于2012-10-22得票数 4
回答已采纳
我们有一个问题，即Hadoop是否适合不需要运行应用程序，但需要非常快的读写少量数据的简单任务。要求是能够以每秒30的速率写入具有两个索引的大约100-200字节长的消息，同时能够以大约每秒10的速率读取(通过这两个索引进行搜索)。总数据量预计将达到50-100 gb，并将通过删除较旧的记录来保持此速率(类似于删除超过14天的记录的每日任务)谢谢你，尼克
浏览 2提问于2012-06-15得票数 0
我想利用Hadoop来完成这项任务。我的想法是，将会有“作业”，它从MySQL中提取，比如说，100条记录(行)的块，根据给定的搜索条件对它们进行验证，返回符合条件的(ID)。
赞成/反对？我知道有人可能会认为我应该使用简单的SQL功能，但问题是JSON对象结构相当“笨重”，如果我把它作为SQL模式，将至少有3-5个表连接，这(我试过了，真的)造成了相当令人头疼的问题，并且构建所有正确的索引消耗;-)即使这样，每个SQL查询都必须进行分析才能利用索引，否则使用全扫描从字面上来说是一种痛苦。对于这样的结构，我们唯一的“向上”方法就是
浏览 0提问于2010-04-22得票数 2
回答已采纳
虽然我可以做到这一点，但我无法理解的是如何写入一个动态命名的索引，该索引格式为‘index _name-{ts_col：{YYYY dd}’，其中'ts_col‘是数据集中的一个日期时间字段。在创建索引之前，它似乎首先检查索引是否存在，但它传递的是未格式化的索引名，而不是动态创建的索引名称。我已经尝试使用模块使用相同的语法创建索引，但是它不能处理动态索引名。是否有任何解决方案可供我使用，或者我是否必须在spark中循环我的数据集以找到所表示的
浏览 23提问于2017-02-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
