Apache Solr :数据导入处理程序异常-如何跳过零字节文件
Apache Solr是一个开源的企业级搜索平台，基于Java开发。它提供了强大的全文检索、分布式搜索、富文本处理、动态聚合、快速索引更新等功能，是许多企业用于构建搜索引擎和大规模数据处理的首选工具。
对于数据导入处理程序异常中的零字节文件，可以通过在Solr的数据导入配置文件中进行相应设置来跳过这些文件。具体而言，可以使用Solr的DataImportHandler（DIH）来配置和执行数据导入。在DIH配置文件中，可以使用skipDoc属性来设置跳过特定条件的文档。
下面是一个示例配置文件data-config.xml的片段，演示如何跳过零字节文件：
<dataConfig>
<dataSource name="myDataSource" type="FileDataSource" encoding="UTF-8" />
<document>
<entity name="file" dataSource="myDataSource"
processor="FileListEntityProcessor"
baseDir="/path/to/directory"
fileName=".*txt$"
onError="skip"
recursive="true">
<field column="fileAbsolutePath" name="id" />
<field column="fileSize" name="size" />
<field column="fileLastModified" name="lastModified" />
<field column="file" name="content" />
</entity>
</document>
</dataConfig>在上述配置中，FileListEntityProcessor会列出指定目录下的所有符合指定正则表达式的文件，并将它们作为实体处理。通过onError="skip"设置，当遇到异常（例如零字节文件）时，跳过该文件的导入过程。
值得注意的是，这只是一个示例配置，实际使用时需要根据具体情况进行修改和调整。
推荐的腾讯云相关产品是腾讯云搜索（Cloud Search），它是基于Solr的托管式搜索服务，提供简单易用的全文检索和搜索功能。您可以在腾讯云的云搜索产品页面了解更多详细信息和使用方式。
相关·内容
在查看Solr日志时，我发现某些文档的数据导入错误。这就是它： Exception while processing: file document : at
org.apache.solr.handler.dataimport.DocBuilder.buil
浏览 79提问于2020-04-23得票数 2
我对apache solr非常陌生。我在google和youtube的帮助下安装了apache。我创建了一个核心，并创建了solrconfig.xml、schema.xml、data-config.xml，但是当我在solr页面上运行数据导入命令时，它显示了一个异常。错误-> "mycollection: org.apache.solr.common.SolrException:org.apache.
浏览 1提问于2016-10-05得票数 0
1回答
我正在尝试使用数据导入处理程序为solr 4.3.0中的pdf文件建立索引。我的请求处理程序-class="org.apache.solr.handler.dataimport.DataImportHandlerat org.apache.solr.handle
浏览 2提问于2013-07-01得票数 0
回答已采纳
1回答
Solr中的命名实体识别
、、、
我正在尝试使用数据导入处理程序从mysql导入solr中的数据，现在我希望从中识别名称实体。我正在使用搜索框( )。我正在使用stanford ner来识别名称实体。<requestHandler name="/dataimport"<lstN
浏览 2提问于2015-01-31得票数 2
我尝试从需要Sybase驱动程序才能连接的数据库导入。</entity></dataConfig>严重:完全导入失败，org.apache.solr.handler.dataimport.DataImportHandlerException:210)在org.apache.solr.handler.dataimport
浏览 0提问于2011-11-10得票数 0
1回答
从Solr 4.4迁移到Solr 4.6.1后，我在使用数据导入处理程序更新索引时遇到以下异常。有谁知道为什么会发生这种情况吗？ERROR - 2014-02-18 09:39:35.232; org.apache.solr.update.StreamingSolrServers$1; error
org.apache.solr.common.SolrExceptiondistrib.from=ht
浏览 1提问于2014-02-19得票数 3
我试图将包含PDF的MS字段导入SOLR，并获得以下错误：
处理异常:附件文档：[]):org.apache.solr.handler.dataimport.DataImportHandlerException(EntityProcessorWrapper.java:246) at org.apache.solr.handler.dataimport.EntityProcessorWrapper.nextRow:415) at org.apa
浏览 4提问于2015-02-16得票数 0
1回答
我使用SOLR 6.0.0，并使用数据导入处理程序处理从MySQL到SOLR的索引。我在db-data-config.xml文件中有以下查询
<entity name="user" query="SELECT ID, A, B, C FROM `USER` U WHERE U.ID =现在看来，SOLR跳过了第二个请求，因为我看到这两个请求都发生了，但是SOLR中
浏览 3提问于2017-05-04得票数 0
回答已采纳
我对使用Nutch的理解是将网页下载到本地文件系统，这样ElasticSearch / Solr就可以对其进行索引。如果我想索引本地文件系统，因为所有的文件都已经在本地文件系统中了，我还需要使用Nutch吗？
谢谢。
浏览 1提问于2013-10-18得票数 2
在solr-6.6.0中执行完全导入时遇到错误。任何关于solr抛出这个异常的建议。at org.apache.solr.handler.data
浏览 0提问于2017-08-27得票数 1
我怎么才能抑制这个异常，我尝试了try {}catch (NotSupportedException)，但是没有捕捉到，应用程序每次都会进入中断模式。我已经读过一些关于如何处理它的问题(当一个人在磁盘上有一个图像文件时)，但我的问题是我使用taglib动态地生成这些图像，所以将这些图像作为文件保存在磁盘上。
浏览 0提问于2017-04-14得票数 0
1回答
我想在MS 2008/2012中使用Solr 4.4.0。我找到了一些教程，但它们要么是针对Solr的，要么是指我的Solr安装中不存在的数据导入处理程序文件。例如， one引用apache dataimporthandler文件，但在我的安装中找不到它们。从哪弄来的？还是Solr 4.4.0中的机制发生了变化？更新
数据导入处理<em
浏览 0提问于2013-08-14得票数 0
回答已采纳
我是Solr和Camel的新手，我正在努力做到这一点：
我使用将数据索引到Solr中。当我从solr管理运行时，所有(完整/Delta导入)都可以正常工作。我想编写一个调度程序，它将定期运行，并从我的webapp中触发增量导入。我试着用阿帕奇骆驼来达到这个目的。我的意图是让Camel Quartz调度程序每5分钟创建一个事件，并将该事件重定向到solr路由，而Solr路由将反过来调用Solr</em
浏览 6提问于2014-01-20得票数 0
回答已采纳
我将二进制文档信息(文件元)存储在数据库中，将二进制文档存储在文件系统中。使用与数据库中的文件信息相关联的文件名。现在，我想将所有这些数据(二进制文档中的文件元和全文内容)导入到lucene solr中。
lucene/solr提供了“使用数据导入处理程序(DIH)从数据库导入记录”
浏览 3提问于2012-05-03得票数 1
4回答
在设置它之后(在Tomcat下)，我收到了以下错误消息:这个接口要求激活管理请求处理程序，将以下配置添加到您的solrconfig.xml中：<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">提前谢谢你， solr文件夹结构：
浏览 1提问于2012-07-05得票数 5
我们有时很难将某些文件导入到Solr中。似乎某些文档有奇怪的元数据(值)，不确定它是否来自古怪的文字处理程序或其他东西。这里有两个例子：Message: Solr HTTP error: OK (400)
{"responseHeader":{"status":400,"QTime":49},"err
浏览 0提问于2018-01-11得票数 5
password="${jdbc.password}" 现在找不到这些属性，所以当我调用dataimport时，它会抛出这个异常(SolrResourceLoader.java:424)如果我在data-config.xml中对属性进行硬编码，那么导入就可以正常工作。中的数据导入请求处理程序中配置属性，如下所示：
<requestH
浏览 4提问于2013-04-27得票数 7
回答已采纳
1回答
Solr索引大型数据库
、、、、
我想用Solr索引数据库(MySQL)。数据库只有一个表，但它有50列和将近4毫秒行。大约是1.5GB。当我试图导入数据时，只需几秒钟，什么也不会发生。我得到了
java.sql.SQLException:查询过程中遇到的意外异常。:469) at org.apache.solr.handler.dataimport.DocBuilder.c
浏览 4提问于2016-02-27得票数 3
回答已采纳
在使用apache运行在ubuntu12.04上的数据导入处理程序时遇到了问题，该处理程序在错误的情况下加载mysql java驱动程序失败：INFO: Adding 'file:/home/ubuntu/solr-4
浏览 0提问于2013-02-04得票数 0
回答已采纳
有人能解释一下DIH是如何处理并发的吗？我需要在这个过程中处理并发。为此，我需要了解在DIH中是如何处理并
浏览 0提问于2014-02-01得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
