由于UTF-8中的字节序列无效，Logstash未加载
Logstash是一个开源的数据收集引擎，用于实时收集、处理和转发日志和其他事件数据。它是ELK（Elasticsearch、Logstash和Kibana）堆栈的一部分，广泛应用于大规模数据处理和分析领域。
对于提到的问题，"由于UTF-8中的字节序列无效，Logstash未加载"可能是指在使用Logstash处理日志数据时，遇到了UTF-8编码的字节序列无效的情况，导致Logstash无法正确加载这些日志数据。
在处理这种情况时，可以采取以下步骤：
- 检查数据源：确认数据源是否生成了有效的UTF-8编码的日志数据。可以使用文本编辑器或命令行工具查看日志文件的编码，并确保其为UTF-8编码格式。
- 字符编码转换：如果日志数据的编码格式不是UTF-8，可以使用相应的编码转换工具将其转换为UTF-8编码。常见的编码转换工具有iconv、recode等。
- 日志文件编码配置：在Logstash的配置文件中，可以指定输入插件（如file插件）的编码格式，以便正确解析输入的日志数据。在file插件中，可以使用
codec => plain { charset => "UTF-8" }配置项来指定UTF-8编码。 - 错误处理：如果在处理日志数据时仍然遇到UTF-8字节序列无效的错误，可以在Logstash配置文件中添加错误处理机制，例如跳过无效数据、记录错误信息等，以确保Logstash的正常运行。
总结一下，Logstash是一种用于收集、处理和转发日志数据的工具，但在处理UTF-8编码的数据时可能会遇到字节序列无效的问题。为了解决这个问题，我们需要检查数据源、进行字符编码转换、配置正确的日志文件编码和错误处理机制。腾讯云提供了云原生的解决方案，可以使用腾讯云的日志服务CLS（Cloud Log Service）来实现日志的收集、存储和分析，详情请参考腾讯云日志服务CLS。
相关·内容
1回答
解释
在编写我的网络应用程序时，我遇到了一个边缘情况。我接受UTF-8文件上传，我已经有一个检查，以确认它是UTF-8编码(或至少最好的检查，显然没有银弹，我知道有许多其他问题的堆栈溢出为特定的问题)。
作为一种测试，我将一个ANSI编码文件转换为UTF-8，通过两个方法(在单独的测试中)将其转换为Notepad++中的UTF-8，并在C#中使用Encoding.UTF.GetBytes(inputStream)实时解码为UTF-8 (尽管它是ANSI)。
出现问题的
稍后，我将文件的原始数据作为XML文件中的元素之一放置。这就是问题产生的地方。似乎是从ANSI文件中持久化的字符(我假设)在U
浏览 6提问于2016-12-01得票数 1
当使用MB_ERR_INVALID_CHARS API 从Unicode UTF-8转换到Unicode UTF-16时，应该使用Win32 标志吗？
换句话说，在错误的UTF-8输入无效的情况下，哪一种是最好的行为，为什么？
使MultiByteToWideChar()调用fail (使用MB_ERR_INVALID_CHARS标志)
只需用替换无效的输入UTF-8字符即可。
浏览 0提问于2014-04-02得票数 4
回答已采纳
我试图通过logstash将Server表记录移动到elasticsearch。基本上是一种同步。但是我从LogStash得到了一个未知错误。我提供了我的配置文件和错误日志。
Configuration:
input {
jdbc {
#https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html#plugins-inputs-jdbc-record_last_run
jdbc_connection_string => "jdbc:sqlserver://localhost-
浏览 0提问于2018-09-19得票数 1
回答已采纳
4回答
假设我有一个字节流(数组)，我想编写代码(使用.Net C#)来验证它是否是合法的UTF-8字节序列。我想从头开始编写代码，因为我需要报告存在无效字节序列的确切位置，甚至可能删除无效字节--而不仅仅是想得到字节流/数组是否有效的yes或no。
有没有可供参考的示例代码？如果没有C#代码，也欢迎使用C++/Java编写简单的示例。谢谢!
对于UTF-8的无效字节序列，我的意思是
先谢谢你，乔治
浏览 2提问于2009-05-15得票数 3
在python、firefox和chrome中，试图解码无效编码的utf-8html页面会产生不同的结果。
测试页中的无效编码片段看起来像'PREFIX\xe3\xabSUFFIX'。
>>> fragment = 'PREFIX\xe3\xabSUFFIX'
>>> fragment.decode('utf-8', 'strict')
...
UnicodeDecodeError: 'utf8' codec can't decode bytes in position
浏览 8提问于2010-03-30得票数 27
回答已采纳
1回答
我们的logstash5.6.6中有一个OutOfMemoryException，这导致checkpoint. head文件没有被正确地写入：
ls -l /var/lib/logstash/queue/main/
total 266424
-rw-r--r-- 1 logstash logstash 34 Mar 1 20:33 checkpoint.55779
-rw-r--r-- 1 logstash logstash 0 Mar 1 20:34 checkpoint.head
-rw-r--r-- 1 logstash logstash 2621440
浏览 0提问于2020-03-02得票数 2
回答已采纳
我从服务器接收到一些数据，并从java代码中读取它们：
is = new BufferedInputStream(connection.getInputStream());
reader = new BufferedReader(new InputStreamReader(is, "UTF-8"));
int length;
char[] buffer = new char[4096];
StringBuilder sb = new StringBuilder();
while ((length = reader.read(buffer)) != -1) {
sb.ap
浏览 2提问于2015-01-07得票数 0
我试图将密钥保存在文件中，它保存了一些东西，但是当我试图加载密钥来解加密文本时，我有这样的异常：
“无效密钥:无效AES密钥长度: 59字节”。
下面是我的代码：
SecretKey key;
key = KeyGenerator.getInstance("AES").generateKey();
byte[] encoded = key.getEncoded();
String newKey = new String(encoded, "UTF-8");
out.write(newKey);
然后我写了加密的文本。然后，我尝试加载密钥并用该密钥对保存的文本进
浏览 3提问于2015-03-16得票数 0
回答已采纳
1回答
根据
并非所有字节序列都是有效的UTF-8.应准备一个UTF-8解码器，用于：
1.上表中的红色无效字节。2.意外的连续字节；3.开始字节，后面没有足够的连续字节。4.上面描述的超长编码。一种4字节序列(从0xF4开始)，解码为大于U+10FFFF的值。
根据代码页布局，0xC0和0xC1无效，绝不能出现在有效的UTF-8序列中。这是我给CodePoints 0xC0和0xC1的东西
Byte 2 Byte 1 Num Char
11000011 10000000 192 À
11000011 10000001 193 Á
有与这些字节序列相对应的
浏览 4提问于2013-03-10得票数 5
回答已采纳
我在Orbeon窗体中更改了一个文件，下一次加载该页面时，我收到一条错误消息，其中说3字节UTF-8序列中的无效字节2。我该如何解决这个问题？
浏览 6提问于2012-07-03得票数 18
回答已采纳
3回答
我在一个字符串列表的json.Marshal上得到了这个：
json: invalid UTF-8 in string: "...ole\xc5\"
原因很明显，但是如何在Go中删除/替换这样的字符串呢？我一直在阅读关于unicode和unicode/utf8包的文档，似乎没有明显的/快速的方法来做到这一点。
例如，在Python中，您可以使用一些方法来删除无效字符，将其替换为指定的字符或对无效字符引发异常的严格设置。我如何在Go中做同样的事情？
更新:我的意思是得到一个异常的原因(恐慌？)-非法的字符，json.Marshal期望是有效的UTF-8字符串。
(非法字节序列如何
浏览 1提问于2013-12-05得票数 17
回答已采纳
所以，我对Python3编码有问题。我有几个字节想要作为字符串工作。(说来话长)
用一句话来说，这是可行的
a = "\x85".encode()
print(a.decode())
但这不是
b = (0x85).to_bytes(1,"big")
print(b.decode())
UnicodeDecodeError: utf-8编解码器无法解码0位置的字节0x85 :无效的开始字节
我读过一些关于这个主题的文章，但是他们坚持说'python3坏了‘或者’你不应该使用字符串‘。大量关于堆栈溢出的文章只使用"work as“(如”使用
浏览 0提问于2018-10-29得票数 0
我想从JavaScript中的字符串中删除所有无效的UTF-8字符。我试过使用这个JavaScript：
strTest = strTest.replace(/([\x00-\x7F]|[\xC0-\xDF][\x80-\xBF]|[\xE0-\xEF][\x80-\xBF]{2}|[\xF0-\xF7][\x80-\xBF]{3})|./g, "$1");
这里描述的UTF-8验证正则表达式(去掉链接)似乎更完整，我用同样的方式对其进行了调整，如下所示：
strTest = strTest.replace(/([\x09\x0A\x0D\x20-\x7E]|[\xC2-\xD
浏览 96提问于2010-04-20得票数 27
回答已采纳
我使用以下代码
int lenSend = odl->ByteSize();
char* buf = (char *)malloc(lenSend);
odl->SerializeToArray(buf, lenSend);
我得到了这个错误，我不明白为什么我得到它(是的，我得到它三次)：
在序列化协议缓冲区时，遇到包含无效UTF-8数据的字符串。字符串必须只包含UTF-8；对原始字节使用“字节”类型。
在序列化协议缓冲区时，遇到包含无效UTF-8数据的字符串。字符串必须只包含UTF-8；对原始字节使用“字节”类型。
在序列化协议缓冲区时，遇到包含无效UTF-8数据的字符串。字符
浏览 1提问于2013-02-28得票数 6
我有一个服务，通过客户提供的XML提要将数据上传到我们的数据库。这些XML文件通常被声称是UTF-8编码的，但它们显然有相当多的无效字节序列。在导入之前，我只需运行以下Linux命令，就可以清理这些文件并将它们完美地导入到数据库中：
tr -cd '^[:print:]' < original.xml > clean.xml
只需运行这个Linux命令，我就可以使用Rails中的Nokogiri将所有数据导入数据库。
问题是我们正在上部署，我不能用Linux命令对文件进行预处理。上个星期，我一直在互联网上搜索基于Rails的原生解决方案，但它们都不起作用。在我试过所
浏览 6提问于2014-08-08得票数 1
我已经看到了一些非常聪明的代码，用于在Unicode代码点和UTF-8之间进行转换，所以我想知道是否有(或者会喜欢设计)这样的代码。
给定一个UTF-8字符串，同一字符串的UTF-16编码需要多少字节。
假设UTF-8字符串已被验证.它没有BOM，没有超长序列，没有无效序列，是空终止的.这不是。
完整的UTF-16与代理人必须支持。
具体来说，我想知道何时需要代理项对，而不完全将UTF-8序列转换为代码点，是否有捷径。
我见过的最好的UTF-8码点代码使用了矢量化技术，所以我想知道这在这里是否也是可能的。
浏览 2提问于2011-04-20得票数 6
回答已采纳
我正在编写一个UTF-8解码器，我不知道如何正确处理无效的编码点：
代孕
大于0x10ffff的编码点
假设我想用0xfffd替换无效的代码点。现在，我该怎么替换它们呢？在我知道代码点不能有效之后，还是应该解码/使用第一个字节授权的所有字节？
例如，假设UTF-8流包含：0xf4 0x90 0x80 0x80
这些字节解码为0x110000，这是一个无效的代码点。
但是，在第二个字节，当0xf4 0x90被处理时，我知道它不能是一个有效的代码点，不管最后两个字节是什么。
因此，这个流应该生成一个错误(和一个替换)，还是应该生成3个错误(因为0xf4 0x90无效，然后0x80和
浏览 1提问于2018-09-30得票数 2
我想使用Logstash向TCP protocol发送数据。为了发送数据，我正在使用Node-RED。这样做的简单配置如下所示：
在Logstash文件夹中，我创建了一个名为nodered.conf的文件，其内容如下：
input {
tcp {
port => "3999"
}
}
output {
stdout { codec => rubydebug }
}
现在，我只想在屏幕上打印Logstash正在接收的信息。这就是我在输出中使用stdout { codec => rubydebug
浏览 1提问于2017-05-29得票数 1
回答已采纳
我正在尝试将PostgreSQL数据库与Logstash连接起来，以便将数据从postgres导入到elasticsearch。我使用JDBC驱动程序将Logstash与postgres连接起来。
但我会跟着错误
2019-06-27T13:04:05,943 logstash.javapipelineA插件有一个无法恢复的错误。将重新启动这个插件。
Pipeline_id:main插件："postgres"，jdbc_password=>，statement=>"SELECT * FROM public。\“contacts\；、id=>"
浏览 0提问于2019-06-27得票数 3
非常感谢在我之前的场景中帮助过我的每一个人，我肯定有人会问一个类似before.this这样的问题。
我的文件属于小终端UTF-16 Unicode英文文本，带有CRLF行终止符编码，但我不认为它适用于我们的文件标准。通常我看到这里属于ASCII英语文本。我怎样才能把这个转化成它。
我使用了iconv -f UTF-16LE -t UTF-8 myfile.dat -o myfile.dat_test，但它将整个文件转换为UTF-8 Unicode (用BOM)英文文本，用CRLF行终止符，不太确定在哪里发生了什么。
浏览 0提问于2017-09-26得票数 5
1回答
将^I分隔文件转换为熊猫数据
、、、、
我正在下载一个csv文件从gmail附件使用下面的代码。生成的输出文件类似于^I分隔符，我不知道如何将其更改为其他分隔符，以便将其加载到熊猫数据格式中。
message = service.users().messages().get(userId=user_id, id=msg_id).execute()
for part in message['payload'].get('parts', ''):
if part['filename']:
file_name = part['filename&
浏览 0提问于2019-05-12得票数 0
回答已采纳
我有一个网站告诉我输出是UTF-8，但我从来不确定它是不是。我应该使用正则表达式还是Iconv库来将UTF-8转换为UTF-8 (留下无效序列)？如果我不这样做，这会是一个安全问题吗？
浏览 0提问于2009-07-04得票数 1
回答已采纳
有没有一种简单的方法来检查字符串是否是JavaScript中有效的UTF-8序列？
我真的不想以这样的正则表达式结尾：
P.S.：我从外部API接收数据，有时(非常罕见，但确实发生)它返回无效的UTF-8序列的数据。试图将它们放入PostgreSQL会导致一个适当的错误。
浏览 2提问于2013-12-17得票数 3
回答已采纳
我正在使用logstash将消息放入AWS Kinesis流，输出插件需要身份验证，此身份验证将引用环境变量或来自文件。我们不必在logstash配置中设置用户和访问密钥，默认情况下，它将引用环境变量或文件。现在，此凭据将更改，我必须重新加载logstash管道。使用热重新加载或自动重新加载时，我认为logstash将查找配置中的任何更改，但在我的示例中，logstash配置不会更改，环境变量或文件将更改。在这种情况下，我们如何强制logstash重新加载配置文件。 # Sample Logstash configuration for creating a simple
# Beats -
浏览 29提问于2019-04-18得票数 0
2回答
我在用户输入上使用以下代码时遇到了一些问题：
htmlentities($string, ENT_COMPAT, 'UTF-8');
当检测到无效的多字节字符时，PHP会抛出一个通知：
PHP警告:第123行/path/to/file.php中参数中的多字节序列无效
我的第一个想法是抑制错误，但这是缓慢而糟糕的实践：
我的第二个想法是使用ENT_IGNORE标志，但即使是PHP手册也建议不要使用这个标记：
静默地丢弃无效的代码单元序列，而不是返回空字符串。不鼓励使用此标志，因为它是。
一些进一步的原因让我看到了下面的代码：
// detect encod
浏览 4提问于2012-03-09得票数 8
回答已采纳
1回答
给定一个字节字符串，例如UTF，我希望能够将其转换为有效的可打印的B = b"\x81\xc9\x00\x07I ABCD_\xe2\x86\x97_"-8字符串，即S = "\\x81\\xc9\\x00\\x07I ABCD_↗_"。请注意，第一组十六进制字节不是有效的UTF-8字符，但最后3个字节定义了有效的UTF-8字符(箭头)。这似乎应该是编解码器的一部分，但我不知道如何实现这一点。 例如 >>> codecs.decode(codecs.escape_encode(B, 'utf-8')[0], 'utf-
浏览 48提问于2020-01-25得票数 0
3回答
XML UTF-8编码检查
、、、、
我有一个这样的XML结构，一些学生项目包含无效的UTF-8字节序列，这可能会导致对整个XML文档的XML解析失败。
我想做的是，过滤掉包含UTF-8字节序列的学生项目，并保留有效的字节序列。关于如何在.Net (C#优先)中做到这一点，有什么建议或示例吗？
顺便说一下:无效的字节序列我指的是=>
<?xml version="1.0" encoding="utf-8"?>
<AllStudents>
<Student>
Mike
</Student>
<Student>
浏览 1提问于2009-05-14得票数 0
6回答
我正在处理一些本应是有效的UTF-8格式的数据文件，但事实并非如此，这会导致解析器(不在我的控制之下)失败。我想添加一个预先验证UTF-8格式的数据的阶段，但我还没有找到一个实用程序来帮助完成这项工作。
在W3C上有一个似乎已经死了，我发现了一个仅在Windows上的验证，它报告无效的UTF-8文件，但不报告要修复的行/字符。
我很乐意选择一个我可以随意插入和使用的工具(理想情况下是跨平台的)，或者一个可以作为我的数据加载过程一部分的ruby/perl脚本。
浏览 0提问于2008-09-22得票数 72
回答已采纳
我正在读取一个包含é (e急性)字符的XML文档。文档已保存为UTF-8，我已经确认字符为UTF-8，带有二进制文件读取器(它是c3+a9)。但是，经过处理后，该字符就变成了一个三字节混乱的(c3+83+c2).。
我的猜测是，.NET试图将字符转换为UTF-16 (这是我的最佳猜测)，或者将字符拆分为一个字节字符和一个双字节UTF-8字符。
我是这样加载文件的：
XmlDocuments document = new XmlDocuments();
document.Load("z:\\source.xml");
我该怎么装这个？我应该通过一个UTF-8编码流来读取这个吗？
浏览 6提问于2011-12-14得票数 0
回答已采纳
我有一个获取互联网历史记录的powershell脚本，我想将数据发送到logstash。该函数返回一个PSObjects数组，我通过管道将其传递给该函数：
function ConvertTo-logstash
{
Begin {
$result = ""
}
Process {
$result += $_ | ConvertTo-Json -Compress -Depth 1
$result += "`n"
浏览 1提问于2016-08-17得票数 2
回答已采纳
3回答
在输入无效的情况下保护程序的问题和编程一样古老，我在这个站点上发现了许多关于这个问题的问题，但是在我的例子中没有任何帮助。
我有一个函数，它将值加载到浮点二维数组中。
void load_val(
float matrix[MAX_SIZE][MAX_SIZE],
const int line_num,
const int column_num
)
{
for (int i=0; i<line_num; ++i)
浏览 0提问于2018-11-05得票数 1
回答已采纳
1回答
我想使用可变长度的字节数组作为映射中的键。
myMap := make(map[[]byte]int)
由于片和可变长度字节数组在go中不是有效的键类型，所以上面的代码无效。
然后，我看到字符串只是一组8位字节，但不一定是，它表示UTF-8编码的文本。
对于有关散列的映射键，使用这样一个非UTF-8编码的字符串有什么问题吗？
下面的代码演示如何将[]字节转换为字符串，然后再将其转换为[]字节：
package main
import (
"bytes"
"fmt"
)
func main() {
// src is a byte array with al
浏览 4提问于2021-01-19得票数 1
解析使用UTF-8编码的XML文件时出现无效令牌错误。
此错误是在遇到扩展ASCII字符‘-’{“-”，“-”}时出现的。
当我将编码从UTF-8改为ISO-8859-1时，解析就成功了。但是我的应用程序应该支持UTF-8、ASCII和扩展的ASCII字符。我应该为此做些什么？
欢迎任何想法。
提前感谢您的时间和解决方案。
浏览 1提问于2010-04-22得票数 0
1回答
我正在尝试从txt文件中提取一个节下的文本。当编码未被识别时，我得到了-™而不是撇号‘。当我使用编码= 'utf-8‘时，我得到错误消息'utf-8’不能解码位置为669-670的字节:无效的连续字节。我认为这是由于txt文件其他部分的问题所致。我尝试了其他选项，如编码=‘拉丁语-1’和编码= 'ISO-8859-1'，然后我得到了-x80\x99而不是撇号。
对我应该使用的编码有什么想法吗？下面是txt文件的。
mylines = []
with open('icrr.txt', 'r', encoding='utf-8
浏览 3提问于2022-03-26得票数 1
我是Python的初学者，我想阅读多个csv文件，当我用encoding = "ISO-8859-1"对它们进行编码时，我会在我的csv文件中得到这样的字符：“D°faut”。所以我尝试在utf-8中编码，我得到了一个错误：'utf-8‘编解码器无法解码位置14的字节0xb0 :无效的开始字节’。有人能帮帮我吗？谢谢！
浏览 15提问于2020-10-14得票数 1
回答已采纳
我需要检测损坏的文本文件，其中有无效的(非ASCII) utf-8，Unicode或二进制字符。
�>t�ï¿ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½w�ï¿ï¿½ï¿½ï
浏览 1提问于2015-04-06得票数 74
2回答
有没有一种方法可以检测PHP中字符串的编码，而不需要加载mbstring扩展？我知道用mb_detect_encoding()可以做到这一点，但是有一个等价的、非多字节的函数吗？
如果不是，实现至少会检测UTF-8的detect_encoding()函数需要什么？
浏览 0提问于2015-10-08得票数 1
回答已采纳
我正在尝试将UTF16转换为UTF8。对于字符串0xdcf0，转换失败，多字节序列无效。我不明白为什么转换会失败。在我用来进行utf-16到utf-8转换的库中，有一个检查
if (first_byte & 0xfc == 0xdc) {
return -1;
}
你能告诉我为什么会有这张支票吗？
浏览 2提问于2019-08-18得票数 0
我使用logstash by logstash:7.9.1图像，当我打开docker-compose时，我得到了这个错误，我不知道如何处理这个错误(我试图使我的logstash配置出错并将其连接到错误的弹性端口，但我的docker仍然连接到9200，所以我认为它没有从我的logstash配置中读取数据)请帮帮我！我的错误：
[logstash.licensechecker.licensereader] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"http://el
浏览 3提问于2020-09-16得票数 1
我试图使用流来读取文件，但我无法通过异常。我一直在四处张望，但我只是不明白为什么会被扔出去。
我将要读取的文件是file.txt，它是用UTF-8编码的。
我正在用Files.lines()阅读它
String path = FileWordCount.class.getResource("file.txt").getPath().substring(1);
Files.lines(Paths.get(path), Charset.forName("UTF-8")).forEach(System.out::println);
当试图读取该文件时，我将得到以下异
浏览 0提问于2016-05-10得票数 4
回答已采纳
2回答
Golang在将字节片转换为字符串时是否进行任何转换或试图解释字节？我刚刚尝试了一个包含空字节的字节切片，看起来它仍然保持字符串的原样。
var test []byte
test = append(test, 'a')
test = append(test, 'b')
test = append(test, 0)
test = append(test, 'd')
fmt.Println(test[2] == 0) // OK
但是使用无效unicode点或UTF-8编码的字符串如何？铸造失败或数据损坏吗？
浏览 1提问于2014-01-08得票数 3
回答已采纳
我使用Python3.9.1和Linux (CentOS 7)。我想要将unicode字符打印到控制台。我想用UTF-8做所有的事情。如果我打开python交互式控制台并编写：
print("├")
一切顺利，打印结果如下：
├
现在，我将同一行print("├")放入一个文件中，然后使用UTF-8编码(linux上的默认编码)保存该文件。然后，我得到以下错误：
UnicodeEncodeError: 'latin-1' codec can't encode character '\u251c' in position 0
浏览 41提问于2021-05-15得票数 0
..。特别是xA3 (£，£，£)
我正在加载几个冗长的XML文档，并且会周期性地遇到一个不会加载的文档，引发异常：
给定编码中的无效字符。x线，位置y。
下面是有问题的代码：
var doc = new XmlDocument();
doc.Load(file.FullName);
当我在指定的行查看所讨论的文档时，我将在其中一个XML标记中看到反向格式化的xA3 (黑色bg，白色fg)。
每个XML文件的头没有什么特别之处：
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns=
浏览 1提问于2016-08-02得票数 0
回答已采纳
2回答
一些进程正在生成我的Kafka二进制文件(来自Java，它是字节数组)。
我试图使用Logstash从Kafka消费，并将文件上传到s3中。
我的管道：
input {
kafka {
bootstrap_servers => "my-broker:9092"
topic => "my-topic"
partition_assignment_strategy => "org.apache.kafka.clients.consumer.StickyAssignor"
value_deserial
浏览 5提问于2020-06-02得票数 3
回答已采纳
1回答
我正在尝试在我的amazon EC2实例上安装插件。使用bin/logstash-plugin install logstash-output-amazon_es的正常安装会给我带来错误：
错误绑定器：：InstallError，重试1/10在安装faraday_middleware (0.10.0)时发生错误，而Bundler无法继续。确保gem install faraday_middleware -v '0.10.0'在捆绑前成功
因此，我尝试克隆存储库，并使用gem build logstash-output-amazon_es.gemspec构建插件。这项工作
浏览 2提问于2016-06-15得票数 6
1回答
在运行我的解压缩时，得到了以下错误：
找到输入中UTF-8编码的无效字符编码.输入文件可能包含损坏的数据，或者提取器中指定的输入编码与实际的文件编码不匹配。有关包含无效字符编码的文件段的十六进制转储，请参见详细信息部分。
我无法通过下面的U脚本读取UTF-8字符数据.
@cgadmdomain =
EXTRACT
row_id string,
orgarea_name string,
last_changed_time string,
start_date string,
stop_date string,
domain_name string,
gui_description st
浏览 0提问于2018-04-09得票数 2
回答已采纳
3回答
我正在运行Perl5.10.0和Postgres8.4.3，并将字符串输入到一个数据库中，该数据库位于之后。
这些字符串应该是UTF-8格式，因此我的数据库是以UTF-8格式运行的。不幸的是，其中一些字符串是错误的，包含格式错误的UTF-8，所以当我运行它时，我得到了一个异常
DBI Exception: DBD::Pg::st execute failed: ERROR: invalid byte sequence for encoding "UTF8": 0xb5
我认为我可以简单地忽略无效的标题，并在以后担心格式错误的UTF-8，所以使用这段代码，它应该标记并忽略错误的
浏览 2提问于2010-04-17得票数 9
回答已采纳
2回答
如果我要在UTF-8中搜索一些字符串，在UTF-8中也要搜索另一个字符串，那么对代码点进行直接比较搜索以精确地找到匹配的字符有什么需要注意的吗？
使用UTF-8的工作方式，有可能得到假阳性吗？
我读过很多关于UTF-8有多棒的文档，但是我很难形成一个回答这个问题的证据。
如果我向前搜索，我可以跳过一个代码点的长度，但是它正在反向走，这让我很担心。
与其向后走，直到到达代码点的开头，然后从那个地址进行内存比较，不如沿着每个字节向后走，直到搜索字符串完全匹配为止。
浏览 5提问于2016-01-19得票数 3
回答已采纳
1回答
我有一个古老的django应用程序，它可以在数据库中保存UTF-8字符串，当我尝试用Ruby获取它们时，它会使某些字符串看起来像无效的utf8。
保存前的字符串在python中是str类型的，但是从数据库获取时django给了我一个正确的unicode字符串。当我在rails中获取相同的记录时，我得到一个与python的str字符串相同的字节序列，ruby抱怨它是一个无效的字节序列。
示例:经过测试的字符串是一个单一的表情符号：
在Django中保存之前- str类型，序列：[237, 160, 189, 237, 180, 165]
从db中获取的Django - unicode类型
浏览 0提问于2018-03-07得票数 1
我使用nodejs作为后端，使用套接字作为应用程序的文本部分。我研究了如何使用套接字，并发现了一个有趣的事实。
由套接字传输的数据(在我的例子中是字符串)必须进行utf-8编码。这个utf-8编码是用来做什么的，为什么需要它？
浏览 0提问于2019-05-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
