Rails中UTF-8中的字节序列无效
在Rails中，UTF-8中的字节序列无效通常是指在处理字符串时遇到的编码问题。UTF-8是一种通用的字符编码，用于表示世界上几乎所有的字符。当在Rails应用程序中处理字符串时，如果遇到无效的UTF-8字节序列，可能会导致一些问题，如乱码、字符串截断等。
为了解决这个问题，可以采取以下几种方法：
- 检测和修复无效的字节序列：可以使用Ruby的
String#scrub方法来检测和修复无效的字节序列。该方法会尝试修复无效的字节序列，或者将其替换为指定的替代字符。 - 设置默认的字符串编码：可以在Rails的配置文件中设置默认的字符串编码为UTF-8。在
config/application.rb文件中添加以下代码： - 设置默认的字符串编码：可以在Rails的配置文件中设置默认的字符串编码为UTF-8。在
config/application.rb文件中添加以下代码： - 这样可以确保Rails应用程序在处理字符串时使用UTF-8编码。
- 使用Unicode正规化：可以使用Ruby的
String#unicode_normalize方法来对字符串进行Unicode正规化。Unicode正规化可以将字符串中的字符规范化为统一的形式，以避免出现无效的字节序列。 - 配置数据库编码：如果在数据库中存储和检索字符串时遇到问题，可以确保数据库的编码设置为UTF-8。在Rails的数据库配置文件中，如
config/database.yml，可以设置encoding: utf8来指定数据库的编码。
在Rails中处理UTF-8中的字节序列无效的问题，可以使用腾讯云的一些相关产品来提供支持和解决方案。以下是一些推荐的腾讯云产品和产品介绍链接地址：
- 腾讯云云服务器（CVM）：提供可扩展的云服务器实例，可用于部署Rails应用程序。了解更多：腾讯云云服务器
- 腾讯云数据库MySQL版：提供高性能、可扩展的MySQL数据库服务，可用于存储和检索Rails应用程序中的数据。了解更多：腾讯云数据库MySQL版
- 腾讯云内容分发网络（CDN）：提供全球加速的内容分发网络，可加速Rails应用程序中的静态资源传输，提高用户访问速度。了解更多：腾讯云内容分发网络
请注意，以上推荐的腾讯云产品仅供参考，具体选择和配置应根据实际需求和情况进行。
相关·内容
我有一个服务，通过客户提供的XML提要将数据上传到我们的数据库。这些XML文件通常被声称是UTF-8编码的，但它们显然有相当多的无效字节序列。在导入之前，我只需运行以下Linux命令，就可以清理这些文件并将它们完美地导入到数据库中：
tr -cd '^[:print:]' < original.xml > clean.xml
只需运行这个Linux命令，我就可以使用Rails中的Nokogiri将所有数据导入数据库。
问题是我们正在上部署，我不能用Linux命令对文件进行预处理。上个星期，我一直在互联网上搜索基于Rails的原生解决方案，但它们都不起作用。在我试过所
浏览 6提问于2014-08-08得票数 1
1回答
我有一个古老的django应用程序，它可以在数据库中保存UTF-8字符串，当我尝试用Ruby获取它们时，它会使某些字符串看起来像无效的utf8。
保存前的字符串在python中是str类型的，但是从数据库获取时django给了我一个正确的unicode字符串。当我在rails中获取相同的记录时，我得到一个与python的str字符串相同的字节序列，ruby抱怨它是一个无效的字节序列。
示例:经过测试的字符串是一个单一的表情符号：
在Django中保存之前- str类型，序列：[237, 160, 189, 237, 180, 165]
从db中获取的Django - unicode类型
浏览 0提问于2018-03-07得票数 1
当使用MB_ERR_INVALID_CHARS API 从Unicode UTF-8转换到Unicode UTF-16时，应该使用Win32 标志吗？
换句话说，在错误的UTF-8输入无效的情况下，哪一种是最好的行为，为什么？
使MultiByteToWideChar()调用fail (使用MB_ERR_INVALID_CHARS标志)
只需用替换无效的输入UTF-8字符即可。
浏览 0提问于2014-04-02得票数 4
回答已采纳
1回答
解释
在编写我的网络应用程序时，我遇到了一个边缘情况。我接受UTF-8文件上传，我已经有一个检查，以确认它是UTF-8编码(或至少最好的检查，显然没有银弹，我知道有许多其他问题的堆栈溢出为特定的问题)。
作为一种测试，我将一个ANSI编码文件转换为UTF-8，通过两个方法(在单独的测试中)将其转换为Notepad++中的UTF-8，并在C#中使用Encoding.UTF.GetBytes(inputStream)实时解码为UTF-8 (尽管它是ANSI)。
出现问题的
稍后，我将文件的原始数据作为XML文件中的元素之一放置。这就是问题产生的地方。似乎是从ANSI文件中持久化的字符(我假设)在U
浏览 6提问于2016-12-01得票数 1
4回答
假设我有一个字节流(数组)，我想编写代码(使用.Net C#)来验证它是否是合法的UTF-8字节序列。我想从头开始编写代码，因为我需要报告存在无效字节序列的确切位置，甚至可能删除无效字节--而不仅仅是想得到字节流/数组是否有效的yes或no。
有没有可供参考的示例代码？如果没有C#代码，也欢迎使用C++/Java编写简单的示例。谢谢!
对于UTF-8的无效字节序列，我的意思是
先谢谢你，乔治
浏览 2提问于2009-05-15得票数 3
在python、firefox和chrome中，试图解码无效编码的utf-8html页面会产生不同的结果。
测试页中的无效编码片段看起来像'PREFIX\xe3\xabSUFFIX'。
>>> fragment = 'PREFIX\xe3\xabSUFFIX'
>>> fragment.decode('utf-8', 'strict')
...
UnicodeDecodeError: 'utf8' codec can't decode bytes in position
浏览 8提问于2010-03-30得票数 27
回答已采纳
我从服务器接收到一些数据，并从java代码中读取它们：
is = new BufferedInputStream(connection.getInputStream());
reader = new BufferedReader(new InputStreamReader(is, "UTF-8"));
int length;
char[] buffer = new char[4096];
StringBuilder sb = new StringBuilder();
while ((length = reader.read(buffer)) != -1) {
sb.ap
浏览 2提问于2015-01-07得票数 0
1回答
根据
并非所有字节序列都是有效的UTF-8.应准备一个UTF-8解码器，用于：
1.上表中的红色无效字节。2.意外的连续字节；3.开始字节，后面没有足够的连续字节。4.上面描述的超长编码。一种4字节序列(从0xF4开始)，解码为大于U+10FFFF的值。
根据代码页布局，0xC0和0xC1无效，绝不能出现在有效的UTF-8序列中。这是我给CodePoints 0xC0和0xC1的东西
Byte 2 Byte 1 Num Char
11000011 10000000 192 À
11000011 10000001 193 Á
有与这些字节序列相对应的
浏览 4提问于2013-03-10得票数 5
回答已采纳
3回答
我在一个字符串列表的json.Marshal上得到了这个：
json: invalid UTF-8 in string: "...ole\xc5\"
原因很明显，但是如何在Go中删除/替换这样的字符串呢？我一直在阅读关于unicode和unicode/utf8包的文档，似乎没有明显的/快速的方法来做到这一点。
例如，在Python中，您可以使用一些方法来删除无效字符，将其替换为指定的字符或对无效字符引发异常的严格设置。我如何在Go中做同样的事情？
更新:我的意思是得到一个异常的原因(恐慌？)-非法的字符，json.Marshal期望是有效的UTF-8字符串。
(非法字节序列如何
浏览 1提问于2013-12-05得票数 17
回答已采纳
我有一个Rails应用程序，可以从Rails版本1的迁移中存活下来，我想忽略它上的所有无效字节序列，以保持向后兼容性。
我不知道输入编码。
例：
> "- Men\xFC -".split("n")
ArgumentError: invalid byte sequence in UTF-8
from (irb):4:in `split'
from (irb):4
from /home/fotanus/.rvm/rubies/ruby-2.0.0-rc2/bin/irb:16:in `<main>'
通过使
浏览 11提问于2013-06-07得票数 20
回答已采纳
2回答
红宝石1.9中的杏编码
、、、、
这里有一个运行在ruby1.9上的rails3应用程序，使编码工作变得有些痛苦。
我的任务是打开一个远程html页面，并解析其中的一些信息。我所有的代码和数据库都在UTF-8中，im使用#代码: UTF-8，mysql修复，等等。
我打开的页面是字符集ISO-8859-1，当我的解析器找到特殊字符时，它会抱怨它不是有效的UTF-8字符。
我试着在我分析过的所有字符串中使用.force_encoding("UTF-8")，但它仍然存在。当我试图转换整个页面时，我得到了以下内容：
a = open("someurl")
b = a.read.encode("
浏览 5提问于2011-01-15得票数 1
我使用以下代码
int lenSend = odl->ByteSize();
char* buf = (char *)malloc(lenSend);
odl->SerializeToArray(buf, lenSend);
我得到了这个错误，我不明白为什么我得到它(是的，我得到它三次)：
在序列化协议缓冲区时，遇到包含无效UTF-8数据的字符串。字符串必须只包含UTF-8；对原始字节使用“字节”类型。
在序列化协议缓冲区时，遇到包含无效UTF-8数据的字符串。字符串必须只包含UTF-8；对原始字节使用“字节”类型。
在序列化协议缓冲区时，遇到包含无效UTF-8数据的字符串。字符
浏览 1提问于2013-02-28得票数 6
我已经看到了一些非常聪明的代码，用于在Unicode代码点和UTF-8之间进行转换，所以我想知道是否有(或者会喜欢设计)这样的代码。
给定一个UTF-8字符串，同一字符串的UTF-16编码需要多少字节。
假设UTF-8字符串已被验证.它没有BOM，没有超长序列，没有无效序列，是空终止的.这不是。
完整的UTF-16与代理人必须支持。
具体来说，我想知道何时需要代理项对，而不完全将UTF-8序列转换为代码点，是否有捷径。
我见过的最好的UTF-8码点代码使用了矢量化技术，所以我想知道这在这里是否也是可能的。
浏览 2提问于2011-04-20得票数 6
回答已采纳
我正在编写一个UTF-8解码器，我不知道如何正确处理无效的编码点：
代孕
大于0x10ffff的编码点
假设我想用0xfffd替换无效的代码点。现在，我该怎么替换它们呢？在我知道代码点不能有效之后，还是应该解码/使用第一个字节授权的所有字节？
例如，假设UTF-8流包含：0xf4 0x90 0x80 0x80
这些字节解码为0x110000，这是一个无效的代码点。
但是，在第二个字节，当0xf4 0x90被处理时，我知道它不能是一个有效的代码点，不管最后两个字节是什么。
因此，这个流应该生成一个错误(和一个替换)，还是应该生成3个错误(因为0xf4 0x90无效，然后0x80和
浏览 1提问于2018-09-30得票数 2
我有一个网站告诉我输出是UTF-8，但我从来不确定它是不是。我应该使用正则表达式还是Iconv库来将UTF-8转换为UTF-8 (留下无效序列)？如果我不这样做，这会是一个安全问题吗？
浏览 0提问于2009-07-04得票数 1
回答已采纳
有没有一种简单的方法来检查字符串是否是JavaScript中有效的UTF-8序列？
我真的不想以这样的正则表达式结尾：
P.S.：我从外部API接收数据，有时(非常罕见，但确实发生)它返回无效的UTF-8序列的数据。试图将它们放入PostgreSQL会导致一个适当的错误。
浏览 2提问于2013-12-17得票数 3
回答已采纳
4回答
我目前正在努力确保我的rails应用程序能够很好地处理无效UTF-8数据的POST方法(例如\xFF) (使用机架中间件)
不幸的是，为此编写测试非常困难。
我尝试过的一件事是用无效的UTF-8填充我的表单字段并提交，但是这会导致我的测试输出中的终端输出下面的输出-而且它不是由Rails打印的！
错误:字符串不在utf-8中。
是否有另一种方法可以模拟包含无效UTF-8数据的POST，以验证是否显示了400错误(或类似的)？
注意:我试图避免与应用程序的单独运行实例(例如，对其使用“curl”)运行，但只需直接与Capybara (或类似的)运行。
浏览 0提问于2013-03-11得票数 3
2回答
我在用户输入上使用以下代码时遇到了一些问题：
htmlentities($string, ENT_COMPAT, 'UTF-8');
当检测到无效的多字节字符时，PHP会抛出一个通知：
PHP警告:第123行/path/to/file.php中参数中的多字节序列无效
我的第一个想法是抑制错误，但这是缓慢而糟糕的实践：
我的第二个想法是使用ENT_IGNORE标志，但即使是PHP手册也建议不要使用这个标记：
静默地丢弃无效的代码单元序列，而不是返回空字符串。不鼓励使用此标志，因为它是。
一些进一步的原因让我看到了下面的代码：
// detect encod
浏览 4提问于2012-03-09得票数 8
回答已采纳
我想从JavaScript中的字符串中删除所有无效的UTF-8字符。我试过使用这个JavaScript：
strTest = strTest.replace(/([\x00-\x7F]|[\xC0-\xDF][\x80-\xBF]|[\xE0-\xEF][\x80-\xBF]{2}|[\xF0-\xF7][\x80-\xBF]{3})|./g, "$1");
这里描述的UTF-8验证正则表达式(去掉链接)似乎更完整，我用同样的方式对其进行了调整，如下所示：
strTest = strTest.replace(/([\x09\x0A\x0D\x20-\x7E]|[\xC2-\xD
浏览 96提问于2010-04-20得票数 27
回答已采纳
1回答
给定一个字节字符串，例如UTF，我希望能够将其转换为有效的可打印的B = b"\x81\xc9\x00\x07I ABCD_\xe2\x86\x97_"-8字符串，即S = "\\x81\\xc9\\x00\\x07I ABCD_↗_"。请注意，第一组十六进制字节不是有效的UTF-8字符，但最后3个字节定义了有效的UTF-8字符(箭头)。这似乎应该是编解码器的一部分，但我不知道如何实现这一点。 例如 >>> codecs.decode(codecs.escape_encode(B, 'utf-8')[0], 'utf-
浏览 48提问于2020-01-25得票数 0
3回答
XML UTF-8编码检查
、、、、
我有一个这样的XML结构，一些学生项目包含无效的UTF-8字节序列，这可能会导致对整个XML文档的XML解析失败。
我想做的是，过滤掉包含UTF-8字节序列的学生项目，并保留有效的字节序列。关于如何在.Net (C#优先)中做到这一点，有什么建议或示例吗？
顺便说一下:无效的字节序列我指的是=>
<?xml version="1.0" encoding="utf-8"?>
<AllStudents>
<Student>
Mike
</Student>
<Student>
浏览 1提问于2009-05-14得票数 0
我正在升级Rails 4.1应用程序，以使用Ruby2.2。在升级过程中，该应用程序使用了pg的旧版本(0.12)，而且gem没有使用Ruby2.2进行安装。因此，我尝试使用pg的更新版本(0.17.1)。现在，当在系统中创建新用户时，有时会遇到以下错误：
PG::CharacterNotInRepertoire: ERROR:编码"UTF8“的无效字节序列
Ruby2.2和Postgres是否存在已知的问题？
看起来应用程序被配置为使用unicode：config.encoding = "utf-8"在application.rb中设置，encoding: u
浏览 3提问于2014-12-29得票数 11
回答已采纳
我将rails 4.1与mysql.结合使用。
在一个列的数据库表中，我有一个blob数据类型，其中我保存新闻报纸文章，但是在获取所有索引操作时，我得到的数据低于错误。
编码:未定义转换错误(从ASCI-8bit到UTF-8的“\XE2”)：
我在网上尝试了很多解决方案，但没能解决这个问题。
* before_save { self.article = article.encode('utf-8'，无效=>：替换，:undef =>：替换，：替换=> '_')}*等等。
你的帮助是非常感谢的。谢谢
浏览 3提问于2014-08-21得票数 0
回答已采纳
1回答
我想使用可变长度的字节数组作为映射中的键。
myMap := make(map[[]byte]int)
由于片和可变长度字节数组在go中不是有效的键类型，所以上面的代码无效。
然后，我看到字符串只是一组8位字节，但不一定是，它表示UTF-8编码的文本。
对于有关散列的映射键，使用这样一个非UTF-8编码的字符串有什么问题吗？
下面的代码演示如何将[]字节转换为字符串，然后再将其转换为[]字节：
package main
import (
"bytes"
"fmt"
)
func main() {
// src is a byte array with al
浏览 4提问于2021-01-19得票数 1
解析使用UTF-8编码的XML文件时出现无效令牌错误。
此错误是在遇到扩展ASCII字符‘-’{“-”，“-”}时出现的。
当我将编码从UTF-8改为ISO-8859-1时，解析就成功了。但是我的应用程序应该支持UTF-8、ASCII和扩展的ASCII字符。我应该为此做些什么？
欢迎任何想法。
提前感谢您的时间和解决方案。
浏览 1提问于2010-04-22得票数 0
1回答
我正在尝试从txt文件中提取一个节下的文本。当编码未被识别时，我得到了-™而不是撇号‘。当我使用编码= 'utf-8‘时，我得到错误消息'utf-8’不能解码位置为669-670的字节:无效的连续字节。我认为这是由于txt文件其他部分的问题所致。我尝试了其他选项，如编码=‘拉丁语-1’和编码= 'ISO-8859-1'，然后我得到了-x80\x99而不是撇号。
对我应该使用的编码有什么想法吗？下面是txt文件的。
mylines = []
with open('icrr.txt', 'r', encoding='utf-8
浏览 3提问于2022-03-26得票数 1
我正在尝试将UTF16转换为UTF8。对于字符串0xdcf0，转换失败，多字节序列无效。我不明白为什么转换会失败。在我用来进行utf-16到utf-8转换的库中，有一个检查
if (first_byte & 0xfc == 0xdc) {
return -1;
}
你能告诉我为什么会有这张支票吗？
浏览 2提问于2019-08-18得票数 0
2回答
Golang在将字节片转换为字符串时是否进行任何转换或试图解释字节？我刚刚尝试了一个包含空字节的字节切片，看起来它仍然保持字符串的原样。
var test []byte
test = append(test, 'a')
test = append(test, 'b')
test = append(test, 0)
test = append(test, 'd')
fmt.Println(test[2] == 0) // OK
但是使用无效unicode点或UTF-8编码的字符串如何？铸造失败或数据损坏吗？
浏览 1提问于2014-01-08得票数 3
回答已采纳
1回答
我正在尝试将csv文件导入到rails应用程序中。我遵循了RailsCast > 中给出的说明
无论我做什么，我仍然会得到以下错误：
PropertiesController#import中的ArgumentError
UTF-8产品中的字节序列无效。
我希望有人能帮我找到一个解决方案。
浏览 2提问于2013-02-07得票数 1
1回答
在运行我的解压缩时，得到了以下错误：
找到输入中UTF-8编码的无效字符编码.输入文件可能包含损坏的数据，或者提取器中指定的输入编码与实际的文件编码不匹配。有关包含无效字符编码的文件段的十六进制转储，请参见详细信息部分。
我无法通过下面的U脚本读取UTF-8字符数据.
@cgadmdomain =
EXTRACT
row_id string,
orgarea_name string,
last_changed_time string,
start_date string,
stop_date string,
domain_name string,
gui_description st
浏览 0提问于2018-04-09得票数 2
回答已采纳
3回答
我正在运行Perl5.10.0和Postgres8.4.3，并将字符串输入到一个数据库中，该数据库位于之后。
这些字符串应该是UTF-8格式，因此我的数据库是以UTF-8格式运行的。不幸的是，其中一些字符串是错误的，包含格式错误的UTF-8，所以当我运行它时，我得到了一个异常
DBI Exception: DBD::Pg::st execute failed: ERROR: invalid byte sequence for encoding "UTF8": 0xb5
我认为我可以简单地忽略无效的标题，并在以后担心格式错误的UTF-8，所以使用这段代码，它应该标记并忽略错误的
浏览 2提问于2010-04-17得票数 9
回答已采纳
我在Redis里有一长串短信。假设一条redis格式的消息是这样的：
"niño"
(发现非标准字符)。
rails应用程序显示消息队列。当我在本地测试(Rails 3.2.2，Ruby1.9.3)时，一切都很好，但是在Heroku cedar (Rails 3.2.2，我相信有Ruby1.9.2)上，我得到了一个臭名昭著的错误：ActionView::Template::Error (invalid byte sequence in UTF-8)
在读了一遍又一遍我在网上能找到的所有东西之后，我仍然被困在如何修复这个问题上。
任何帮助或指向正确的方向都是非常感谢的！
编辑：
浏览 0提问于2012-04-07得票数 10
回答已采纳
可能重复：
我有一个字符串，其中包含一个无效的字符(它不是UTF-8)，例如下面的显示子：
我觉得这是某种外国的无效角色。
在PHP中是否有一种方法可以使用字符串并使用preg_replace或其他什么方法来确保我只在字符串中使用有效的UTF-8字符，而其他任何内容都会被删除？
谢谢。
浏览 3提问于2013-01-10得票数 0
我们有一个CGI程序，处理后期的表单。有些POST文本可以包含非ASCII字符，而浏览器已经将这些字符转换为UTF-8。
我需要“硬化”程序，以拒绝无效字符串-其中一个非ASCII字符串也不是一个有效的UTF-8字符串。
我想，我会依赖mbstowcs()：
setlocale(LC_CTYPE, "en_US.UTF-8");
unilen = mbstowcs(NULL, foo, 0);
if (unilen == (size_t)-1) {
... report an error ...
}
但是，我很难验证这个方法--它可以接受有效的字符串，但是我不能想出一个
浏览 6提问于2012-10-15得票数 2
在rails控制台中，我得到：
hash = {"name"=>"სსიპ ოთარ ჩხეიძის სახელობის სოფელ ყე\xE1\x83"}
#=> {"name"=>"სსიპ ოთარ ჩხეიძის სახელობის სოფელ ყე\xE1\x83"}
hash.to_json
#>> ArgumentError: invalid byte sequence in UTF-8
from /home/edmodo/.rvm/gems/ruby-2.3.0@one-eye/ge
浏览 0提问于2018-10-30得票数 0
我从一个utf-8页面上抓取了一个字段：
"O’Reilly"
并保存在yml文件中：
:name: "O\xE2\x80\x99Reilly"
(为xE2x80x99)
但是，当我将值加载到散列中并将其输出到标记为utf-8的页面时，我得到：
OâReilly
我查找了字符？，它在UTF-16中编码为x00E2，当我粘贴字符串时，字符x80和x89是不可见的，但在?之后出现。我假设这意味着我的应用程序将输出三个UTF-16字符，而不是一个UTF-8字符。
如何让rails将3字节的UTF-8代码解释为单个字符？
浏览 1提问于2011-07-08得票数 1
UniUnicodeDecodeError (同时向客户端发送消息)
我正在用python实现服务器/客户端套接字，下面的代码有时会引发UniUnicodeDecodeError异常。我不知道为什么有时起作用，有时不起作用。请帮帮我..。
服务器
conn.sendall('200 OK'.encode('utf-8'))
while l:
self.conn.sendall(l)
l = f.read(BUFFER_SIZE)
if not l:
f.close()
self.conn.close(
浏览 2提问于2017-10-21得票数 1
回答已采纳
2回答
我需要为UTF-8验证编写单元测试，但我不知道如何在C++中编写不正确的UTF-8情况：
TEST(validation, Tests)
{
std::string str = "hello";
EXPECT_TRUE(validate_utf8(str));
// I need incorrect UTF-8 cases
}
如何在C++中写出不正确的UTF-8箱？
浏览 10提问于2022-01-31得票数 2
回答已采纳
我试图在Ruby1.9.3中读取CSV文件(我没有使用Rails)。
sessions = CSV.read("c:/scripts/ruby/testcsvencoding.csv", :headers => true,
:encoding => "UTF-8")
sessions.each do | session |
p session['col1'] <-- does not work
p session[0] <--- works
end
该文件包含：
col1, col2
a,1
b,2
浏览 1提问于2012-12-28得票数 0
我需要检测损坏的文本文件，其中有无效的(非ASCII) utf-8，Unicode或二进制字符。
�>t�ï¿ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½ï¿½w�ï¿ï¿½ï¿½ï
浏览 1提问于2015-04-06得票数 74
这是我第一次用堆叠溢出来回答个人问题，我一直在寻找我的问题的答案，但没有成功，所以如果我忽略了什么，请耐心等待我，并提前感谢您的帮助。
我目前正在使用ruby on rails 4版本4.1.1 (使用RVM)创建一个应用程序，而且每次我在命令行中输入任何rake或rails命令(例如rails服务器或rails控制台)，都有50/50的可能性它将按计划工作，其余时间我收到以下错误消息：
/Users/drobro/.rvm/gems/ruby-2.1.2@global/gems/bundler-1.6.2/lib/bundler/runtime.rb:222:in `split':
浏览 4提问于2014-07-08得票数 1
回答已采纳
小故事:我不能通过使用Ruby on Rails应用程序中的文本字段(使用默认的UTF-8编码)或者通过MySQL图形用户界面应用程序直接输入它，来将像'𠂉‘这样的实体存储在UTF数据库中。
据我所知，所有的汉字和部首都可以毫无问题地输入到数据库中，但这些很少输入的“字符部件”就不行了。上面提到的字符是unicode U+20089和html实体𠂉我可以通过输入<html>𠂉</html>并删除html转义来让它显示在页面上，但我想简单地将其存储为unicode字符并保持html转义不变。还有许多其他的中文“部件”
浏览 1提问于2010-06-17得票数 3
回答已采纳
我的网站从一个我无法控制的外部来源导入很多业务数据。其中，我正在导入字符U+E006
当我在我的页面中重复这一点时：
Linux+Windows+Mac+Android:垃圾
iOS:一件T恤
FileFormat.info 认为这不是一个有效的UTF-8字符.
到底怎么回事？U+E006是否有效UTF-8？如果，正如我所怀疑的，它实际上是无效的，为什么是iOS行为？
浏览 0提问于2018-06-19得票数 3
回答已采纳
5回答
我正在测试我的一些代码如何处理坏数据，并且我需要一些无效的UTF-8字节序列。
你能不能发布一些，最好是，解释一下为什么它们不好/你在哪里买到的？
浏览 0提问于2009-08-19得票数 117
回答已采纳
我很难在Python3中解码一个ASP.NET视图状态字符串。当我尝试使用bash的base64命令解码该字符串时，它成功地解码了该字符串，并且我能够看到我需要的所有信息(大部分是希伯来语，意思是UTF-8)。当然，视图状态是base64 64编码的，没有加密。
但是，当我尝试使用Python的base64库解码字符串，然后将字节数组解码为UTF-8字符串时，我会得到一条错误消息：
UnicodeDecodeError：'utf-8‘编解码器无法解码0位置的字节0 0xff :无效的开始字节
我应该指出，由于字符串是视图状态，所以前几个字节是二进制数据，"0xff“是有
浏览 9提问于2015-03-26得票数 1
回答已采纳
1回答
我试图使用pyaes包加密python中的文本：
import os
import pyaes
aes = pyaes.AESModeOfOperationCTR(os.urandom(16))
result = aes.encrypt("test")
但我有个错误：
UnicodeDecodeError：'utf-8‘编解码器无法解码位置0的字节0xc8 :无效的连续字节
我还试过aes.encrypt("test".encode())
我在这里做错了什么？
浏览 0提问于2021-03-19得票数 0
回答已采纳
我收到一封使用字符集iso-8859-8-i的电子邮件。iconv表示它是不受支持的字符集。我尝试使用iso-8859-8，但出现“无效的多字节序列”的错误。你知道怎么把这个字符串转换成UTF-8吗？
浏览 2提问于2012-08-10得票数 2
回答已采纳
1回答
我的加密应用程序(用C# & GTK#编写，使用Rijndeal)从文本视图中获取一个字符串进行加密，并在一个字节数组中返回结果。然后我使用Encoding.Unicode.GetString()将其转换为字符串，但我的输出看起来并不正确，它似乎包含无效字符：`zźr[���ā�֖�Z�_����W�h�。
我假设文本视图的编码不是Unicode，但ASCII也不起作用。如何确保输出不是无效的？或者我的方法从一开始就是错误的？
我是C#的新手，总体上对编程经验不是很丰富(我在PHP中有不错的技能，也知道一点JavaScript，但仅此而已)所以如果你能简化你的答案，我将不胜感激。
提前
浏览 1提问于2012-06-24得票数 2
回答已采纳
1回答
我相信大多数熟悉Python的人都读过Python 3。在第4.3章中，它说：
在Python3中，所有字符串都是Unicode字符序列。没有用UTF-8编码的Python字符串，也没有编码为CP-1252的Python字符串。“这是字符串UTF-8吗？”是个无效的问题。
不知何故，我明白这意味着什么:字符串= Unicode集中的字符，而Python可以帮助您根据不同的编码方法对字符进行编码。但是，无论如何，Pythons中的字符是否以字节形式存储在计算机中？例如，s=‘string’，并且s作为字节流“0100100101.”存储在我的计算机中。或者别的什么。那么这里使用的编码方法是什么
浏览 2提问于2012-03-15得票数 5
回答已采纳
我使用Python3.9.1和Linux (CentOS 7)。我想要将unicode字符打印到控制台。我想用UTF-8做所有的事情。如果我打开python交互式控制台并编写：
print("├")
一切顺利，打印结果如下：
├
现在，我将同一行print("├")放入一个文件中，然后使用UTF-8编码(linux上的默认编码)保存该文件。然后，我得到以下错误：
UnicodeEncodeError: 'latin-1' codec can't encode character '\u251c' in position 0
浏览 41提问于2021-05-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
