Python-UnicodeDecodeError，无效的继续字节

Question

为什么以下项目失败？为什么使用“ latin-1”编解码器成功？

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

结果是：

 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:\Python27\lib\encodings\utf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte

Answer 1

在二进制文件中，0xE9看起来像1110 1001。如果你在Wikipedia上读到有关UTF-8的信息，你会看到，这样的字节必须后面跟两个格式10xx xxxx。因此，例如：

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

但这仅仅是例外的机械原因。在这种情况下，你几乎可以肯定用拉丁文1编码了一个字符串。你可以看到UTF-8和拉丁文1看起来如何不同：

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

（请注意，我在这里混合使用了Python 2和3表示形式。输入在任何版本的Python中均有效，但是你的Python解释器不太可能以这种方式同时显示unicode和字节字符串。）

Answer 2

当我尝试通过pandas read_csv方法打开一个csv文件时遇到了相同的错误。

解决方案是将编码更改为“ latin-1”：

pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')