遇到UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa3 in position 4: invalid start byte的几种处理方法

当遇到`UnicodeDecodeError: 'utf-8' codec can't decode byte`或`'gbk' codec can't decode byte`的错误时,可以尝试在读取文件或解码字符串时忽略错误,或者根据实际情况更改编码方式。通过定位问题行并处理特殊字符,或者在代码中设置error='ignore'或切换编码如'gbk'到'utf-8',可以有效解决这类问题。
读取文件、解码字符串时,有时会遇到这样的报错:

UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xa3 in position 4: invalid start byte
UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xa3 in position 4: invalid start byte

原因是使用utf-8、gbk编码方式读取这个文件或decode某个字符串时,遇到了无法解码的字符。

如果是文件,首先可以通过这样的方式来定位解码失败的行和行内容:

with open(file, 'rb') as f:
    for n, line in enumerate(f.readlines()):
        try:
            line.decode('utf-8')
        except:
            print(n, '  ->  ', line)

找出文件的问题所在,将字符处理掉即可。

代码的处理方法
1 在读取文件、decode字符串时,在代码上增加忽略错误的设置,避免报错:
f = open(file, 'r', encoding='utf-8', errors='ignore')
line.decode(encoding='utf-8', errors='ignore')

由于默认对error的处理为strict,所以遇到无法解码的字符就会直接报错退出,代码中设置errors='ignore',忽略错误,就不会再报错退出了。

2 可以将报错位置的编码方式从'utf-8''gbk'改为'ISO-8859-1',也能解决这个问题。
encoding="ISO-8859-1"

以上。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值