博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
$ 专治各种python字符编码问题疑难杂症
阅读量:4986 次
发布时间:2019-06-12

本文共 1731 字,大约阅读时间需要 5 分钟。

标准动作

  • 在脚本第一行指定编码格式:
# coding:utf-8
  • 将默认的ascii字符流处理方式变为utf-8:
import syssys.getdefaultencoding()
'ascii'
reload(sys)sys.setdefaultencoding('utf-8')

常见字符编码知识

ascii编码

是最早使用、最常见的一种字符编码,包含了128个字符(英文字母、数字、符号、控制字符等),也是下面讲到的所有编码的公共集合。

ISO8859-1编码

西欧字符集编码。

gb2312/gbk/gb18030之间的关系

这是简体中文的三种编码,从左到右包含的字符范围依次增大,左边是右边的子集。

big5编码

繁体中文编码。

unicode/utf-8/utf-16/utf-32之间的关系

  • unicode是一个字符集,表示包含了哪些字符——包含了世界上所有字符。

  • 而utf-8/utf-16/utf-32是字符编码,表示用哪种方式表示unicode字符集,是对unicode字符集的具体编码实现方式。

  • 最常用的是utf-8

获取字符串的编码格式

from chardet import detect
detect('abc')
{'confidence': 1.0, 'encoding': 'ascii', 'language': ''}
detect(r'abc')
{'confidence': 1.0, 'encoding': 'ascii', 'language': ''}

注:detect的参数不能是unicode字符串,否则会报错。

str和unicode对象

str和unicode都是python内置的两种字符串类,并且有着同样的父类:basestring

type('123')
str
type(u'123')
unicode
str.__bases__
(basestring,)
unicode.__bases__
(basestring,)
basestring.__bases__
(object,)

用好unicode这个桥梁

有时候并不知道一个字符串的编码是什么(比如从某个文件中读取的内容),这时候如何把这个文件的字符编码转为需要的编码呢(比如utf-8)?

答案是:借助unicode为桥梁。

比如:

with open('content.txt','r') as fin:    content = fin.read()    # 这里先把文件内容decode成utf-8编码(中间桥梁),再encode成gbk编码(目标编码)    target = content.decode('utf-8').encode('gbk')

把转义的中文unicode字符串转为中文

s = '\u6211'
type(s)
str
print s
\u6211
print s.decode('unicode-escape').encode('utf-8')

把各种字符都统一成unicode来处理

from __future__ import unicode_literals
type('123')
unicode
type(u'123')
unicode

解决matplotlib图表中的中文乱码问题

按照matplotlib默认的字符编码,在图表中中文不能正常显示,会显示为方框,如下:

import matplotlib.pyplot as plt
x = [1,2,3]y = [4,6,8]plt.plot(x,y)plt.title(u'数据')plt.show()

760572-20170804231421522-1392373753.png

解决方法:

plt.rcParams['font.sans-serif'] = ['SimHei']  # 指定默认字体plt.rcParams['axes.unicode_minus'] = False  # 解决负号显示为方框的问题plt.title(u'数据')plt.plot(x,y)plt.show()

760572-20170804231431178-330608487.png

转载于:https://www.cnblogs.com/jiayongji/p/7287752.html

你可能感兴趣的文章
si4438+efm32g210f128
查看>>
Oracle中的exist和in
查看>>
Declaration of should be compatible with that
查看>>
[python]新手写爬虫v2.5(使用代理的异步爬虫)
查看>>
《Java开发手册》学习进程之第8章继承
查看>>
Maximum Depth of Binary Tree
查看>>
一个Jquery上传文件插件
查看>>
测试用例评审
查看>>
工具-各种开源
查看>>
HTML5-盒子的使用
查看>>
Swift之单例模式
查看>>
20180918-2 每周例行报告
查看>>
网站目录文件权限的简单安全设置
查看>>
android分享到代码
查看>>
Android 屏幕切换效果实现 (转)
查看>>
我的2015技术学习流水账
查看>>
JQuery上传插件Uploadify使用详解
查看>>
python 批量更改文件名
查看>>
DRF频率、分页、解析器、渲染器
查看>>
LeetCode(11)题解: Container With Most Water
查看>>