鲁达 介绍
介绍
福哥今天给大家讲讲关于Python编程中的字符串编码转换的问题，这个问题在初学者编程时候会经常遇到，如果要弄清楚这里面的道道，还是需要好好学习一下的
什么是编码
所谓编码就是计算机标记一个汉字（或者是其他国家的文字）对应的数字，在不同编码情况下同样的一个汉字会对应不同的数字，比如：“福哥”在gbk编码里对应的是“205 172 184 163”，在gbk编码里一个汉字对应两个数字，而“福哥”在utf-8编码里对应的是“229 144 140 231 166 143”，在utf-8编码里一个汉字对应三个数字。
常用编码
- GBK，英文全称Chinese Internal Code Specification，中文全称《汉字内码扩展规范》，所谓的“国标”编码方式
- UTF-8，英文全称Universal Character Set/Unicode Transformation Format，是比较通用的一种编码方式，支持几乎全部国家的语言文字
- BIG5，大五码，是用于繁体汉字的编码方式
- ISO8859-1，单字节编码，是早期用于英文的网页的编码方式
- Unicode，统一码，就是所有国家的语言文字编码都会有一个方法转换成Unicode编码，然后Unicode编码又可以转换所有国家的语言文字编码。所以，python在进行编码转换时候都是先用decode转为unicode，再用encode转为目标编码
IDLE编码
在编辑器里定义的字符串常量也是有编码设置的，这个编码可以通过脚本“页头”进行声明
声明方法
在脚本页头使用coding指定脚本默认编码
声明编码之后，后面代码里出现的常量字符串都会是这个编码了
系统编码
在程序运行的时候也会有一个编码设置，这个编码就是系统编码，默认的系统编码是ascii编码，我们也可以通过sys这个软件包来设置它。
在我们使用print命令输出信息到控制台的时候，就会尝试使用系统编码进行显示了。而默认是ascii编码在很多情况下会出现无法解码的情况
查看系统编码
导入sys，查看系统编码
import sys print ()设置系统编码
导入sys，使用reload刷新sys，设置新的系统编码
import sys reload(sys) ("gbk")编码转换
既然编码方式有那么多，我们从不通的媒介上提取到的数据就有可能是不同的编码方式的，如果要将这些数据统一成我们的代码使用的默认编码，就需要学会编码之间的转换方法。
直接编码转换
在python下可以通过字符串的decode和encode方法进行字符串的编码转换操作
通用的技巧就是先通过decode方法将字符串转成unicode编码，再通过encode方法将字符串转为指定的编码
示例
脚本默认是gbk编码，先转为utf-8编码，再转回gbk编码
orgStr = "我是福哥" # print gbk gbkStr = orgStr print gbkStr # gbk to utf-8 utf8Str = gbkS("gbk").encode("utf-8") print utf8Str # utf-8 to gbk gbkStr = utf8S("utf-8").encode("gbk") print gbkStr数据库数据编码转换
从数据库里提取到的数据也是有编码的，我们一定知道数据库里的数据的编码方式，之后就可以通过直接编码转换的方式进行转换了
示例
从数据库里查询出一个字段的数据，通过直接转换方法进行编码转换
import pymysql # connect cn = ("192.168.1.168","test","abcdef") cs = cn.cursor() cn.select_db("test") # query and fetch cs.execute("select * from test") result = cs.fetchone() # utf8 to gbk utf8Str = result[1] gbkStr = utf8S("utf-8").encode("gbk") print gbkStr网页数据编码转换
使用selenium模拟浏览器获取网页上的内容数据也是有编码的，这种情况下怎么解决呢？
示例
使用selenium爬取到网页的内容，通过find命令获取到的元素上的文字，这个可以直接通过encode进行转换，因为selenium已经帮助我们把文字转换成unicode了
from selenium import webdriver chromeOpts = webdriver.ChromeOptions() c("--headless") c("--disable-gpu") c("--no-sandbox") chrome = webdriver.Chrome(options=chromeOpts) c(";) unicodeStr = c(".topic-title").text gbkStr = unicodeS("gbk") print (gbkStr)IDLE编码、系统编码、数据编码
上面我们提到了几个概念，即：IDLE编码、系统编码、数据编码，它们之间是什么关系呢？
IDLE编码
这个又称之为编辑器编码，这个编码是告诉IDLE编辑器我们当前脚本里声明的字符串常量的编码是什么，如果没有特别指定的话，默认会是ascii编码，那样是无法使用中文的。
系统编码
有一些软件包为了使程序员开发方便，会自动进行一些数据的编码转换，在进行自动转换编码的时候所依据的就是系统编码了。
数据编码
数据编码是以变量为单位的，也就是说每一个变量都会有自己的编码方式，我们在编程的时候需要根据情况对它们进行统一，否则会出现意想不到的问题
字符串输出
如果要使字符串可以正常通过print命令输出到控制台上，需要保证IDLE编码和变量编码一致，或者变量编码为Unicode编码
常见错误
未指定IDLE编码
如果没有指定IDLE编码，在输出字符串的时候就会报错
SyntaxError: Non-ASCII character '\xb8' in file Encoding.py on line 3, but no encoding declared; see for details
IDLE和数据编码不一致
如果指定的IDLE编码和变量编码不一样会出现乱码
总结
今天福哥带着大家学习了字符串编码的相关知识，后面再处理字符串的时候就会比较清晰怎么做了！否则，我们会稀里糊涂地得到关于编码的报错信息，诸如：
UnicodeEncodeError: 'ascii' codec can't encode character u'\u3010' in position 0: ordinal not in range(128)
或者
UnicodeEncodeError: 'gbk' codec can't encode character u'\xa9' in position 105046: illegal multibyte sequence
等等这样的错误信息了