Python编码对解决疑难问题的具体方法(1)

Python编码对解决疑难问题的具体方法(1)

初学Python编码的相关人员经常会遇到很多的编码问题，常常会遇到很多的不解的编码问题,即使记下因为繁琐，也会忘记，以下介绍的是如何避免相关的情况。是我们在计算机的相关的应用中变得更为流畅。

UNICODE:

使用2个甚至4个字节来编码一个字符，因此可以将世界上所有的字符进行统一.

Python:

标准的Python编码只使用7个比特来表示一个字符，因此最多编码128个字符。扩充的 ANSCII 使用8个比特来表示一个字符，最多也只能编码 256 个字符。

UNICODE:

使用2个甚至4个字节来编码一个字符，因此可以将世界上所有的字符进行统一编码。

UTF:

UNICODE编码转换格式，就是用来指导如何将 unicode 编码成适合文件存储和网络传输的字节序列的形式 (unicode -> str)。像其他的一些编码方式 gb2312, gb18030, big5 和 UTF 的作用是一样的，只是编码方式不同。

这里面是这么几句：

"The items of a string are characters", "The items of a Unicode 
object are Unicode code units", "The string data type is also 
used to represent arrays of bytes, e.g., to hold data read from a file."  

一二句说明 str 和 unicode 的组成单元(item)是什么因为它们同是 sequence ) 。sequence 默认的 __len__ 函数的返回值正是该序列组成单元的个数。这样的话，len('abcd') == 4 和 len(u'我是中文') == 4 就很容易理解了。

第三句告诉我们像从文件输入输出的时候是用 str 来表示数据的数组。不止是文件操作，我想在网络传输的时候应该也是这样的。这就是为什么一个unicode 字符串在写入文件或者在网络上传输的时候要进行Python编码的原因了。

• Python网页爬虫制作DIY实际操作
• Python中文对相关文件的改编和处理
• python简单应用中简单程序的编写经验分享
• Python语言教程与C#之间的细微差别
• Python语言教程算术运算与算术表达式的介

Python 编码和解码也就是 unicode 和 str 这两种v形式的相互转化。编码是 unicode -> str，相反的，解码就是 str -> unicode。下面剩下的问题就是确定何时需要进行编码或者解码了，像一些库是 unicode 版的，这样我们在将这些库函数的返回值进行传输或者写入文件的时候就要考虑将它编码成合适的类型。

关于文件开头的"Python编码v指示"，也就是 # -*- coding: -*- 这个语句。Python 默认脚本文件都是 ANSCII 编码的，当文件中有非 ANSCII 编码范围内的字符的时候就要使用"编码指示"来修正。关于 sys.defaultencoding，这个在解码没有明确指明解码方式的时候使用。比如我有如下代码：

#! /usr/bin/env python     
# -*- coding: utf-8 -*-   
 

s = '中文' # 注意这里的 str 是 str 类型的，而不是 unicode   s.encode('gb18030') 这句代码将 s 重新编码为 gb18030 的格式，即进行 unicode -> str 的转换。因为 s 本身就是 str 类型的，因此 Python 会自动的先将 s 解码为 unicode ，然后再编码成 gb18030。

因为解码是python自动进行的，我们没有指明解码方 式，python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是 ANSCII，如果 s 不是这个类型就会出错。 拿上面的情况来说，我的 sys.defaultencoding 是 anscii，而 s 的编码方式和文件的编码方式一致，是 utf8 的，所以出错了:

UNICODE编码转换格式，就是用来指导如何将 unicode 编码成适合文件存储和网络传输的字节序列的形式 (unicode -> str)。像其他的一些Python编码b2312, gb18030, big5 和 UTF 的作用是一样的，只是编码方式不同。