python汉字编码

python汉字编码

在处理一段文本的时候，首先了解文本的汉字编码。在windows下默认的文件编码是GBK，而

linux的一般是utf-8.
想要查看文件的编码方式，使用vim打开文本，然后在命令行模式下输入：set fileencoding,回车

即可。
   Python中有两种默认的字符串：str和unicode。在Python中一定要注意区分“Unicode字符串”

和“unicode对象”的区别。后面所有的“unicode字符串”指的都是python里的“unicode对象”

。
事实上在Python中并没有“Unicode字符串”这样的东西，只有“unicode”对象。一个传统意义上

的unicode字符串完全可以用str对象表示。只是这时候它仅仅是一个字节流，除非解码为unicode

对象，没有任何实际的意义。
  函数 decode( char_set )可以实现 其它编码到 Unicode 的转换，函数 encode( char_set )实

现 Unicode 到其它编码方式的转换。
  比如 ("你好").decode( "GB2312") 将得到 u'\u4f60\u597d'，即 "你"和“好"的 Unicode 码

分别是 0x4f60 和 0x597d
再用 (u'\u4f60\u597d').encode("UTF-8") 将得到 '\xe4\xbd\xa0\xe5\xa5\xbd'，它是  “你好

”的UTF-8编码结果。www.2cto.com

python中使用 unicode的关键：unicode是一个类，函数unicode(str,"utf8")从utf8编码（当然也

可以是别的编码）的字符串str生成 unicode类的对象，而函数unc.encode("utf8")将unicode类的

对象unc转换为（编码为）utf8编码（当然也可以是别的编码）的字符串。于是，编写unicode相关

程序，需要做的事情是

    * 获取数据（字符串）时，用unicode(str, "utf8")生成unicode对象
    * 在程序中仅使用unicode对象，对程序中出现的字符串常量都以u"字符串"的形式书写
    * 输出时，可将unicode对象转换为任意编码输出，使用str.encode("some_encoding")

>>> unicode("你好", "utf8")
u'\u4f60\u597d'
>>> x = _
>>> type(x)

>>> type("你好")

>>> x.encode("utf8")
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> x.encode("gbk")
'\xc4\xe3\xba\xc3'
>>> x.encode("gb2312")
'\xc4\xe3\xba\xc3'
>>> print x
你好
>>> print x.encode("utf8")
你好
>>> print x.encode("gbk")
???

 

摘自  sunrise