字符编码,


字符编码

1.字符编码简介

  • 字符编码只针对文本文件
  • 计算机内部存储数据的本质是二进制 也就是计算机只认识0和1
  • 我们打出来的字能被计算机识别是因为中间有一层转换关系>>字符编码表、

2.字符编码发展的三个阶段

  • 阶段一:一家独大

    由于计算机是美国人发明的 为了可以让计算机识别英文 所以发明了ASCII码

    ASCII码中记录了英文字母跟数字的对应关系>>用1字节来表示一个英文字符

    A-Z:65-90

    a-z:97-122

  • 阶段二:群雄割据

    各国都有自己的字符编码

    中国:GBK码 记录中文、英文与数字的对应关系>>用2个字节来表示一个字符

    日本:shift_JIS码 记录日文、英文与数字的对应关系

    韩国:Euc_kr码 记录韩文、英文与数字的对应关系

    PS:此时各个国家之间编码不一致,不同数据无法直接交互会出现乱码!

  • 阶段三:天下统一

    万国码(unicode):兼容多个多家语言与数字的对应关系 >>用2字节表示一个字符

    后来utf家族发布了优化版:utf8 英文采用1字节 中文采用3字节

    ps:内存使用unicode 硬盘采用utf8

3.字符编码相关操作

只有字符串可以参与编码解码 其他数据类型需要先转成字符换才可以

  • 解决乱码的措施

    1.当初用什么编码存的就用什么编码解码
    2.一个一个切换尝试
    
  • 编码与解码

    编码:人类字符--->计算机字符

    将人类字符按照指定的编码编程计算机可以识别的数字

    encode()

    #encode()编码
    
    s1 = '张三'
    res = s1.encode('utf8')
    print(res)
    #结果为:b'\xe5\xbc\xa0\xe4\xb8\x89'
    
    

    解码:计算机字符--->人类字符

    将计算机可以识别的数字按照指定的编码解成人类可以读懂的字符

    decode()

    #decode()解码
    
    res1 = res.decode('utf8')
    print(res1)
    #结果为:张三
    
    
  • 不同版本解释器的区别

    python2默认的编码是ASCII码 如果想要使用utf8需要:

    1.文件最开头输入:#encoding:utf8

    2.每个字符串前面都要加u print u'我是小美女'

    python3默认就是utf8

评论关闭