python判断unicode是否是汉字,数字,英文,或者其他字符,pythonunicode,下面这个小工具包含了 判
python判断unicode是否是汉字,数字,英文,或者其他字符,pythonunicode,下面这个小工具包含了 判
下面这个小工具包含了 判断unicode是否是汉字,数字,英文,或者其他字符。 全角符号转半角符号。 unicode字符串归一化等工作。 还有一个能处理多音字的汉字转拼音的程序,还在整理中。
#!/usr/bin/env python# -*- coding:GBK -*- """汉字处理的工具:判断unicode是否是汉字,数字,英文,或者其他字符。全角符号转半角符号。"""def is_chinese(uchar): """判断一个unicode是否是汉字""" if uchar >= u'u4e00' and uchar<=u'u9fa5': return True else: return Falsedef is_number(uchar): """判断一个unicode是否是数字""" if uchar >= u'u0030' and uchar<=u'u0039': return True else: return Falsedef is_alphabet(uchar): """判断一个unicode是否是英文字母""" if (uchar >= u'u0041' and uchar<=u'u005a') or (uchar >= u'u0061' and uchar<=u'u007a'): return True else: return Falsedef is_other(uchar): """判断是否非汉字,数字和英文字符""" if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)): return True else: return Falsedef B2Q(uchar): """半角转全角""" inside_code=ord(uchar) if inside_code<0x0020 or inside_code>0x7e: #不是半角字符就返回原来的字符 return uchar if inside_code==0x0020: #除了空格其他的全角半角的公式为:半角=全角-0xfee0 inside_code=0x3000 else: inside_code+=0xfee0 return unichr(inside_code)def Q2B(uchar): """全角转半角""" inside_code=ord(uchar) if inside_code==0x3000: inside_code=0x0020 else: inside_code-=0xfee0 if inside_code<0x0020 or inside_code>0x7e: #转完之后不是半角字符返回原来的字符 return uchar return unichr(inside_code)def stringQ2B(ustring): """把字符串全角转半角""" return "".join([Q2B(uchar) for uchar in ustring])def uniform(ustring): """格式化字符串,完成全角转半角,大写转小写的工作""" return stringQ2B(ustring).lower()def string2List(ustring): """将ustring按照中文,字母,数字分开""" retList=[] utmp=[] for uchar in ustring: if is_other(uchar): if len(utmp)==0: continue else: retList.append("".join(utmp)) utmp=[] else: utmp.append(uchar) if len(utmp)!=0: retList.append("".join(utmp)) return retListif __name__=="__main__": #test Q2B and B2Q for i in range(0x0020,0x007F): print Q2B(B2Q(unichr(i))),B2Q(unichr(i)) #test uniform ustring=u'中国 人名a高频A' ustring=uniform(ustring) ret=string2List(ustring) print ret
相关内容
- 使用python sdk读取weibo粉丝列表,pythonweibo,调用python sd
- Python的xor 异或逻辑实现,pythonxor逻辑,python中没有异或
- Python的位运算,Python运算,Python语言能够对整
- 如何检查端口是否是被占用,检查端口占用,如下一小段
- 阿里云开放搜索的python客户端,阿里云python客户端,阿里
- 阿里云收集服务器性能指标的python脚本,阿里python,下面
- ubuntu安装python3的python-pip,python3python-pip,python-pip默认
- python读取yaml,pythonyaml,python读取yaml
- python获得linux服务器的内存使用率,虚拟内存使用率,
- 64位系统编译Python,64位编译python,如果在64位系统下默认
评论关闭