Python实现全角与半角字符转换的方法
本文介绍Python中全角与半角字符转换的实现原理及代码。全角字符Unicode范围通常为0xFF01~0xFF5E,半角为0x21~0x7E,空格需单独处理(全角12288,半角32)。通过chr()、ord()函数结合偏移量计算,可高效完成非中文及符号的全半角互换,适用于NLP数据预处理。
在自然语言处理任务中,全角与半角字符的不一致往往会导致信息抽取结果出现偏差,因此对文本进行统一处理是必要的步骤。
对于不含空格的常规字符,其转换遵循特定规律:
全角字符的Unicode编码范围大致为65281至65374(即十六进制的0xFF01到0xFF5E);而半角字符的Unicode编码范围则为33至126(即十六进制的0x21到0x7E)。
然而,存在一个特殊的例外情况:
空格字符较为特殊,其全角形式对应的编码为12288(十六进制0x3000),而半角形式的编码为32(十六进制0x20)。
除空格外,全角与半角字符在Unicode编码序列中是一一对应的,且半角编码加上0x7E(即65248)即可得到对应的全角编码。因此,在处理非空格数据时,可以直接利用加减法进行转换,而对空格则需单独处理。
需要注意的是:
1. 中文字符始终被视为全角字符,全角与半角的概念仅适用于英文字母、数字及符号键。所谓“全角”,指一个字母或数字占据一个汉字的位置;“半角”则指其占据半个汉字的位置。
2. 引号在中英文语境以及全半角状态下,其编码值是不同的,需特别注意区分。
示例代码
# 全角转半角
def strQ2B(ustring):
ss = []
for s in ustring:
rstring = ""
for uchar in s:
inside_code = ord(uchar)
if inside_code == 12288:
inside_code = 32
elif (inside_code >= 65281 and inside_code <= 65374):
inside_code -= 65248
rstring += chr(inside_code)
ss.append(rstring)
return ''.join(ss)
# 半转全角
def strB2Q(ustring):
ss = []
for s in ustring:
rstring = ""
for uchar in s:
inside_code = ord(uchar)
if inside_code == 32:
inside_code = 12288
elif (inside_code >= 33 and inside_code <= 126):
inside_code += 65248
rstring += chr(inside_code)
ss.append(rstring)
return ''.join(ss)
if __name__ == '__main__':
b = strQ2B('王大AA')
print(b)
a = strB2Q("王大AB")
print(a)
相关库函数说明
chr()函数接收一个范围在0到255之间(即range(256)内)的整数作为参数,并返回对应的字符。unichr()函数功能类似,但它返回的是Unicode字符对象。
ord()函数是chr()函数(针对8位ASCII字符串)或unichr()函数(针对Unicode对象)的配对函数。它接收一个长度为1的字符串作为参数,并返回对应的ASCII数值或Unicode编码值。
以上就是Python实现全角与半角互换的完整示例。如需了解更多相关内容,可查阅本站过往文章或继续浏览后续教程,感谢支持!
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









