189 8069 5689

GBK与UTF-8的区别是什么

GBK与UTF-8的区别是什么,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

创新互联专注于涡阳网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供涡阳营销型网站建设,涡阳网站制作、涡阳网页设计、涡阳网站官网定制、成都微信小程序服务,打造涡阳网络公司原创品牌,更为您提供涡阳网站排名全网营销落地服务。

GBK与UTF-8的区别:

  • GBK是在国家标准GB2312基础上扩容后兼容GB2312的标准。GBK编码专门用来解决中文编码的,是双字节的。不论中英文都是双字节的。支持持简体中文。

  • UTF-8 编码是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24位(三个字节)来编码。

  • 如果是外国人访问GBK的系统,需要下载中文语言包支持。

  • GBK包含全部中文字符(含生僻字);UTF-8则包含全世界所有国家需要用到的字符。

  • 如果主要做中文程序的开发,客户也主要是中国用户的话就用GBK,因为UTF-8编码的中文使用了三个字节,用GBK节省了空间(两字节)。

GBK改造成UTF-8的风险:

  • 最早使用GB2312,历史上遇到过中文生僻字乱码的问题(主要是客户姓名,起名字时为了一些好彩头会选一些生僻汉字),后改为GBK才完整兼容。

  • 如果改造成UTF-8,各业务环节都要做中文及生僻字的回归测试,测试成本较高。

  • 我们还是推荐客户安装中文语言包的支持,目前外资客户,都选择安装了中文语言包。

GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换:

用UTF-8表示英文字符用1个字节,表示 中文用3个字节。GBK是中国造的字符编码标准,长度为2个字节。因此,这两个字符集进行转换,需要中间通过Unicode编码进行过渡。

  • GBK、GB2312 ----》Unicode ----》UTF8

  • UTF8 ----》 Unicode ----》GBK、GB2312

人们为世界所有字符都编了码,叫做 Unicode(统一字符码)。在被编了码的字符中,很多字符是不经常使用的,用太长的字节表示不但浪费内存,而且大大降低读写数据库的速度(所以高性能的数据库都以ASCII为基础,比如Oracle数据库),所以提出了UTF-8(Unicode格式转换器)。

UTF-8很灵活,长度为1到6个字节,UTF-8中的8表示1个字符的长度至少是8个比特。

UTF-16比较灵活,长度为2到4个字节,UTF-16中的16表示1个字符的长度至少是16个比特。

UTF-32不灵活,长度固定4个字节,UTF-32中的32表示1个字符的长度至少是32个比特。

字符集错误转换导致的问题:

UTF8字符串-->转字节流-->按GBK转字符串(乱码)-->再转回字节流-->按UTF8转字符串(仍然乱码了)

UTF-8格式编码的字节流,按GBK字符集转换为字符串,会出现乱码,这很正常。但将其重新转为字节流,再用UTF-8字符集转为字符串,还是乱码。这就让我产生了疑惑,虽然使用错误的字符集必然导致乱码,但字节的信息并没有改变,因此再转为字节流,用正确的字符集解码,应该得到正常的字符串。但事实是,被错误字符集转换过的字符串,无法恢复到原来的字符集。

问题的根本原因

  • 造成该问题的根源是字节长度发生了变化。

  • 因为UTF-8编码的英文使用一个字节,中文使用三个字节,而GBK中英文都是两字节。

  • GBK或UTF-8遇到无法解析的字符时,会使用特殊的字符代替,因此造成原有字节信息的丢失,无法恢复。

错误转换的分析

UTF-8(三字节) → GBK(两字节)

对于一串UTF-8编码的字节流,使用GBK进行解码。连续两个大于127的字节被认为是一个GBK编码的字符;若只读到一个大于127的字节,便发生错误,无法解析。此时,  用字符  '  �  '  代替错误字节,ASCII码是63。

以  “樊”字为例,UTF-8编码使用三个字节表示该字符,字节码为[11100110, 10101000, 10001010]([e6, a8, 8a])。使用GBK解码时,读到第一个字节大于127,则取两个字节解析为一个GBK字符。前两个字节e6 8a被解析为GBK字符——妯。 第三个字节无法解析,所以赋值为�,最后的结果是  �。

可以看出,最后一个字节的信息丢失了,由  8a变成  3F,即使把结果再转换为字节流,也无法用utf-8字符集正确解析了。

GBK(两字节) → UTF-8(三字节)

对于一串GBK编码的字节流,使用UTF-8解码。UTF-8对于字节的格式有严格要求,当解析某个字符失败时,使用  '�'(UTF-8编码为EF BF BD)代替。

继续以  “樊”字为例,其GBK字节码为[10110111, 10101110]([B7, AE])。使用UTF-8解码时,根据规则,要求10开头的字节之前,必须有字节标识一个字符的长度,所以两个字节都无法解析。最后的字符串是��。可以看出,所有的字节信息都丢失了,因此无法再使用GBK解析该字符串。

注意,UTF-8用�替换,是以字符为单位的。例如[11100110, 10101000, 01000001]使用UTF-8解码,得到的结果是�A,而不是��A。根据第一个字节的格式,UTF-8期望将三个字节转换为一个字符。但最后一个字节不符合要求,所以前两个字节被一个�代替。而不是每个字节都被�代替。

str='学'
print(str)
print(len(str))
print(str.encode())
print(str.encode('GBK'))
print(str.encode('UTF-8'))
print(len(str.encode('GBK')))
print(len(str.encode('UTF-8')))


-----
学
1
b'\xe5\xad\xa6'
b'\xd1\xa7'
b'\xe5\xad\xa6'
2
3

关于GBK与UTF-8的区别是什么问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。


文章标题:GBK与UTF-8的区别是什么
分享地址:http://cdxtjz.cn/article/psiips.html

其他资讯