国标码与机内码转换(计算机中文编码进阶史)

历史悠久的泱泱中华,文化博大精深,文字独一无二,且能没有一套属于自己的计算机编码。1980年,为了使每个汉字有一个全国统一的编码,我国颁布了汉字编码的国家标准:GB2312-80《信息交换用汉字编码字符集》基本集,这个字符集是我国中文信息处理技术的发展基础,也是国内所有汉字系统的统一标准。将一些常用符号及汉字,按区与位的方式编入码表,这套编码便是区位码。

一、区位码

区位码是一个四位的十进制数,高两位为区码(01-94),低两位为位码(01-94),由此组成一个94×94的矩阵,每个码值都对应着一个唯一的符号或汉字。如下图示:

国标码与机内码转换(计算机中文编码进阶史)

图1. 第01区 特殊符号

国标码与机内码转换(计算机中文编码进阶史)

图2. 汉字区位码对照表

说明:‘啊’的区位码为1601,区码为16,位码为01。

国标码与机内码转换(计算机中文编码进阶史)

图3. 多音字‘腌’

说明:这种编码经过加工整理一律以汉语拼音的字母为序, 音节相同的字以使用频率为序,其查找方法与一般汉语字典的汉字拼音音节索引查找法相同。由于它是一种无重码的汉字编码,所以多音字只有一个编码。例如:重庆的“重”和重量的“重”,字同音不同,汉字“重”的编码是按Zhong 音编码。

由图2,图3所示,按拼音音节索引时,编码并不连续,这是因为汉字被分级处理,一级汉字相对更为常用。如下图示:

国标码与机内码转换(计算机中文编码进阶史)

图4. 区段说明

说明:在某些硬件指标相对偏低的平台上可能依然还在使用着一级码汉字。

二、国标码

汉字区位码定义好后融入计算机,发现少了一些控制符,如回车,换行,退格等,同时ASCII编码中前32个控制码刚好包含了这些,那就借来用用吧!为此,国标码诞生了。为了兼容这些控制码,国标码规定在区码、位码的基础上分别加20H(即32的16进制数)。例如:汉字‘啊’的区位码为1601,则区码为16,位码为01,转换成16进制后,区码为10H,位码为01H,转国标码,则区码10H+20H=30H,位码01H+20H=21H,合成后国标码为3021H;

国标码与机内码转换(计算机中文编码进阶史)

图5. 国标码

说明:图5为Mac系统中的16点阵中文国标码点阵字库,‘啊’的国标码为3021H。

三、机内码

这里特指汉字机内码,简称“内码”,亦称“变形国标码”,指计算机内部存储,处理加工和传输汉字时所用的由0和1符号组成的代码。

国标码虽说很好地解决了控制字符问题,但随着社会的发展,汉字处理系统想要兼容英文(当时主流就是ASCII),当系统中同时存在ASCII和汉字国标码时,将会产生二义性。例如:有两个字节的内容为30H和21H,它既可表示汉字“啊”的国标码,又可表示ASCII中的“0”和“!”,为此,汉字机内码诞生了。由于ASCII编码范围为00H~7FH,字节最高位皆为‘0’,机内码应对国标码加以适当变换处理,将相应国标码每个字节的最高位置为“1”,即:汉字机内码=汉字国标码+8080H。例如:“啊”字的国标码是3021H,则其汉字机内码为B0A1H=3021H+8080H。

国标码与机内码转换(计算机中文编码进阶史)

图6. 机内码

说明:图6为按照Windows CP936(内码)编码生成的16Pixel中文点阵字库,只包含了一级码汉字(3755个字符),‘啊’的编码为:B0A1H。

上述所述,不论是区位码,国标码,还是机内码,主要都是针对GB2312-80标准(7K+字符),若按区位码94×94矩阵计算,最大也只能表达94×94=8836个字符,这时有人可能会问,若要支持更多的中文怎么办呢?

这自然难不倒勤劳又机智的“中国人”。看懂下面这张图,就都明白了。

国标码与机内码转换(计算机中文编码进阶史)

说明:这里主要记录汉字编码,并且第一字节最高位皆为‘1’,也能很好的做到向前兼容。

  1. GB2312-80,字符数 6763 =①
  2. GBK,字符数 21003 = ①+②+③
  3. GB18030-2000,字符数 27533 = ①+②+③+④
  4. GB18030-2005,字符数 70244 = ①+②+③+④+⑤

四、Unicode

Unicode 是为了解决传统字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求,中文只是其中的一部分。由于Unicode编码(针对中文)不连续,只能靠查表方式解决编码转换问题。

国标码与机内码转换(计算机中文编码进阶史)

图7. Unicode

说明:‘啊’的Unicode码值为 554AH。

五、总结

  • 图解

国标码与机内码转换(计算机中文编码进阶史)

  • 编码转换

区位码、国标码、机内码之间递进式转换,都在这张表里了。

国标码与机内码转换(计算机中文编码进阶史)

随着社会发展不断更新迭代,区位码、国标码在应用场景上已慢慢淡出了用户视野,现在最常用的则是内码,Unicode。

说了这么多,想想,若没有这些先辈们的坚持与努力,可能我们今天还在用ASCII计算机呢!

感恩所有为中文编码默默奉献的人!

参考文献:

  • 汉字区位码对照表.pdf
  • 百度百科
  • 知乎

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年1月3日 下午2:04
下一篇 2023年1月3日 下午2:06

相关推荐

  • 意面和挂面哪个健康(意大利面和普通面条有啥区别)

    “意大利面”和普通面条有啥区别?哪种更营养?学会别再挑错了 咱们国家是面点大国,面食的种类也是多种多样,其中最具代表性的,面条要属其一。像什么刀削面、手擀面、油泼面、担担面、冷面等等,随手就能列出一箩筐。不同的面条种类,具有很明显的地域特色和口感风格。 而要说到西方的面条,相信大家首先想到的,一定是意大利面,意大利面也是西餐正餐中,最接近咱们中国人饮食习惯的…

    2023年10月18日
    670
  • 汉乐府江南古诗(江南古诗的意思全解)

    江 JIANG NAN 南 江南可采莲,莲叶何田田,鱼戏莲叶间。 鱼戏莲叶东,鱼戏莲叶西,鱼戏莲叶南,鱼戏莲叶北。 ——汉乐府 儒家六经中原有《乐经》,后惜不传,现今流传的《诗经》韵律和谐,原本亦是歌咏之词。音乐,在中国的传统文化中始终占据着重要地位,是“礼”的承载、“德”的体现。在周王朝设采诗官之后,秦亦设有乐府,在少府辖下,专管教习乐舞演唱之事。汉初社会…

    2022年12月8日
    320
  • 粘贴板历史记录怎么查(Win10自带的6个实用功能)

    1、系统自带计算器 系统里自带了一个计算器大家都知道,打开是这个样子。 但当你点击计算器左上角的三个横杠图标后会发现这个计算器功能非常强大。 不仅可以计算各种三角函数,甚至还能在直角坐标系绘制方程式图。另外,还可以进行日期、长度、货币等很多计算,太全面了,相信很多朋友都没有深入去用。 2、Win10自带截图功能 截图也是我们平时使用非常频繁的功能。一般大家可…

    2023年9月27日
    240
  • 舟过谢潭其一杨万里翻译(舟过谢潭三首之一赏析)

    创作背景:孝宗淳熙七年(1180年),诗人从家乡吉州(今江西吉水县)赴提举广东常平茶盐任,在溯赣江途中经谢潭。诗人叹其江山画卷,天赐风光,故作《舟过谢潭》组诗。杨万里简介:杨万里,字廷秀,号诚斋,男,

    2022年10月7日
    1180
  • 斯宾塞随手晒图疑似曝光微软 Xbox 流媒体盒子(只比手柄略大)

    10月11日消息,此前有传言称,微软正在开发一款流媒体设备,可以将让用户同时进行流媒体游戏和视频,但一直没有曝光更多信息。不过,似乎微软Xbox主管菲尔・斯宾塞亲自泄露了这款设备,他在一条庆祝《辐射》系列

    2022年10月12日
    450
  • 美国为什么移民这么火 2022移民最新政策要求有哪些

    虽说美国有着诸多的不公平规则等等要求,但每年还是有不少人愿意移民到美国的,所以当中的原因,也是我们所想知道的一点。至于美国为什么移民这么火,我们顺便往下看看最新政策要求有哪些。美国移民政策美国作为发达国家,有着健全

    2022年10月9日
    430
  • 明起湖北河南等9省市部分地区有大暴雨:注意防灾

    不是高温,就是降雨,这个夏天的天气有些反复无常。据中央气象台发布的最新“重要天气提示”,预计18日夜间至20日川渝黔豫鲁苏皖等地有明显降雨。官方称,此次降雨过程局地累计降雨量较

    2022年9月5日
    870
  • 打印机安装失败是什么原因(打印机驱动安装失败需要注意什么)

    最近有位朋友想要使用打印机,但是在安装印机驱动却失败了,不知道如何解决。其实,这是比较常见的故障,大多是因为打印机种类以及品牌众多,导致了打印机在连接电脑驱动难免会出现失败。 1、 安装前,一定要将电脑之前安装过其他打印机驱动及软件完全卸载干净:在控制面板-添加删除程序(或程序)里面找,或者使用第三方卸载工具 2、 安装驱动时,一定要关闭杀毒软件及防火墙:如…

    2022年12月15日
    270
  • 赞美荷花的四字成语有哪些(形容荷花四字词语大全)

    中国的花文化源远流长,从古至今,花文化在绘画、书法、文学、造园工艺、日常生活中都有丰富的表现。当花遇上成语又会擦出怎样的火花呢? 出水芙蓉——荷花 芙蓉:荷花。荷花,又名莲花、水芙蓉等。它清丽脱俗,近圆形的大叶子青翠碧绿,硕大的花朵风姿优雅,千姿百态,花色艳丽,娇媚可人,清香四溢,极富观赏价值。 当荷花遇上成语,美的不可方物。用来形容天生丽质、面容姣好的女子…

    2023年3月24日
    70
  • 双曲线虚轴是什么(双曲线的简单几何性质介绍)

    一、前言 在这之前作者已经给读者们讲解了双曲线的标准方程,如果没有看过的读者可以回去翻看一下,虽然知道了标准方程,但是有关于它的几何性质都不知道,今天作者就来给读者讲解一下。 二、双曲线的简单几何性质 我们从双曲线的定义得出了双曲线的标准方程,那么我们就需要利用双曲线的标准方程来研究它的几何性质,但是由于焦点的位置导致标准方程不一样,所以就以下述的标准方程讨…

    2023年7月7日
    70

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信