代码点与代码单元和Unicode相关的UTF_代码的ut ui-程序员宅基地

技术标签： Java  java  utf-8  历史  unicode  

java字符串由char序列组成，char数据类型是一个采用UTF-16编码表示Unicode代码点的代码单元，大多数的常用Unicode字符使用一个代码单元就可以表示，而辅助字符需要一对代码单元来表示，length方法返回的是采用UTF-16编码表示的给定字符串所需要的代码单元的数量，要想得到真实的长度即代码点的数量可以调用xxx.codePointCount(0，xxx.length())方法。
为什么那么关注代码点和代码单元，因为在处理字符串时使用length和charAt方法时返回的是编码表示下的代码单元数量而不是认为的字符个数，在一个字符串内如果有使用多个代码单元表示的字符，在使用以上的方法时会出现检索错误。

那什么是代码点什么是代码单元？
代码点（code point）：unicode是属于编码字符集（CSS）的范围，将需要表示的字符表中的每个字符映射成一个数字，这个数字被称为码点，代码点是字符集被编码后出现的概念，为了计算机使用这些所以出现了编号，这些编码了的字符集叫做编码字符集这个编号i就是代码点，指与一个编码表中的某个字符对应的代码值，在Unicode标准中代码点采用十六进制书写并加上前缀U+，Unicode代码点分为17个级别，第一个代码级别称为基本的多语言组别，代码点从U+0000到U+FFFF，其余的16个附加级别，代码点从U+10000到U+10FFFF包括了一些辅助字符
代码单元（code unit）：是指一个以编码的文本中具有最短的比特组合的单元，在基本的多语言级别中每个字符用16位表示，通常被称为代码单元。

总结一下代码点是为字符分配的编号，一个字符占一个代码点，而代码单元则是针对编码方法而言的，因为一个字符可以编译为一个字节，两个字节或者三四个字节。所以一个字符对应一个代码点但是可以有多个代码单元，当你想以一种方式指定自己使用什么字符的时候使用代码点，即告诉程序你使用的是第几个字符，而在不同的情况使用不同的代码单元，因为需要区分不同的情况。

Unicode包含两个步骤首先是定义一个规范，给所有的字符指定一个唯一对应的数字，之后才是把字符对应的数字保存在计算机中，所以在保存到计算机内时就会有不同的保存方式就会有多种UTF形式，字节编码方案是从一个或者多个编码字符集到一个或多个固定宽度代码单元序列的映射，最常用的代码单元是字节，UTF-32、UTF-16、UTF-8是Unicode标准的编码字符集的字符编码方案。

UTF-8：使用一至四个字节的序列对编码Unicode代码点进行编码。U+0000至U+007F使用一个字节编码，U+0080至U+07FF使用两个字节，U+0800至U+FFFF使用三个字节，而U+10000至U+10FFFF使用四个字节。UTF-8设计原理为：字节值0x00至0x7F始终表示代码点U+0000至U+007F（Basic Latin字符子集，它对应ASCII字符集）。这些字节值永远不会表示其他代码点，这一特性使UTF-8可以很方便地在软件中将特殊的含义赋予某些ASCII字符。最大特点是一种可变长的编码方式，根据不同的符号而变化字节长度，对应于英语字母UTF-8编码和Ascii编码是一样的，但是对于n字节的符号第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10，剩下的没有提及的二进制位，全部为这个符号的unicode编码，在计算机内存中统一使用unicode编码，当需要保存到硬盘或者传输的时候就转换到UTF-8，一般在网页中也是又服务器里的unicode编码转换为UTF-8后到浏览器上。 UTF-8有点类似于Haffman编码，它将Unicode编码为00000000-0000007F的字符，用单个字节来表示； 00000080-000007FF的字符用两个字节表示 ；00000800-0000FFFF的字符用3字节表示。因为目前为止Unicode-16规范没有指定FFFF以上的字符，所以UTF-8最多是使用3个字节来表示一个字符。但理论上来说，UTF-8最多需要用6字节表示一个字符。 


UTF-16：使用一个或两个未分配的16位代码单元为单位的序列对Unicode代码点进行编码。值U+0000至U+FFFF编码为一个相同值的16位单元。增补字符编码为两个代码单元，第一个单元来自于高代理范围（U+D800至U+DBFF），
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZytheMoon/article/details/79124066

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时，向何处发送表单中的数据，地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一：用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头，使全列成选中状态，然后粘贴，最后commit提交即可。（前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明：转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签