本文介绍ES6新标准中对字符串的扩展。节选自《ESMAScript 6 入门 —— 阮一峰》)
一、字符的Unicode表示法
JavaScript允许采用\uxxxx
形式表示一个字符串,其中xxxx
表示字符的Unicode码点。
1 | "\u0061" |
但是,这种表示法只限于码点在\u0000
~\uFFFF
之间的字符。超出这个范围的字符,必须采用两个双字节的形式表示。
1 | "\uD842\uDFB7" |
上面代码表示,如果直接在\u
后面跟上超过0xFFFF
的数值(比如u20BB7
),JavaScript会理解成\u20BB+7
。由于\u20BB
是一个不可打印的字符,所以只会显示一个空格,后面跟着一个7
。
ES6对这一点做出了改进,只要将码点放入大括号,就能正确解读该字符。
1 | "\u{20BB7}" |
上面代码中,最后一个例子表明,大括号表示法与四字节的UTF16编码是等价的。
有了这种表示法之后,JavaScript共有6种方法可以表示一个字符。
1 | '\z' === 'z' // true |
二、codePointAt()
JavaScript内部,字符以UTF-16的格式存储,每个字符固定为2个字节。对于那些需要4个字节存储的字符(Unicode码点大于0xFFFF
的字符),JavaScript会认为它们是两个字符。
1 | var s = '𠮷'; |
上面代码中,汉字“𠮷”的码点是0x20BB7
,UTF-16编码为0xDB42 0xDFB7
(十进制为55362 57271
),需要4个字节存储。对于这种4个字节的字符,JavaScript不能正确处理,字符串长度会误判为2,而且charAt
方法无法读取整个字符,charCodeAt
方法只能分别返回前两个字节和后两个字节的值。
ES6提供了codePointAt
方法,能够正确处理4个字节存储的字符,返回一个字符的码点。
1 | let s = '𠮷a'; |
codePointAt
方法的参数,是字符在字符串中的位置(从0开始)。上面代码中,JavaScript将“𠮷a”视为三个字符,codePointAt
方法在第一个字符上,正确地识别了“𠮷”,返回了它的十进制码点134071(即十六进制的20BB7
)。在第二个字符(即“𠮷”的后两个字节)和第三个字符“a”上,codePointAt
方法的结果与charCodeAt
方法相同。
总之,codePointAt
方法返回的是码点的十进制值,如果想要十六进制的值,可以使用toString
方法转换一下。
1 | let s = '𠮷a'; |
我们注意到,codePointAt
方法的参数,仍然是不正确的。比如,上面代码中,字符a
在字符串s
中的正确位置序号应该是1,但是必须向codePointAt
方法传入2。解决这个问题的一个办法是使用for...of
循环,因为它会正确识别32位的UTF-16字符。
1 | let s = '𠮷a'; |
codePointAt
方法是测试一个字符由两个字节还是四个字节组成的最简单方法。
1 | function is32Bit(c) { |
三、String.fromCodePoint()
ES5提供String.fromCharCode
方法,用于从码点返回对应字符,但是这个方法不能识别32位的UTF-16字符(Unicode编号大于0xFFFF
)。
1 | String.fromCharCode(0x20BB7) |
上面代码中,String.fromCharCode
不能识别大于0xFFFF
的码点,所以0x20BB7
就发生了溢出,最高位2
被舍弃了,最后返回码点\u0BB7
对应的字符,而不是码点\u20BB7
对应的字符。
ES6提供了String.fromCodePoint
方法,可以识别大于0xFFFF
的字符,弥补了String.fromCharCode
方法的不足。在作用上,正好与codePointAt
方法相反。
1 | String.fromCodePoint(0x20BB7) |
上面代码中,如果String.fromCodePoint
方法有多个参数,则它们会被合并成为一个字符串返回。
注意,fromCodePoint
方法定义在String
对象上,而codePointAt
方法定义在字符串的实例对象上。
四、字符串的遍历器接口
ES6为字符串添加了遍历器接口,使得字符串可以被for...of
循环遍历。
1 | for (let codePoint of 'foo') { |
除了遍历字符串,这个遍历器最大的优点是可以识别大于0xFFFF
的码点,传统的for
循环无法识别这样的码点。
1 | let text = String.fromCodePoint(0x20BB7); |
上面代码中,字符串text
只有一个字符,但是for
循环会认为它包含两个字符(都不可打印),而for...of
循环会正确识别出这是一个字符。
五、at()
ES5对字符串对象提供的charAt
方法,返回字符串给定位置的字符。该方法不能识别码点大于0xFFFF
的字符。
1 | 'abc'.charAt(0) // 'a' |
上面代码中的第二条语句,charAt
方法期望返回的是用2个字节表示的字符,但汉字“𠮷”占用了4个字节,charAt(0)
表示获取这4个字节中的前2个字节,很显然,这是无法正常显示的。
目前,有一个提案,提出字符串实例的at
方法,可以识别Unicode编号大于0xFFFF
的字符,返回正确的字符。
1 | 'abc'.at(0) // 'a' |
这个方法可以通过垫片库实现。
六、normalize()
许多欧洲语言有语调符号和重音符号。为了表示它们,Unicode提供了两种方法。一种是直接提供带重音符号的字符,比如Ǒ
(\u01D1
)。另一种是提供合成符号(combining character),即原字符与重音符号的合成,两个字符合成一个字符,比如o
(\u004F
)和ˇ
(\u030C
)合成Ǒ
(\u004F\u030C
)。
这两种表示方法,在视觉和语义上都等价,但是JavaScript不能识别。
1 | '\u01D1' === '\u004F\u030C' // false |
上面代码表示,JavaScript将合成字符视为两个字符,导致两种表示方法不相等。
ES6提供字符串实例的normalize()
方法,用来将字符的不同表示方法统一为同样的形式,这称为Unicode正规化。
1 | '\u01D1'.normalize() === '\u004F\u030C'.normalize() |
normalize
方法可以接受一个参数来指定normalize
的方式,参数的四个可选值如下。
NFC
,默认参数,表示“标准等价合成”(Normalization Form Canonical Composition),返回多个简单字符的合成字符。所谓“标准等价”指的是视觉和语义上的等价。NFD
,表示“标准等价分解”(Normalization Form Canonical Decomposition),即在标准等价的前提下,返回合成字符分解的多个简单字符。NFKC
,表示“兼容等价合成”(Normalization Form Campatibility Composition),返回合成字符。所谓“兼容等价”指的是语义上存在等价,但视觉上不等价,比如“囍”和“喜喜”。(这只是用来举例,normalize
方法不能识别中文。)NFKD
,表示“兼容等价分解”(Normalization Form Campatibility Decomposition),即在兼容等价的前提下,返回合成字符分解的多个简单字符。
1 | '\u004F\u030C'.normalize('NFC').length // 1 |
上面代码表示,NFC
参数返回字符的合成形式,NFD
参数表示返回字符的分解形式。
不过,normalize
方法目前不能识别三个或三个以上字符的合成。这种情况下,还是只能使用正则表达式,通过Unicode编号区间判断。
七、includes()、startsWith()、endsWith()
传统上,JavaScript只有indexOf
方法,可以用来确定一个字符串是否包含在另一个字符串上。ES6又提供了三种新方法。
includes()
:返回布尔值,表示是否找到了参数字符串startsWith()
:返回布尔值,表示参数字符串是否在原字符串的头部endsWith()
:返回布尔值,表示参数字符串是否在原字符串的尾部。
1 | let s = 'Hello World!'; |
这三个方法都支持第二个参数,表示开始搜索的位置。
1 | let s = 'Hello world!'; |
上面代码表示,使用第二个参数n
时,endsWith
的行为与其他两个方法有所不同。它针对前n
个字符,而其他两个方法针对从第n
个位置直到字符串结束。
八、repeat()
repeat
方法返回一个新字符串,表示将原字符串重复n
次。
1 | 'x'.repeat(3); // 'xxx' |
参数如果是小数,会被取整。
1 | 'na'.repeat(2.9) // 'nana' |
如果repeat
的参数是负数或者Infinity
,会报错。
1 | 'na'.repeat(Infinity) // RangeError |
但是,如果参数是0到-1之间的小数,则等同于0,这是因为会先进行取整运算。0到-1之间的小数,取整以后等于-0,repeat
视同为0。
1 | 'na'.repeat(-0.9) // '' |
参数NaN
等同于0。
1 | 'na'.repeat(NaN) // '' |
如果repeat
的参数是字符串,则会先转换成数字。
1 | 'na'.repeat('na') // '' |
九、padStart()、padEnd()
ES7引入了字符串补全长度的功能。如果某个字符串不够指定长度,会在头部或尾部补全。padStart()
用于补全头部,padEnd()
用于补全尾部。
1 | 'x'.padStart(5, 'ab') // 'ababx' |
上面代码中,padStart
和padEnd
一共接受两个参数,第一个参数用来指定字符串的最小长度,第二个参数是用来补全的字符串。
如果原字符串的长度,等于或大于指定的最小长度,则返回原字符串。
1 | 'xxx'.padStart(2, 'ab') // 'xxx' |
如果用来补全的字符串与原字符串,两者的长度之和超过了指定的最小长度,则会截去超出位数的补全字符串。
1 | 'abc'.padStart(10, '0123456789') // '0123456abc' |
如果省略第二个参数,默认使用空格补全长度。
1 | 'x'.padStart(4) // ' x' |
padStart
的常见用途是为数值补全指定位数。下面代码生成10位的数值字符串。
1 | '1'.padStart(10, '0') // '0000000001' |
另一个用途是提示字符串格式。
1 | '12'.padStart(10, 'YYYY-MM-DD') // 'YYYY-MM-12' |
十、matchAll()
matchAll
方法返回一个正则表达式在当前字符串的所有匹配,详见正则的扩展一章。
十一、模板字符串
传统的JavaScript语言,输出模板通常是这样写的。
1 | $('#result').append( |
上面这种写法相当繁琐不方便,ES6引入了模板字符串解决这个问题。
1 | $('#result').append(` |
模板字符串(template string)是增强版的字符串,用反引号(`)标识。它可以当作普通字符串使用,也可以用来定义多行字符串,或者在字符串中嵌入变量。
1 | // 普通字符串 |
上面代码中的模板字符串,都是用反引号表示。如果在模板字符串中需要使用反引号,则前面要用反斜杠转义。
1 | let greeting = `\`Yo\` World!`; |
如果使用模板字符串表示多行字符串,所有的空格和缩进都会被保留在输出之中。
1 | $('#list').html(` |
上面代码中,所有模板字符串的空格和换行,都是被保留的,比如<ul>
标签前面会有一个换行。如果不想要这个换行,可以使用trim
方法消除它。
1 | $('#list').html(` |
模板字符串中嵌入变量,需要将变量名写在${}
之中。
1 | function authorize(user, action) { |
大括号内部可以放入任意的JavaScript表达式,可以进行运算,以及引用对象属性。
1 | let x = 1; |
模板字符串中还能调用函数。
1 | function f() { |
如果大括号中的值不是字符串,将按照一般的规则转为字符串。比如,大括号中是一个对象,将默认调用对象的toString
方法。
如果模板字符串中的变量没有声明,将报错。
1 | // 变量place没有声明 |
由于模板字符串的大括号内部,就是执行JavaScript代码,因此如果大括号内部是一个字符串,将会原样输出。
1 | `Hello ${'World'}` |
模板字符串甚至还能嵌套。
1 | const tmpl = addrs => ` |
上面代码中,模板字符串的变量之中,又嵌入了另一个模板字符串,使用方法如下。
1 | const data = [ |
如果需要引用模板字符串本身,在需要时执行,可以像下面这样写。
1 | // 写法一 |
十二、实例:模板编译
下面,我们来看一个通过模板字符串,生成正式模板的实例。
1 | let template = ` |
上面代码在模板字符串之中,放置了一个常规模板。该模板使用<%...%>
放置JavaScript代码,使用<%=...%>
输出JavaScript表达式。
怎么编译这个模板字符串呢?
一种思路是将其转换为JavaScript表达式字符串。
1 | echo('<ul>'); |
这个转换使用正则表达式就行了。
1 | let evalExpr = /<%=(.+?)%>/g; |
然后,将template
封装在一个函数里面返回,就可以了。
1 | let script = |
将上面的内容拼装成一个模板编译函数compile
。
1 | function compile(template) { |
compile
函数的用法如下。
1 | let parse = eval(compile(template)); |
十三、标签模板
模板字符串的功能,不仅仅是上面这些。它可以紧跟在一个函数名后面,该函数将被调用来处理这个模板字符串。这被称为“标签模板”功能(tagged template)。
1 | alert`123` |
标签模板其实不是模板,而是函数调用的一种特殊形式。“标签”指的就是函数,紧跟在后面的模板字符串就是它的参数。
但是,如果模板字符里面有变量,就不是简单的调用了,而是会将模板字符串先处理成多个参数,再调用函数。
1 | let a = 5; |
上面代码中,模板字符串前面有一个标识名tag
,它是一个函数。整个表达式的返回值,就是tag
函数处理模板字符串后的返回值。
函数tag
依次会接收到多个参数。
1 | function tag(stringArr, value1, value2) { |
tag
函数的第一个参数是一个数组,该数组的成员是模板字符串中那些没有变量替换的部分,也就是说,变量替换只发生在数组的第一个成员与第二个成员之间、第二个成员与第三个成员之间,依此类推。
tag
函数的其他参数,都是模板字符串各个变量被替换后的值。由于本例中,模板字符串含有两个变量,因此tag
会接受到value1
和value2
两个参数。
也就是说,tag
函数实际上以下面的形式调用。
1 | tag(['Hello ', ' world ', ''], 15, 50) |
我们可以按照需要编写tag
函数的代码。下面是tag
函数的一种写法,以及运行结果。
1 | let a = 5; |
下面是一个更复杂的例子。
1 | let total = 30; |
上面这个例子展示了,如何将各个参数按照原来的位置拼合回去。
passthru
函数采用rest参数的写法。
1 | function passthru(literals, ...values) { |
“标签模板”的一个重要应用,就是过滤HTML字符串,防止用户输入恶意内容。
1 | let message = SaferHTML`<p>${sender} has sent you a message.</p>`; |
上面代码中,sender
变量往往是用户提供的,经过SaferHTML
函数处理,里面的特殊字符都会被转义。
1 | // 恶意代码 |
标签模板的另一个应用,就是多语言转换(国际化处理,i18n)。
1 | i18n`Welcom to ${siteName}, you are visitor number ${visitorNumber}!` |
模板字符串本身并不能取代Mustache之类的模板库,因为没有条件判断和循环处理功能,但是通过标签函数,你可以自己添加这些功能。
1 | // 下面的hashTemplate函数 |
除此之外,你甚至可以使用标签模板,在JavaScript语言之中嵌入其他语言。
1 | jsx` |
上面的代码通过jsx
函数,将一个DOM字符串转为React对象,你可以在Github上找到jsx
函数的具体实现。
下面则是一个假想的例子,通过java函数,在JavaScript代码之中运行Java代码。
1 | java` |
模板处理函数的第一个参数(模板字符串数组),还有一个raw
属性。
1 | console.log`123` |
上面代码中,console.log
接受的参数,实际上是一个数组。该数组有一个raw
属性,保存的是转义后的原字符。
请看下面的例子。
1 | tag`First line\nSecond line` |
上面代码中,tag
函数的第一个参数strings
,有一个raw
属性,也指向一个数组。该数组的成员与strings
数组完全一致。比如,strings
数组是["First line\nSecond line"]
,那么strings.raw
数组就是["First line\\nSecond line"]
。两者唯一的区别,就是字符串里面的斜杠都被转义了。比如,strings.raw数组会将\n
视为\\
和n
两个字符,而不是换行符。这是为了方便取得转义之前的原始模板而设计的。
十四、String.raw()
ES6还为原生的String对象,提供了一个raw
方法。
String.raw
方法,往往用来充当模板字符串的处理函数,返回一个斜杠都被转义(即斜杠前面再加一个斜杠)的字符串,对应替换变量后的模板字符串。
1 | String.raw`Hi\n${2 + 3}!`; |
如果原字符串的斜杠已经转义,那么String.raw
会再次转义。
1 | String.raw`Hi\\n` |
String.raw
方法可以作为处理模板字符串的基本方法,它会将所有变量替换,而且对斜杠进行转义,方便下一步作为字符串来使用。
String.raw
方法也可以作为正常的函数。这时,它的第一个参数,应该是一个具有raw
属性的对象,且raw
属性的值应该是一个数组。
1 | String.raw({raw: 'test'}, 0, 1, 2); |
作为函数,String.raw
的代码实现基本如下。
1 | String.raw = function(strings, ...values) { |
十五、模板字符串的限制
前面提到标签模板里面,可以内嵌其他语言。但是,模板字符串默认会将字符串转义,导致无法嵌入其他语言。
举例来说,标签模板里面可以嵌入LaTEX语言。
1 | function latex(strings) { |
上面代码中,变量document
内嵌的模板字符串,对于LaTEX语言来说完全是合法的,但是JavaScript引擎会报错,原因就在于字符串的转义。
模板字符串会将\u00FF
和\u{42}
当作Unicode字符进行转义,所以\unicode
解析时报错;而\x56
会被当作十六进制字符串转义,所以\xerxes
会报错。也就是说,\u
和\x
在LaTEX里面有特殊含义,但是JavaScript将它们转义了。
为了解决这个问题,ES2018放松了对标签模板里面的字符串转义的限制。如果遇到不合法的字符串转义,就返回undefined
,而不是报错,并且从raw
属性上面可以取到原始字符串。
1 | function tag(strs) { |
上面代码中,模板字符串原本是应该报错的,但是由于放松了对字符串转义的限制,所以不报错了,JavaScript引擎将第一个字符设置为undefined
,但是raw
属性依然可以得到原始字符串,因此tag
函数还是可以对原字符串进行处理。
注意,这种对字符串转义的放松,只在标签模板解析字符串时生效,不是标签模板的场合,依然会报错。
1 | let bad = `bad escape sequence: \unicode`; // 报错 |