0. 写在前面的省流版
下图是Java字符串拼接实现的技术演进路线,最新的实现 PR 20273是来自阿里巴巴的贡献。1. 关于使用"+"做字符串拼接
一些古老的技术文章中会说,在Java中使用"+"做字符串拼接性能不好,但实际情况是JDK 9+之后的版本,使用"+"做字符串拼接会比StringBuilder快。
如下是一个字符串拼接的的方法,我们基于这个方法来介绍JDK8和JDK9之后版本的性能以及背后的内部细节。
class Demo { public static String concatIndy(int i) { return "value " + i; }}2. JDK 8下的字符串拼接实现
2.1 编译并查看字节码
jdk8/bin/javac Demo.java jdk8/bin/javap -c Demjavap输出的字节码:class Demo { Demo(); Code: 0: aload_0 1: invokespecial #1 // Method java/lang/Object."<init>":()V 4: return public static java.lang.String concatIndy(int); Code: 0: new #2 // java/lang/StringBuilder 3: dup 4: invokespecial #3 // Method java/lang/StringBuilder."<init>":()V 7: ldc #4 // String value 9: invokevirtual #5 // Method java/lang/StringBuilder.append:(Ljava/lang/String;)Ljava/lang/StringBuilder; 12: iload_0 13: invokevirtual #6 // Method java/lang/StringBuilder.append:(I)Ljava/lang/StringBuilder; 16: invokevirtual #7 // Method java/lang/StringBuilder.toString:()Ljava/lang/String; 19: areturn}2.2 反编译后的Java代码
public static String concatIndy(int i) { return new StringBuilder("value ") .append(i) .toString();}可以看出,在JDK 8中,在非循环体内使用"+"实现字符串拼接和使用StringBuilder是一样的,用"+"做拼接代码更简洁,推荐使用"+"而不是StringBuilder。
3. JDK 9之后的字符串拼接实现 (JEP 280)
如果我们使用JDK 9之后的版本,比如JDK 11,字符串拼接"+"编译后的字节码会不一样。3.1. 使用JDK 11编译后并查看字节码
jdk11/bin/javac Demo.java jdk11/bin/javap -c Demo Demo { Demo(); Code: 0: aload_0 1: invokespecial #1 // Method java/lang/Object."<init>":()V 4: return public static java.lang.String concatIndy(int); Code: 0: iload_0 1: invokedynamic #2, 0 // InvokeDynamic #0:makeConcatWithConstants:(I)Ljava/lang/String; 6: areturn}可以看到,JDK 11中编译后的字节码和JDK 8是不一样的,不再是基于StringBuilder实现,而是基于StringConcatFactory.makeConcatWithConstants动态生成一个方法来实现。这个会比StringBuilder更快,不需要创建StringBuilder对象,也会减少一次数组拷贝。
这里由于是内部使用的数组,所以用了UNSAFE.allocateUninitializedArray的方式更快分配byte[]数组。通过:
StringConcatFactory.makeConcatWithConstants
而不是JavaC生成代码,是因为生成的代码无法使用JDK的内部方法进行优化,还有就是,如果有算法变化,存量的Lib不需要重新编译,升级新版本JDk就能提速。这个字节码相当如下手工调用:StringConcatFactory.makeConcatWithConstantsimport java.lang.invoke.*; static final MethodHandle STR_INT; static { try { STR_INT = StringConcatFactory.makeConcatWithConstants( MethodHandles.lookup(), "concat_str_int", MethodType.methodType(String.class, int.class), "value \1" ).dynamicInvoker(); } catch (Exception e) { throw new Error("Bootstrap error", e); } } static String concat_str_int(int value) throws Throwable { return (String) STR_INT.invokeExact(value); }StringConcatFactory.makeConcatWithConstants是公开API,可以用来动态生成字符串拼接的方法,除了编译器生成字节码调用,也可以直接调用。调用生成方法一次大约需要1微秒(千分之一毫秒)。
3.2. makeConcatWithConstants动态生成方法的代码makeConcatWithConstants使用recipe ("value \1")动态生成的方法大致如下:import java.lang.StringConcatHelper;import static java.lang.StringConcatHelper.mix;import static java.lang.StringConcatHelper.newArray;import static java.lang.StringConcatHelper.prepend;import static java.lang.StringConcatHelper.newString;public static String invokeStatic(String str, int value) throws Throwable { long lengthCoder = 0; lengthCoder = mix(lengthCoder, str); lengthCoder = mix(lengthCoder, value); byte[] bytes = newArray(lengthCoder); lengthCoder = prepend(lengthCoder, bytes, value); lengthCoder = prepend(lengthCoder, bytes, str); return newString(bytes, lengthCoder);}StringConcatHelper
StringConcatHelper是:
StringConcatFactory.makeConcatWithConstants实现用到的内部类。package java.lang;class StringConcatHelper { static String newString(byte[] buf, long indexCoder) { // Use the private, non-copying constructor (unsafe!) if (indexCoder == LATIN1) { return new String(buf, String.LATIN1); } else if (indexCoder == UTF16) { return new String(buf, String.UTF16); } }}public String { String(byte[] value, byte coder) { // 无拷贝构造 this.value = value; this.coder = coder; }}可以看出,生成的方法是通过如下步骤来实现:StringConcatHelper的mix方法计算长度和字符编码 (将长度和coder组合放到一个long中);
根据长度和编码构造一个byte[];
然后把相关的值写入到byte[]中;
使用byte[]无拷贝的方式构造String对象。4. StringConcatFactory的实现细节
以及阿里巴巴的贡献
4.1 基于MethodHandlers API的实现StringConcatFactory.makeConcatWithConstants是MethodHandles实现的。MethodHandle可以是一个方法引用,MethodHandles可以对MethodHandle做各种转换,包括过滤参数[filterAgument]、参数折叠[foldArgument]、添加参数[insertArguments],最终生成的MethodHandle可以被认为是一个语法树。MethodHandles API功能强大,甚至可以认为它是图灵完备的。当然也有缺点,复杂的MethodHandle TreeExpress会生成大量中的中间类,JIT的开销也较大。StringConcatFactory.makeConcatWithConstants通过MethodHandles动态构建一个MethodHandle调用StringConcatHelper的方法,组装一个MethodHandle实现无拷贝的字符拼接实现。package java.lang;class StringConcatHelper { static long initialCoder() { ... } // T: boolean, char, int, long, String static long mix(long lengthCoder, T value) { ... } static byte[] newArray(long indexCoder) { ... } static long prepend(long lengthCoder, byte[] buf, T value) { ... } static String newString(byte[] buf, long indexCoder) { ... }}class StringConcatFactory { static MethodHandle generateMHInlineCopy(MethodType mt, String[] constants) { Class<?>[] ptypes = mt.erase().parameterArray(); MethodHandle mh = MethodHandles.dropArgumentsTrusted(newString(), 2, ptypes); .. mh = filterInPrependers(mh, constants, ptypes); .. MethodHandle newArrayCombinator = newArray(); mh = MethodHandles.foldArgumentsWithCombiner(mh, 0, newArrayCombinator, 1 // index ); .. mh = filterAndFoldInMixers(mh, initialLengthCoder, ptypes); if (objFilters != ) { mh = MethodHandles.filterArguments(mh, 0, objFilters); } return mh; }}4.2 基于MethodHandle表达式的问题这种动态生成MethodHandle表达式在参数个数较多时,会遇到问题,它会生成大量中间转换类,并且生成MethodHandle消耗比较大,极端情况下,C2优化器需要高达2G的内存来编译复杂的字符串拼接:
https://github.com/openjdk/jdk/pull/18953
因此JDK 23引入了JVM启动参数java.lang.invoke.StringConcat.highArityThreshold,缺省值为20,当超过这个阈值时,使用StringBuilder实现。除了参数个数较多时编译消耗资源多之外,MethodHandle表达式还有启动速度比较慢的问题。4.3 阿里巴巴贡献的改进 (PR 20273)阿里巴巴的工程师温绍锦在2024年7月提交了一个新的方案:
https://github.com/openjdk/jdk/pull/20273通过动态字节码生成隐藏类来代替基于MethodHandle表达式的实现。它的实现逻辑和MethodHandle表达式类似,但不需要组合coder和length,有相似的运行性能,但它能显著提升启动性能,并且对C2优化器的开销较小。在8月5日召开的JVM Language Summit 2024,Oracle Java核心类库维护小组负责性能优化的Claes Redestad的Talk:《Re-thinking String Concatenation》 :
https://www.youtube.com/watch?v=tgX38gvMpjs&list=PLX8CzqL3ArzUEYnTa6KYORRbP3nhsK0L1&index=1介绍了PR 20273 ,这个将会是JDK 24的缺省实现。
(具体细节看 PR 20273的comments)
5. 阿里巴巴对字符串拼接的其他贡献
除了PR 20273这样大的改进之外,阿里巴巴还贡献了其他对字符串连接改进,包括:5.1 PR 20253 Optimize StringConcatHelper.simpleConcatPR地址:https://github.com/openjdk/jdk/pull/20253这个PR改进了非简单类型的单参数字符串拼接性能,通过简化计算coder和length的算法提升性能大约8%。5.2 PR 19730 Reduce object allocation for FloatToDecimal and DoubleToDecimalPR地址:https://github.com/openjdk/jdk/pull/19730这个PR通过消除过程中的内存分配提升float/double类型:
toString和StringBuilder.append(float/double)的性能。
测试表明性能显著提升:-Benchmark Mode Cnt Score Error Units base-StringBuilders.appendWithFloat8Latin1 avgt 15 317.144 ? 11.325 ns/op-StringBuilders.appendWithFloat8Utf16 avgt 15 316.980 ? 17.955 ns/op-StringBuilders.appendWithDouble8Latin1 avgt 15 440.853 ? 13.067 ns/op-StringBuilders.appendWithDouble8Utf16 avgt 15 418.896 ? 4.610 ns/op+Benchmark Mode Cnt Score Error Units (Webrevs 00 4c810154)+StringBuilders.appendWithFloat8Latin1 avgt 15 168.231 ? 4.749 ns/op +88.51%+StringBuilders.appendWithFloat8Utf16 avgt 15 213.981 ? 3.274 ns/op +48.13%+StringBuilders.appendWithDouble8Latin1 avgt 15 241.536 ? 0.993 ns/op +82.52%+StringBuilders.appendWithDouble8Utf16 avgt 15 284.863 ? 10.381 ns/op +47.05%5.3 PR 14699 Optimization for Integer.toStringPR地址:https://github.com/openjdk/jdk/pull/14699这个PR提升Integer/Long.toString以及StringBuilder.append(int/long)的性能,这个PR通过将两次求值和写入合并为一次提升性能,在JDK 22之后的版本被引入。PR 14578 优化UUID.toString的性能;
PR 14751 优化String的UpperLower性能;
PR 15768 优化HexFormat.formatHex的性能;
PR 15776 优化String.format的性能;
PR 19513 优化java.text.Format的性能;
还有其他一些较小的改进,就不一一罗列了。6. 总结
1. 在JDK 8中,使用"+"拼接字符串性能的性能是和直接使用StringBuilder是一样的。 2. 升级JDK 11后,将compiler.target修改为11,使用"+"拼接字符串性能会比StringBuilder更好,耗时和GC都会变少。 3. JDK 11 ~ JDK23版本的字符串拼接,参数个数较多时的字符串拼接,存在启动速度慢和JIT C2消耗资源多的问题。 4. 阿里巴巴提供了新的实现PR 20273,在保证运行性能的同时,解决了启动速度慢和可重用的问题,这个将会在JDK 24中引入,成为Java"+"运算符字符串拼接的缺省实现。5. 除了PR 20273之外,阿里巴巴还做了大量的OpenJDK其他的贡献,包括对GC、JIT、Runtime、RAS,以及核心类库等的改进,例如RISC-V架构支持、VectorAPI、Primitive Types类型和各种场景字符串处理性能改进等等。
参考阅读B站通用详情页的打造
去哪儿国际酒店AI生成视频实践
浅谈Elasticsearch的入门与实践
MySQL亿级数据平滑迁移实战
本文由高可用架构转载。技术原创及架构实践文章,欢迎通过公众号菜单「联系我们」进行投稿