8 种 Java 内存溢出之七 -Requested array size exceeds VM limit

本文最后更新于：2024年7月24日晚上

7.1 Requested array size exceeds VM limit 概述

Java 对你的应用可以分配的最大数组大小有限制. 准确的限制与平台有关, 但是通常都位于 10 到 21 亿元素之间.

当你面临java.lang.OutOfMemoryError: Requested array size exceeds VM limit, 意味着应用因为尝试分配一个大于 JVM 可以支持的数组而报错 crash.

7.2 原因

该错误是由 JVM 的本地代码抛出的. 它发生在为一个数组分配内存之前, 这时 JVM 会执行一个与平台有关的检查: 是否待分配的数据结构在这个平台是可寻址的. 这个错误并不像你最初想象的那样普遍。

你很少面对这个错误的原因是 Java 数组是由 int 类型索引的. 在 Java 中最大的正整数是: 2^31 -1 = 2,147,483,647. 平台相关的限制确实相当接近这个数字 – 例如在 MacBook Pro, Java 1.7, 可以初始化数组到 2,147,483,645 或 Integer.MAX_VALUE-2 元素.

数组长度再加 1 到 Integer.MAX_VALUE-1 会导致该 OutOfMemoryError:

1 2	`Exception in thread “main” java.lang.OutOfMemoryError: Requested array size exceeds VM limit`

但是这个限制有时也并不是那么高 – 在 32-bit Linux, OpenJDK 6 上, 你会在分配一个大约 11 亿元素的数组时候出现 java.lang.OutOfMemoryError: Requested array size exceeds VM limit 报错. 要知道你的特定环境的限制大小, 可以运行下面这个小的测试程序.

7.3 示例

要尝试重现 java.lang.OutOfMemoryError: Requested array size exceeds VM limit 错误, 让我们来看一下下面的代码:

for (int i=3; i>=0; i--) {
    try {
        int[] arr = new int[Integer.MAX_VALUE-i];
        System.out.format("Successfully initialized an array with %,d elements .\n", Integer.MAX_VALUE-i);
    } catch (Throwable t) {
        t.printStackTrace();
    }
}

该示例循环四次, 并在每次循环中初始化一个长基元数组。该程序试图初始化的数组大小在每次迭代时都增长一个, 最终达到整数MAX_VALUE。现在, 当在 64 位 Mac OS X 上使用 Hotspot 7 启动代码段时, 你应该得到类似于以下内容的输出:

java.lang.OutOfMemoryError: Java heap space
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Java heap space
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)

注意到在最后 2 次尝试面临 java.lang.OutOfMemoryError: Requested array size exceeds VM limit 之前, 分配失败报出了更为常见的 java.lang.OutOfMemoryError: Java heap space 消息. 这是因为你尝试分配空间的 2^31-1 int 需要 8G 内存, 远大于 JVM 的默认内存.

这个例子也说明了这个错误很稀少 – 为了看到 VM 达到数组大小的限制, 你需要分配一个数据刚好位于平台的限制和 Integer.MAX_INT 之间. 当这个例子在 64bit Mac OS X, Hotspot 7 上运行时, 只有 2 个满足要求的数组长度: Integer.MAX_INT-1 and Integer.MAX_INT.

7.4 解决方案

java.lang.OutOfMemoryError: Requested array size exceeds VM limit在以下 2 种情况下会出现:

你的数组增长的太大, 最终大小位于平台的限制和 Integer.MAX_INT 之间
您特意尝试分配大于 2 ^ 31-1 元素的数组来试验该限制。

在第一种情况下, 检查您的代码库, 看看您是否真的需要这么大的数组。也许你可以减少数组的大小, 并完成它。或将阵列划分为较小的散点, 并将所需的数据加载到您的平台限制中的批次中。

在第二种情况下 - 请记住, Java 数组是由 int 索引. 因此, 在使用平台中的标准数据结构时, 您不能超过 2 ^ 31-1 元素的数组。实际上, 在这种情况下, 编译器在编译过程中宣布 “错误: 整数太大(error: integer number too large)” 时已经阻止了您.

但是, 如果你真的使用真正的大型数据集, 你需要重新考虑你的选择. 您可以在较小的批次中加载所需的数据, 并且仍然使用标准的 Java 工具, 或者您可能会超出标准的实用程序. 实现这一目标的一个方法是查看 sun.misc.Unsafe 类。这使您可以像在 C 中一样直接分配内存。

系列文章

Java

#Java #JVM #OOM

8 种 Java 内存溢出之七 -Requested array size exceeds VM limit

https://ewhisper.cn/posts/33240/

作者

东风微鸣

发布于

2017年11月3日

许可协议

8 种 Java 内存溢出之八 -Kill process or sacrifice child 上一篇

8 种 Java- 内存溢出六 -Out of swap space? 下一篇