Python与Numpy整数溢出：原理分析与解决方案

Python与Numpy整数溢出现象分析

有读者向我展示了一张截图，询问为何计算结果中出现了负数。

观察图片后，我首先判断这是数据溢出所致。当数值超出类型所能表示的最大范围时，就会产生看似异常的结果。

随后，该读者提供了另一张截图，展示了直接打印表达式 print(100000*208378) 的结果，即原图中 E[0]*G[0] 的值。计算结果为 20837800000，这是一个完全正确的数值。

由此引出新问题：如果原图中的数据确实发生了溢出，为何直接进行乘法运算却没有出现溢出错误？

此前，由于我对数据表示规则（特别是整型上限）关注不足，且对Numpy机制理解不深，加上误读了图中的部分结果，导致未能立即给出解答。

最终，经过技术交流群中的深入讨论，我才理清了其中的逻辑。本文旨在梳理并总结相关的关键知识点。

在展开具体分析前，先总结上述案例所引发的两个核心议题：

• Python 3中整数的上限是多少？Python 2又是如何处理的？
• Numpy中整数的上限是多少？遇到整数溢出时应如何处理？

Python整数类型的演变：从Python 2到Python 3

针对第一个问题，我们先回顾Python 2的情况，它包含两种整数类型：

• 第一种是短整数，即通常所说的整数，用int表示，并配有内置函数int()。其取值范围有限，可通过sys.maxint()查看（具体取决于平台是32位还是64位）。
• 第二种是长整数，即大小不受限的整数，用long表示，并配有内置函数long()。在语法上，需在数字后添加大写字母L或小写l，例如 1000L。

当一个整数值超出短整数的范围时，系统会自动将其转换为长整数表示。例如，打印 2**100 的结果末尾会带有字母L，表明它是长整数。

然而，到了Python 3，情况发生了变化：它仅保留一种内置整数类型，记为int。虽然形式上类似于Python 2的短整数，但实际上其表示范围是无限的，行为更接近长整数。无论数值多大，结尾均无需字母L进行区分。

换言之，Python 3将两种整数表示法合二为一，用户无需再手动区分，底层系统会根据需要自动处理。

理论上，Python 3中的整数没有上限（只要不超出内存空间限制）。这也就解释了前文中直接打印两数相乘结果为何正确的现象。

PEP-237（Unifying Long Integers and Integers）中对此转变进行了说明。其目的主要在于：

降低新Python程序员（无论是否为编程新手）的学习门槛，减少上手前需要掌握的额外知识。

Python在语言层面屏蔽了许多琐碎操作，如内存分配，因此在使用字符串、列表或字典等对象时，用户无需操心。整数类型的统一也是出于这种便利性的考虑（尽管这可能牺牲部分效率，此处不予赘述）。

Numpy整数溢出原因及解决方案

回到前述的第二个话题：Numpy中整数的上限是多少？

由于Numpy由C语言实现，在整数表示上遵循C语言的规则，即严格区分整数和长整数。

可以通过以下方式查看：

import numpy as np
a = np.arange(2)
type(a[0])
# 结果：numpy.int32

由此可见，其默认的整数int为32位，表示范围在 -2147483648 ~ 2147483647 之间。

对照前文的截图，其中仅有两组数字相乘未发生溢出：100007*4549、100012*13264，其余数据组均发生溢出，因此出现了奇怪的负数结果。

Numpy支持的数据类型比Python原生类型更多，相互间的区分界限也更为多样：

截图来源：https://www.runoob.com/numpy/numpy-dtype.html

要解决整数溢出问题，可以通过指定dtype参数来实现：

import numpy as np
q = [100000]
w = [500000]
# 一个溢出的例子：
a = np.array(q)
b = np.array(w)
print(a*b) # 产生溢出，结果是个奇怪的数值
# 一个解决的例子：
c = np.array(q, dtype='int64')
d = np.array(w, dtype='int64')
print(c*d) # 没有溢出：[50000000000]

至此，前文提出的问题均已解答。最后做个总结：

• Python 3极大地简化了整数的表示，效果可概括为：整数只有一种类型（int），不存在其他类型的整数（如long、int8、int64等）。
• Numpy中的整数类型对应于C语言的数据类型，每种“整数”都有各自的区间。要解决数据溢出问题，需要指定更大的数据类型（dtype）。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。