Python NumPy结构体数组定义、内存对齐与C语言交互详解

沿途有光
沿途有光
发布时间:2026-10-15| 5人浏览过
原创

本文详解Python中利用NumPy创建结构体数组的方法,涵盖通过字典定义字段类型、字节序控制及内存对齐设置。重点解析如何与C语言结构体二进制数据无缝交互,包括读写、字段访问及视图操作,并提供Python类模拟结构体的替代方案,适用于高性能数据处理场景。

Python结构体数组

在C语言中,开发者可以使用struct关键字定义结构类型。结构体内的字段在内存中连续排列,且每个结构体实例占用的内存大小固定,这使得定义结构数组变得非常便捷。

与C语言类似,NumPy库也支持对这类结构数组进行高效操作。

只要NumPy中定义的结构类型与C语言中的定义保持一致,NumPy便能轻松读取C语言结构数组的二进制数据,并将其转换为NumPy的结构数组对象。

假设我们需要定义一个包含name、age和salary字段的结构数组。

在NumPy中,可以按照以下方式定义该结构:

import numpy as np
MyType=np.dtype({
    'names':['name','age','salary'],
    'formats':['S32','i','f']#必须加s,且S大写
})
a=np.array([("tang",23,130.2),("wang",22,100.2)],
dtype=MyType)
#或者Data=np.array([(‘zero',0.,0.)]*10,dtype=MyType) #创建Data[2]
#Date[0]['name']="tang"

首先,创建一个dtype对象persontype,利用其字典参数来描述结构类型的各个字段。

该字典包含两个关键字:names和formats。每个关键字对应的值都是一个列表。

names用于定义结构中的每个字段名称,而formats则定义每个字段的类型:

  • S32表示32个字节的字符串类型。由于结构体中每个元素的大小必须固定,因此必须指定字符串的长度。
  • i表示32位整数类型,等同于np.int32。
  • f表示32位单精度浮点数类型,等同于np.float32。随后调用array函数创建数组,通过关键字参数dtype=MyType指定所创建数组的元素类型为结构MyType。运行上述程序后,可以在IPython中执行以下语句查看数组a的元素类型:
a.dtype

结果显示:

dtype([('name', 'S32'), ('age', '<i4'), ('salary', '<f4')])

这里展示了另一种描述结构类型的方法:一个包含多个元组的列表,其中形如(字段名, 类型描述)的元组描述了结构中的每个字段。类型描述前添加的'<字符用于描述字段值的字节顺序:

  • <表示低位字节在前(小端序)。
  • >表示高位字节在前(大端序)。

结构数组的存取方式与一般数组相同,通过下标可以获取其中的元素。需要注意的是,元素的值看起来像是元组,但实际上它是一个结构对象:

a[0]

结果显示:

(b'tang', 23, 130.2)

a[0].dtype

结果显示:

dtype([('name', 'S32'), ('age', '<i4'), ('salary', '<f4')])

a[0]是一个结构元素,它与数组a共享内存数据。因此,可以通过修改它的字段来改变原始数组中对应的字段值:

c=a[0]
c["name"]="Lian"#修改元素属性
a[0]["name"]

结果显示:

b'Lian'

结构体像字典一样,可以通过字符串下标获取其对应的字段值:

a[1]["name"]

结果显示:

b'wang'

我们不仅可以获取结构元素的某个字段,还可以直接获取结构数组的字段。它返回的是原始数组的视图,因此可以通过修改b[0]来改变a[0]['age']:

b=a[:]["salary"]#或者a["salary"]
b

结果显示:

array([130.2, 100.2], dtype=float32)

通过调用a.tostring或a.tofile方法,可以直接输出数组a的二进制形式:

a.tofile("test.bin")

内存对齐

C语言的结构体为了便于内存寻址,会自动添加一些填充字节,这被称为内存对齐。例如,如果将下面的name[32]改为name[30],由于内存对齐问题,在name和age之间会填充两个字节,最终的结构体大小不会改变。

因此,如果NumPy中配置的内存大小不符合C语言的对齐规范,将会出现数据错位。为了解决这个问题,在创建dtype对象时,可以传递参数align=True,这样NumPy的结构数组的内存对齐方式就与C语言的结构体一致了。

#include <stdio.h>

struct person
{
    char name[32];
    int age;
    float weight;
};

struct person p[2];

void main ()
{
    FILE *fp;
    int i;
    fp=fopen("test.bin","rb");
    fread(p, sizeof(struct person), 2, fp);
    fclose(fp);
    for(i=0;i<2;i++)
        printf("%s %d %f\n", p[i].name, p[i].age, p[i].weight);
    getchar();
}

使用下面的字典参数也可以定义结构类型,字典的关键字为结构中字段名,值为字段的类型描述。但由于字典的关键字没有顺序,因此字段的顺序需要在类型描述中给出。类型描述是一个元组,其第二个值给出字段的字节偏移量,例如age字段的偏移量为25个字节:

np.dtype({"name":('S25',0),"age":(np.uint8,25)})

结果显示:

dtype([('name', 'S25'), ('age', 'u1')])

Python自定义结构体

Python中没有专门定义结构体的方法,但可以使用class标记定义类来代替结构体:

其成员可以在构造函数__init__中定义。

具体方法如下:

class item:
    def __init__(self):
        self.name = ''     # 名称
        self.size = 10     # 尺寸
        self.list = []     # 列表

a = item() # 定义结构对象
a.name = 'cup'
a.size = 8
a.list.append('water')

以上为个人经验,希望能给大家一个参考,也希望大家多多支持本站。

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。