llama.cpp b12484、b12485、b12487、b12488 分别涉及哪些浮点与 CUDA 路径?

山间有风
山间有风
发布时间:2026-11-18| 11人浏览过
原创

llama.cpp b12484、b12485、b12487、b12488 均为预发布构建。 同一批预发布构建中的维护分布在不同计算路径。浮点转换与显卡后端的变化各有对象,使用时需要分别核对。

同一批预发布构建中的维护分布在不同计算路径。浮点转换与显卡后端的变化各有对象,使用时需要分别核对。

llama.cpp 官方产品封面

b12484 的浮点转换维护

llama.cpp b12484 调整 F8_E4M3 解码到 fp32 的实现,采用不依赖 ldexpf 的转换路径。该构建的说明对应浮点格式转换,实际表现仍取决于所用路径。

b12484 的 F8_E4M3 转换官方预发布

b12485 的整行池化路径

b12485 在 CUDA 的 whole-row pool_1d 路径使用块归约,并按池化操作对行内核进行模板化。适用对象是这条 CUDA 池化实现,其他后端的池化行为需独立判断。

b12485 的 CUDA 池化官方预发布

b12487 的少行矩阵计算

b12487 为 CUDA 的 MUL_MAT_ID 增加 few-row MMQ 路径,并调整启动与分发顺序。官方说明包含 DGX Spark 上从两个 token 起的处理分支,评估时需要关注具体硬件与输入规模。

b12487 的 CUDA 少行矩阵计算官方预发布

b12488 的 Pascal 融合限制

b12488 在所有 Pascal GPU 上禁用量化 matvec 融合,范围是该架构下对应的量化矩阵向量计算路径。四个构建都已作为预发布公开,实际采用仍需按数据类型、后端、显卡与运算范围核对。

b12488 的 Pascal 融合限制官方预发布

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。