llama.cpp b12484、b12485、b12487、b12488 分别涉及哪些浮点与 CUDA 路径?
llama.cpp b12484、b12485、b12487、b12488 均为预发布构建。 同一批预发布构建中的维护分布在不同计算路径。浮点转换与显卡后端的变化各有对象,使用时需要分别核对。
同一批预发布构建中的维护分布在不同计算路径。浮点转换与显卡后端的变化各有对象,使用时需要分别核对。

b12484 的浮点转换维护
llama.cpp b12484 调整 F8_E4M3 解码到 fp32 的实现,采用不依赖 ldexpf 的转换路径。该构建的说明对应浮点格式转换,实际表现仍取决于所用路径。

b12485 的整行池化路径
b12485 在 CUDA 的 whole-row pool_1d 路径使用块归约,并按池化操作对行内核进行模板化。适用对象是这条 CUDA 池化实现,其他后端的池化行为需独立判断。

b12487 的少行矩阵计算
b12487 为 CUDA 的 MUL_MAT_ID 增加 few-row MMQ 路径,并调整启动与分发顺序。官方说明包含 DGX Spark 上从两个 token 起的处理分支,评估时需要关注具体硬件与输入规模。

b12488 的 Pascal 融合限制
b12488 在所有 Pascal GPU 上禁用量化 matvec 融合,范围是该架构下对应的量化矩阵向量计算路径。四个构建都已作为预发布公开,实际采用仍需按数据类型、后端、显卡与运算范围核对。

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









