llama.cpp b12463 的位置嵌入修复为什么与图像长宽有关?

今天早睡
今天早睡
发布时间:2026-11-17| 6人浏览过
原创

llama.cpp b12463 修正 Muse Glimmer 视觉编码器缩放位置嵌入时的坐标顺序,使其与训练一致,解释非方形图像为何更能体现差异。

llama.cpp b12463 修正 Muse Glimmer 视觉编码器的坐标次序。原来的宽高解释与训练时相反,所以长宽不相等的图像更能体现这项修复。

llama.cpp 产品封面

位置嵌入的坐标顺序改了什么

llama.cpp b12463 的修复位于 mtmd 的视觉编码器路径。Muse Glimmer 使用一个学习得到的位置嵌入网格,输入图像的布局变化时需要调整该网格。原实现按高度、宽度的顺序调整,修复按训练所用的宽度、高度顺序处理。

llama.cpp b12463 发行记录

什么图像更能体现修复

若网格高度和宽度相同,交换两者后尺寸关系不变,合并说明明确指出方形图像不受影响。长宽不等时,原先顺序与训练时的约定会产生差别,所以非方形图像是验证这一问题的主要输入类型。

哪些模型走同一条路径

Muse Spark Open 的视觉部分使用同一计算图,因此也覆盖在这项修复内。修复范围是相关模型的位置嵌入计算,其他视觉模型的实现应按各自路径判断。

应如何理解构建范围

b12463 是测试构建。具体变化是让视觉位置网格遵循训练时的坐标顺序,发行说明没有给出通用的图像质量、速度或设备兼容性提升结论。

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。