MySQL 全文索引配置、语法限制与中文分词实战

结果或目标：全文索引的应用场景

全文索引（Fulltext Index）旨在解决传统 = 模糊匹配在大数据量下的性能瓶颈。它通过对文本内容进行分词建立倒排索引，适用于文章标题、摘要、内容等字段的关键词检索。需要注意的是，早期的 MySQL 版本对存储引擎有严格限制，且对中文支持较弱，需配合特定工具使用。

准备条件：环境与参数配置

第1步：确认存储引擎要求

在不同版本的 MySQL 中，对全文索引的支持有所不同：

• MySQL 5.6 之前：仅 MyISAM 引擎支持全文索引，默认的 InnoDB 引擎不支持。
• MySQL 5.6+ 版本：InnoDB 开始支持全文索引。

注意：若你使用的是旧版本或为了兼容旧代码必须使用 MyISAM，请确保建表时显式指定 ENGINE=MyISAM。

第2步：配置最小查询词长度

MySQL 默认会忽略过短的词汇（通常默认为 4 个字符），这会导致短词无法被索引。需要修改配置文件：

1. 打开 my.ini（Windows）或 my.cnf（Linux）文件。
2. 在 [mysqld] 段落下添加或修改以下参数：

# MySQL全文索引查询关键词最小长度限制
[mysqld]
ft_min_word_len = 1

保存后必须重启 MySQL 服务才能生效。可通过执行 SQL 验证配置：

SHOW VARIABLES LIKE 'ft_min_word_len';

若返回结果为 1，则说明配置成功。如果未生效，请检查配置文件路径是否正确以及服务是否真的重启。

真实操作顺序：创建索引与查询测试

第3步：创建带有全文索引的测试表

全文索引可应用于 CHAR、VARCHAR 和 TEXT 类型字段。以下为创建示例：

CREATE TABLE IF NOT EXISTS `temp` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `char` char(50) NOT NULL,
  `varchar` varchar(50) NOT NULL,
  `text` text NOT NULL,
  PRIMARY KEY (`id`),
  FULLTEXT KEY `char` (`char`),
  FULLTEXT KEY `varchar` (`varchar`),
  FULLTEXT KEY `text` (`text`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=2;

插入包含中英文混合的数据用于后续测试：

INSERT INTO `temp` (`id`, `char`, `varchar`, `text`) VALUES
(1, 'a bc 我 知道 1 23', 'a bc 我 知道 1 23', 'a bc 我 知道 1 23');

第4步：基础全文搜索与“50%阈值”陷阱

尝试搜索单个字符 'a'：

SELECT * FROM `temp` WHERE MATCH(`char`) AGAINST ('a');

常见问题：如果查询返回空结果，不要急于怀疑代码错误。MySQL 全文索引有一个隐式规则：如果一个词在数据库中出现的频率超过 50% 的行数，它会被视为“停止词”（Stopword）而被忽略，以提高效率。

解决方法**：可以使用 IN BOOLEAN MODE 来忽略此限制：

SELECT * FROM `temp` WHERE MATCH(`char`) AGAINST ('a' IN BOOLEAN MODE);

虽然这样可以强制查询，但不推荐作为常规手段，因为可能会降低搜索相关性得分。更推荐的做法是增加数据量以稀释高频词的占比，或调整分词策略。

第5步：完善数据与多词搜索

为了使上述 'a' 能够正常被召回，我们需要插入更多差异化的数据，打破 50% 的频率限制：

INSERT INTO `temp` (`id`, `char`, `varchar`, `text`) VALUES
(NULL, '7', '7', '7'),
(NULL, '7', '7', '7'),
(NULL, 'a,bc,我,知道,1,23', 'a,bc,我,知道,1,23', 'a,bc,我,知道,1,23'),
(NULL, 'x', 'x', 'x');

再次执行查询，此时以下关键词均可正常返回结果：

• 英文/数字部分：'a', 'bc', '1', '23'
• 中文部分：'我', '知道'

-- 单字/词查询
SELECT * FROM `temp` WHERE MATCH(`char`) AGAINST ('a');
SELECT * FROM `temp` WHERE MATCH(`char`) AGAINST ('我');
-- 多词组合（空格或逗号分隔）
SELECT * FROM `temp` WHERE MATCH(`char`) AGAINST ('a x');
SELECT * FROM `temp` WHERE MATCH(`char`) AGAINST ('a,x');

而像 'b'、'知' 这种由于未在原文本中被完整切分出来（取决于分词器对中文的处理逻辑及版本差异，MySQL 原生中文分词极弱，通常视为未分词或乱码处理，但在某些特定配置下可能表现为上述现象），或者因为太短未达最小长度，可能不会被索引或召回。特别是单字 '知' 和 '道' 在某些 MySQL 配置下可能被拆分失败。

完成判断：中文分词的关键补充

MySQL 原生的中文分词能力非常有限，因为它主要基于空格和标点进行简单分割。对于连续的中文文本（如“我们知道”），原生引擎往往无法正确识别为两个独立的词 “我” 和 “知道”，除非在入库前人工进行过预处理。

第6步：集成 SCWS 中文分词库

为了实现高质量的中文全文索引，建议在应用层或使用插件进行分词。推荐使用 SCWS (Simple Chinese Word Segmentation)。

1. 下载组件：
   - PHP 扩展：php_scws.dll (Windows) 或 .so (Linux)
   - 词典文件：.xdb 词典文件
   - 规则集：.ini 配置文件
2. 安装配置：
   - 创建一个目录（如 D:\scws），放入所有词典和规则文件。
   - 将 php_scws.dll 复制到 PHP 的 ext 目录下。
3. 修改 php.ini：
   - 加载扩展：
   

   [scws]
   extension = php_scws.dll
   scws.default.charset = utf8
   scws.default.fpath = "D:\scws"

   - 重启 Web 服务器。

第7步：验证分词效果

使用 PHP 脚本测试分词准确性：

$str = "测试中文分词";
$so = scws_new();
$so->send_text($str);
$temp = $so->get_result();
$so->close();
var_dump($temp);

如果输出显示正确的词语节点，说明 SCWS 工作正常。

简要总结

MySQL 全文索引在处理英文及带空格的文本时表现优异，但在中文场景下存在诸多限制。开发者需特别注意：

1. 版本兼容性：旧版 MySQL 需使用 MyISAM 引擎。
2. 参数配置：必须适当调低 ft_min_word_len 以支持短词检索。
3. 数据分布：避免单一高频词占据过半数据量，否则触发 50% 过滤机制。
4. 中文分词：原生中文支持较弱，建议结合 SCWS 等第三方工具在入库前进行标准分词处理，以保障搜索体验。