Python用正则表达式提取BibTeX文件中的作者和标题

一、BibTeX 字段结构与正则表达式的匹配目标

BibTeX 是一种基于纯文本的文献数据库格式。一个标准的文献条目通常以 @article、@inproceedings 或 @book 等类型标识开头，后接包含 Citation Key 和各个字段的花括号结构。其中，我们需要提取的两个关键字段具有如下典型特征：

• title 字段：代表论文或著作标题，其值通常包裹在花括号 {...} 或双引号 "..." 中。有时标题内部还会嵌套额外的花括号用于锁定大写字母（如 {{BERT}}）。
• author 字段：代表作者名单，多个作者之间固定由关键词 and 隔开。当作者人数较多时，该字段往往跨越多行书写，并伴有制表符或多余缩进。

针对字段值两端的定界符，不同的参考文献管理工具（如 Zotero、EndNote、Mendeley）导出的格式各有差异，有的习惯使用花括号，有的习惯使用英文双引号。因此，编写正则表达式时的首要目标是同时兼容这两种定界符，并准确提取其中的纯文本内容。

二、核心正则表达式的设计与解析

为了可靠地捕获目标字段，我们需要构建能识别字段名、等号、包裹符号及内部文本的通用正则模式。

1. 提取字段的通用模式

观察字段的组成结构：字段名（不区分大小写） + 零个或多个空格 + 等号 + 零个或多个空格 + 左定界符（{ 或 "） + 目标文本 + 右定界符（} 或 "）。对应于 Python 正则表达式：

pattern = r'(?i)\b' + field_name + r'\s*=\s*[\{"](.*?)[}"](?:\s*,|\s*
|\s*\Z)'

该表达式各个部分的功能解释如下：

• (?i)：开启忽略大小写标志。BibTeX 中的 TITLE、Title 和 title 均代表同一字段。
• \b：单词边界，防止类似 shorttitle 或 booktitle 误匹配到 title。
• \s*=\s*：匹配等号及其两侧可能存在的换行、空格或制表符。
• [\{"]：字符集，匹配左侧的开始定界符（左花括号或双引号）。
• (.*?)：核心捕获组，使用非贪婪模式匹配定界符内部的所有文字。搭配 re.DOTALL 可以直接匹配包含跨行的文本。
• [}"]：匹配对应的结束定界符（右花括号或双引号）。

2. 逐条目切分的正则表达式

如果一个 .bib 文件中包含成百上千篇文献，一次性对整个文件全局搜索容易出现跨条目误匹配。更稳健的做法是先将整篇文件按条目（Entry）切分，再在每一个独立条目中分别提取标题和作者：

entry_pattern = re.compile(r'@\w+\s*\{\s*([^,]+),([\s\S]*?)(?=
@|\Z)')

这里第一组捕获的是文献的唯一键（Cite Key，例如 vaswani2017attention），第二组捕获的是该条目包含的所有属性内容，便于后续安全解析。

三、正则提取与清洗全操作流程

仅提取出原始字符串还不够，原始 BibTeX 数据常含有换行折行、连续空格、LaTeX 转义字符以及嵌套保护大括号。完整的数据提取流程包含五个标准阶段：

1. 文件读取：指定 encoding='utf-8' 读取文件全文，保留原始换行符。
2. 条目切分：通过条目正则，将整个文本切分为多个独立的文献单元。
3. 字段捕获：分别在每个单元中运用 title 和 author 模式抓取字符串。
4. 文本清洗：将换行与连续空白替换为单空格，剥离 LaTeX 专用的外层花括号。
5. 作者拆分：根据 and 关键字将长作者字符串分割为规范的作者列表。

四、复杂边缘情况的针对性处理

在实际处理各大顶会（如 CVPR、NeurIPS、ACL）或 arXiv 导出的 BibTeX 时，经常会遇到以下几类特殊情况。若不进行预先防范，容易导致提取出的数据残缺或格式混乱：

1. 作者或标题跨行（Multi-line）

很多 BibTeX 导出工具为了限制每行字符宽度（如 80 字符），会将较长的作者列表强制换行：

author = {Vaswani, Ashish and
          Shazeer, Noam and
          Parmar, Niki}

在 Python 中，默认的点号 . 并不匹配换行符 。如果不加修饰，正则将在第一行末尾直接断开导致提取失败。因此在调用 re.search() 或 re.compile() 时，必须明确传入 re.DOTALL（或在正则头部写 (?s)）。提取之后，通过 re.sub(r'\s+', ' ', text).strip() 将折行和连续缩进统一替换为单个空格。

2. LaTeX 保护性花括号（Preserving Braces）

为了防止 BibTeX 在排版生成参考文献时强行将专有名词或缩写转换为小写，学术界通常会为专有名词加裹花括号，例如 title = {{BERT}: Pre-training of Deep Bidirectional Transformers}。如果简单提取，结果中会夹杂多余的花括号。

可以通过简单的正则替换将其安全消除：

cleaned_title = re.sub(r'[{}]', '', raw_title).strip()

3. 多个作者的规范拆分

BibTeX 规范规定，作者之间必须使用以空格包围的 and（不区分大小写）连接，逗号通常用于分隔姓氏和名字（如 姓, 名）。千万不能直接用逗号拆分作者！正确的切分代码为：

authors = [a.strip() for a in re.split(r'\s+and\s+', cleaned_author, flags=re.IGNORECASE) if a.strip()]

五、完整的可运行 Python 代码示例

下面提供一个结构完整、开箱即用的 Python 脚本。代码封装成了两个函数：clean_field_value() 负责通用净化，parse_bibtex_authors_and_titles() 负责解析全文。

# -*- coding: utf-8 -*-
import re
from typing import List, Dict, Optional

def clean_field_value(value: str) -> str:
    """
    清洗 BibTeX 字段值：消除多余换行、连续空白及 LaTeX 专有名词保护花括号。
    """
    if not value:
        return ""
    # 1. 将所有换行符、制表符及连续空格压缩为一个普通空格
    cleaned = re.sub(r'\s+', ' ', value)
    # 2. 剔除用于固定大小写的花括号 { 和 }
    cleaned = re.sub(r'[{}]', '', cleaned)
    return cleaned.strip()

def extract_field(field_name: str, entry_content: str) -> Optional[str]:
    """
    从单个文献条目内容中提取指定字段（如 title 或 author）。
    兼容花括号 {...} 与双引号 "..." 定界符。
    """
    # 构造匹配模式：忽略大小写，非贪婪跨行捕获
    pattern = rf'(?i)\b{field_name}\s*=\s*[\{{"]([\s\S]*?)[\}}"](?:\s*,|\s*
|\s*\Z)'
    match = re.search(pattern, entry_content)
    if match:
        return clean_field_value(match.group(1))
    return None

def parse_bibtex_authors_and_titles(bib_text: str) -> List[Dict]:
    """
    解析 BibTeX 文本，提取所有条目的 cite_key、title 和 author 列表。
    """
    results = []
    
    # 匹配每一个 @type{key, ... } 条目
    entry_pattern = re.compile(r'@\w+\s*\{\s*([^,]+),([\s\S]*?)(?=
@|\Z)')
    
    for match in entry_pattern.finditer(bib_text):
        cite_key = match.group(1).strip()
        body = match.group(2)
        
        # 提取标题与作者原始文本
        title = extract_field('title', body)
        raw_author = extract_field('author', body)
        
        # 将作者按 ' and ' 关键字切分为列表
        authors_list = []
        if raw_author:
            authors_list = [
                a.strip() 
                for a in re.split(r'\s+and\s+', raw_author, flags=re.IGNORECASE) 
                if a.strip()
            ]
            
        results.append({
            'cite_key': cite_key,
            'title': title or "未知标题",
            'authors': authors_list
        })
        
    return results

# ==================== 演示与验证 ====================
if __name__ == '__main__':
    # 模拟包含单行、跨行、花括号嵌套与双引号的真实 BibTeX 片段
    sample_bib = '''
    @article{vaswani2017attention,
      author = {Vaswani, Ashish and Shazeer, Noam and
                Parmar, Niki and Uszkoreit, Jakob},
      title = {{Attention Is All You Need}},
      journal = {Advances in Neural Information Processing Systems},
      year = {2017}
    }

    @inproceedings{devlin2018bert,
      title = "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding",
      author = "Devlin, Jacob and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina",
      booktitle = "Proceedings of NAACL-HLT",
      year = "2019"
    }
    '''
    
    parsed_entries = parse_bibtex_authors_and_titles(sample_bib)
    for idx, item in enumerate(parsed_entries, start=1):
        print(f"[{idx}] 索引标识: {item['cite_key']}")
        print(f"    文献标题: {item['title']}")
        print(f"    作者列表 ({len(item['authors'])}人): {', '.join(item['authors'])}")
        print("-" * 50)

控制台输出结果示例：

[1] 索引标识: vaswani2017attention
    文献标题: Attention Is All You Need
    作者列表 (4人): Vaswani, Ashish, Shazeer, Noam, Parmar, Niki, Uszkoreit, Jakob
--------------------------------------------------
[2] 索引标识: devlin2018bert
    文献标题: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
    作者列表 (4人): Devlin, Jacob, Chang, Ming-Wei, Lee, Kenton, Toutanova, Kristina
--------------------------------------------------

六、正则表达式方案的边界与专业库对比

正则表达式是处理纯文本提取的高效工具，但在实际工程落地时，也需要明确它的技术边界。

选型建议： 如果你的需求仅仅是批量提取文献的作者、标题或发表年份，或者运行环境受到严格限制无法随意安装第三方轮子，使用本文介绍的正则表达式是最轻快、直接且容易维护的解决方案；若需要处理包含大量复杂 TeX 重音转义符（如 {"{o}}）、字符串宏展开与相互交叉继承的严谨大型文献库，则可以适时引入 bibtexparser 作为补充。