Python批量导入数据至Elasticsearch实战指南

星野

发布时间：2026-10-13| 3人浏览过

原创

本文介绍使用Python将本地文本数据批量导入Elasticsearch的方法。通过读取UTF-8编码文件，利用elasticsearch.helpers.bulk接口进行批量提交，可有效提升导入速度至每秒2000多条记录。文中提供了完整代码示例及编码处理注意事项，适用于需要高效数据同步的场景。

Elasticsearch（简称ES）此前已在相关博客中做过介绍，其提供了丰富的API接口。本文重点讲解如何利用Python实现数据的批量导入操作。ES官网提供了详尽的文档说明，结合搜索引擎进行深入研究，通常可以顺利掌握其使用方法。

以下是具体的实现代码示例：

#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
 line = line.strip().split(' ')
 action={
 "_index":"image",
 "_type":"imagetable",
 "_id":i,
 "_source":{
  u"图片名":line[0].decode('utf8'),
  u"来源":line[1].decode('utf8'),
  u"权威性":line[2].decode('utf8'),
  u"大小":line[3].decode('utf8'),
  u"质量":line[4].decode('utf8'),
  u"类别":line[5].decode('utf8'),
  u"型号":line[6].decode('utf8'),
  u"国别":line[7].decode('utf8'),
  u"采集人":line[8].decode('utf8'),
  u"所属部门":line[9].decode('utf8'),
  u"关键词":line[10].decode('utf8'),
  u"访问权限":line[11].decode('utf8') 
  }
 }
 i+=1
 actions.append(action)
 if(len(actions)==500):
 helpers.bulk(es, actions)
 del actions[0:len(actions)]
if (len(actions) > 0):
 helpers.bulk(es, actions)

代码逻辑相对直观，但有几点需要特别注意：首先，源文件index.txt采用UTF-8编码，因此在处理字符串时必须调用decode('utf8')将其转换为Unicode对象。其次，在定义字典键名时，如“图片名”等字段前必须添加u前缀（例如u"图片名"），否则ES服务端会报错。

该方案的导入性能表现良好，测试结果显示每秒可处理超过2000条记录。

以上关于Python批量导入数据至Elasticsearch的实例分享完毕，希望能为读者提供有价值的参考。欢迎对本站内容给予支持。