Golang连接Kafka：环境搭建与Sarama客户端实战指南

环境与基础设施准备

使用 Golang 操作 Kafka 前，需确保服务端已正常运行。以下以 Windows 环境为例，介绍基础的启动流程。

第1步：修改服务配置文件

进入 Kafka 安装目录的 config 文件夹，根据需要调整日志与数据的存储路径：

• kafka server：修改 server.properties，定义 log.dirs 路径。
• Zookeeper：修改 zookeeper.properties，定义 dataDir 路径。

第2步：启动 Zookeeper 依赖服务

Kafka 强依赖 Zookeeper 进行集群管理。在终端中执行启动脚本：

./bin/windows/zookeeper-server-start.bat config/zookeeper.properties

第3步：启动 Kafka Broker

Zookeeper 就绪后，在同一根目录下启动 Kafka 主服务：

./bin/windows/kafka-server-start.bat config/server.properties

Golang 客户端连接与消息发送

本段代码演示了使用第三方包 github.com/Shopify/sarama 创建同步生产者（Sync Producer）并发送单条消息的过程。适用于需要确保消息即时发出的场景。

package main

import (
	"fmt"
	"time"

	"github.com/Shopify/sarama"
)

func main() {
	// 初始化配置
	config := sarama.NewConfig()
	
	// 1. 生产者配置：等待所有副本确认，降低丢包风险
	config.Producer.RequiredAcks = sarama.WaitForAll
	// 2. 分区策略：使用随机分配器平衡负载
	config.Producer.Partitioner = sarama.NewRandomPartitioner
	// 3. 开启成功返回通道
	config.Producer.Return.Successes = true

	// 封装消息体
	msg := &sarama.ProducerMessage{}
	msg.Topic = "shopping" // 指定 Topic 名称
	timeStr := time.Now().Format("2006-01-02 15:04:05")
	msg.Value = sarama.StringEncoder("0413 test log!" + timeStr)

	// 建立连接：注意默认端口 9092
	client, err := sarama.NewSyncProducer([]string{"127.0.0.1:9092"}, config)
	if err != nil {
		fmt.Println("producer closed", err)
		return
	}
	defer client.Close()

	// 执行发送，获取物理分区号 (partition) 和偏移量 (offset)
	partition, offset, err := client.SendMessage(msg)
	if err != nil {
		fmt.Println("send failed", err)
		return
	}
	fmt.Printf("partition:%v offset:%v", partition, offset)
}

关键参数说明

• RequiredAcks：设置为 WaitForAll 意味着只有 Leader 和 ISR（同步副本）都收到消息才响应，安全性最高但延迟较大。
• NewSyncProducer：同步模式会阻塞当前协程直到消息发送结果返回或报错。

验证消息投递状态

程序运行成功后，可通过 Kafka 自带的控制台消费者工具查看是否成功接收数据。这有助于排查网络连通性或 Topic 配置错误。

第4步：启动命令行消费者

打开新的终端窗口，保持 Kafka 服务运行，输入以下命令：

bin/windows/kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic shopping --from-beginning

完成判断：当终端持续滚动输出类似 “0413 test log!” 及时间戳的内容时，表明 Golang 客户端已成功建立长连接并完成了一次完整的数据流转闭环。

简要总结

通过上述步骤，我们完成了从基础环境搭建到 Go 代码实操的全过程。掌握 Sarama 库的 Producer 基本用法是构建高可用消息中间件系统的基石，开发者可根据实际需求进一步引入 Partitioner 算法优化与消费者组逻辑。

以上就是Golang连接Kafka的详细教程，更多关于Go语言MQ中间件的知识请关注本站其它相关文章！