Python多线程快速Mock Kafka批量测试数据

阿麦

发布时间：2026-10-15| 5人浏览过

原创

本文介绍如何在Python性能测试中，通过多线程快速生成批量Mock数据并发送至Kafka。结合appmetrics库监控TPS速率，使用Faker生成多样化测试数据，实现高效的数据压测准备。

背景

在性能测试工作中，前期准备环节至关重要，通常需要Mock足够规模的数据以进行压力测试。那么，如何能在极短时间内快速生成符合特定格式且数量庞大的测试数据呢？接下来将详细介绍具体方法。

安装相关类包

pip install kafka
pip install appmetrics
pip install faker
pip install pykafka

快速Mock Kafka批量测试数据

# -* coding:utf8 *-
from pykafka import KafkaClient
import uuid
import time
import threading
from appmetrics import metrics
from faker import Faker
import os
fake = Faker("zh-cn")
PATH = lambda p: os.path.abspath(
    os.path.join(os.path.dirname(__file__), p)
)
meter = metrics.new_meter("meter_test")
host_producer = 'host地址'
def data_info():
    uid = str(uuid.uuid4())
    suid = ''.join(uid.split('-'))
    return suid
def data_result():
    #数据格式可自行定义
    data = f"{data_info()},{fake.phone_number()},111111111111,LOL-UZI"
    return data
def mock_request():
    client_producer = KafkaClient(hosts=host_producer)
    topicdocu = client_producer.topics['XXXXXXX-TOPIC']
    producer = topicdocu.get_producer(sync=False) # sync=False  关闭同步，使用异步
    while True:
        data_uni = data_result()
        producer.produce(bytes(data_uni, encoding='utf-8'))
        meter.notify(1) # 请求一次 记录器打点一次
        # i = i - 1
    producer.stop()
def print_meter():
    while True:
        print(meter.get())
        time.sleep(1)
def thread_request(nums):
    t1 = []
    for i in range(nums):
        if i == 0:
            #该线程是为了记录每秒打点作用
            t = threading.Thread(target=print_meter, name="T" + str(i))
        else:
            t = threading.Thread(target=mock_request, name="T" + str(i))
        t.setDaemon(True)
        t1.append(t)
    for t in t1:
        t.start()
    for t in t1:
        t.join()
#
#
if __name__ == '__main__':
    thread_request(101)

appmetrics使用方法

Meters

Meters用于度量一系列事件发生的速率（Rate），例如每秒事务数（TPS）。该机制会统计最近1分钟、5分钟、15分钟以及全部时间的速率数据。

meter = metrics.new_meter(“meter_test”)
meter.notify(1)
meter.notify(1)
meter.notify(3)
meter.get()

返回结果

{'count': 5, 'kind': 'meter', 'five': 0.0066114184713530035, 'mean': 0.27743058841197027, 'fifteen': 0.0022160607980413085, 'day': 2.3147478365093123e-05, 'one': 0.031982234148270686}

以上即为Python批量测试多线程中快速Mock数据的详细内容，更多关于Python测试多线程Mock数据的资料请关注本站其它相关文章！