Python并发编程详解:进程、线程与协程实战指南

山海之间
山海之间
发布时间:2026-10-15| 5人浏览过
原创

本文通过Python实例深入解析进程、线程和协程的核心概念与区别。内容涵盖从基础语法到Multiprocessing、Threading及Asyncio库的具体应用,详细演示了多进程创建步骤、线程池使用、协程调度机制及代码实现,帮助开发者根据IO密集型或CPU密集型场景选择合适的并发模型。

前言

本文通过Python实例阐述进程、线程和协程的相关概念。受限于作者水平,文中难免存在疏漏,欢迎读者批评指正。

前提条件

读者需熟悉Python基本语法,并了解操作进程、线程和协程的相关库的使用方法。

相关介绍

Python是一种跨平台的计算机程序设计语言,兼具解释性、编译性、互动性和面向对象特性。最初设计用于编写自动化脚本(shell),随着版本迭代和功能增强,现已广泛应用于独立的大型项目开发。

例如,

实验环境

  • Python 3.x(面向对象的高级语言)
  • Multiprocessing(Python库)
  • Threading(Python库)
  • Asyncio(Python库)
  • Time(Python库)
  • Random(Python库)

进程

进程是程序在操作系统中运行的一个实例,称为进程。进程运行需要占用系统资源,包括内存、时间片和进程号(pid)。正在运行的代码称为进程,未运行的代码称为程序。进程是系统资源分配的最小单位,拥有独立的内存空间,因此进程间数据不共享,开销较大。

创建进程步骤:

1. 首先导入 multiprocessing 模块中的 Process;

2. 创建一个 Process 对象;

3. 创建 Process 对象时,可以传递参数;

4. 调用 start() 方法启动进程;

5. 结束进程。

import os 
from multiprocessing import Process
import time
def pro_func(name,age,**kwargs):
	print("进程正在运行,name=%s, age=%d, pid=%d" %(name, age, os.getpid()))
	print('kwargs参数值',kwargs)
	time.sleep(0.1)
if __name__=="__main__":
    p=Process(target=pro_func,args=('Friendship',18),kwargs={'爱好':'Python'})
    print('启动进程')
    p.start()
    print('程是否还在活着:',p.is_alive())# 判断进程进程是否还在活着
    time.sleep(0.5)
    # 1 秒钟之后,立刻结束进程
    print('结束进程')
    p.terminate() # 不管任务是否完成,立即终止进程
    p.join() # 等待子进程执行结束
    print('程是否还在活着:',p.is_alive())# 判断进程进程是否还在活着

注意:进程间不共享全局变量。

多进程

以读写程序为例,main函数作为一个主进程,write函数作为一个子进程,read函数作为另一个子进程,两个子进程之间进行读写操作。

import os
import time
import random
from multiprocessing import Process,Queue
# 写数据函数
def write(q):
    for value in ['I','love','Python']:
        print('在队列里写入 %s ' % value)
        q.put(value)
        time.sleep(random.random())
# 读数据函数
def read(q):
    while True:
        if not q.empty():
            value  = q.get(True)
            print('从队列中读取 %s ' % value)
            time.sleep(random.random())
        else:
            break
if __name__=="__main__": # 主进程
    # 主进程创建 Queue,并传给各个子进程
    q=Queue()
    # 创建两个进程
    pw=Process(target=write,args=(q,))
    pr=Process(target=read,args=(q,))
    # 启动子进程 pw
    pw.start()
    # 等待 pw结束
    pw.join()
    # 启动子进程 pr
    pr.start()
    # 等待 pw结束
    pr.join()
    print('End!')

使用进程池对多进程进行操作

from multiprocessing import Manager,Pool
import os,time,random
def read(q):
    print("read进程 启动(%s),主进程为(%s)" % (os.getpid(), os.getppid()))
    for i in range(q.qsize()):
        print("read进程 从 Queue 获取到消息:%s" % q.get(True))
def write(q):
    print("write进程 启动(%s),主进程为(%s)" % (os.getpid(), os.getppid()))
    for i in "Python":
        q.put(i)
if __name__=="__main__":
    print("主进程(%s) start" % os.getpid())
    q = Manager().Queue() # 使用 Manager 中的 Queue
    # 定义一个进程池
    po = Pool()
    # Pool().apply_async(要调用的目标,(传递给目标的参数元祖,))
    po.apply_async(write, (q,))
    time.sleep(1) # 先让上面的任务向 Queue 存入数据,然后再让下面的任务开始从中取数据
    po.apply_async(read, (q,))
    po.close() # 关闭进程池,关闭后 po 不再接收新的请求
    po.join() # 等待 po 中所有子进程执行完成,必须放在 close 语句之后
    print("(%s) End!" % os.getpid())

线程

线程是调度执行的最小单位,也称为执行路径,不能独立存在,必须依赖进程。一个进程至少包含一个线程,称为主线程。多个线程共享内存(即数据共享、共享全局变量),从而极大提高了程序的运行效率。

上图中,红框表示进程号(PID)为1624的进程,该进程包含118个线程。

使用_thread模块实现

import _thread
import time
import random
# 为线程定义一个函数
def print_time(threadName):
    count = 0
    while count < 5:
        time.sleep(random.random())
        count += 1
        print ("%s: %s" % (threadName, time.ctime(time.time())))
# 创建两个线程
try:
    _thread.start_new_thread(print_time, ("Thread-1",))
    _thread.start_new_thread(print_time, ("Thread-2",))
except:
    print ("Error: 无法启动线程")
while True:
	pass

使用 threading 模块实现

# 使用 threading 模块创建线程 
import threading
import time
import random
class myThread(threading.Thread):
    def __init__(self, threadID, name):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.delay = random.random()
    def run(self):
        print ("开始线程:" + self.name)
        print_time(self.name, 5)
        print ("退出线程:" + self.name)
def print_time(threadName, count):
    while count:
        time.sleep(random.random())
        print ("%s: %s" % (threadName, time.ctime(time.time())))
        count -= 1
# 创建两个线程
thread1 = myThread(1, "Thread-1")
thread2 = myThread(2, "Thread-2")
# 开启新线程
thread1.start()
thread2.start()
thread1.join()
thread2.join()
print ("退出主线程")

协程

  • 协程是一种用户态的轻量级线程,其调度完全由用户控制。协程拥有自己的寄存器上下文和栈。在协程调度切换时,将寄存器上下文和栈保存到其他地方;当切回时,恢复先前保存的寄存器上下文和栈。由于直接操作栈,基本没有内核切换的开销,可以不加锁地访问全局变量,因此上下文切换速度非常快。
  • 当出现IO阻塞时,由协程调度器进行调度。通过将数据流立即yield(主动让出),并记录当前栈上的数据;阻塞结束后,立即通过线程恢复栈,并将阻塞结果放入该线程执行。这种流程看起来与编写同步代码无异,整个过程称为coroutine。
  • 由于协程的暂停完全由程序控制,发生在用户态;而线程的阻塞状态由操作系统内核进行切换,发生在内核态。因此,协程的开销远小于线程的开销。

使用asyncio模块实现

import asyncio
import time
import random
async def work(msg):
    print("收到的信息:'{}'".format(msg))
    print("{}1{}".format("*"*10,"*"*10)) # 为了方便,展示结果
    await asyncio.sleep(random.random())
    print("{}2{}".format("*"*10,"*"*10)) # 为了方便,展示结果
    print(msg)
async def main():
	# 创建两个任务对象(协程),并加入到事件循环中
    Coroutines1 = asyncio.create_task(work("hello"))
    Coroutines2 = asyncio.create_task(work("Python"))
    print("开始时间: {}".format(time.asctime(time.localtime(time.time()))))
    await Coroutines1  # 此时并发运行Coroutines1和Coroutines2
    print("{}3{}".format("*"*10,"*"*10)) # 为了方便,展示结果
    await Coroutines2 # await相当于挂起当前任务,去执行其他任务,此时是堵塞的
    print("{}4{}".format("*"*10,"*"*10)) # 为了方便,展示结果
    print("结束时间:{}".format(time.asctime(time.localtime(time.time()))))
asyncio.run(main())# asyncio.run(main())创建一个事件循环,并以main为主要程序入口 

总结

  • 进程:一个运行的程序(代码)即为进程,未运行的代码称为程序。进程是系统资源分配的最小单位,拥有独立内存空间,因此进程间数据不共享,开销较大。
  • 线程:调度执行的最小单位,也称为执行路径,不能独立存在,依赖进程。一个进程至少包含一个线程(主线程),多个线程共享内存(数据共享、共享全局变量),从而极大提高程序运行效率。
  • 协程:一种用户态的轻量级线程,调度完全由用户控制。协程拥有自己的寄存器上下文和栈。调度切换时,将寄存器上下文和栈保存至他处,切回时恢复。由于直接操作栈,基本无内核切换开销,可无锁访问全局变量,上下文切换极快。

本文到此结束,希望能对您有所帮助。欢迎持续关注本站以获取更多精彩内容!

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。