Java实现HTTP多线程断点续传下载核心原理

月亮慢半拍

发布时间：2026-10-15| 3人浏览过

原创

本文介绍如何使用Java SE原生API构建一个支持多线程并发与断点续传功能的HTTP下载器。主要涵盖连接服务器获取元数据、利用随机访问文件流进行分片写入、以及通过对象序列化保存下载进度以实现断点恢复的核心逻辑。

核心设计与资源准备

实现断点续传下载的首要任务是获取远程资源的完整信息，并在本地建立相应的存储空间。这一阶段不涉及具体的数据搬运，而是为后续的多线程并行处理奠定基础。

第1步：建立连接并获取资源元数据

目的：确认目标文件存在并获取其总长度，以便计算分片大小。

入口：使用Java java.net.URL 和 java.net.URLConnection。
动作：
1. 实例化 URL 对象并调用 openConnection() 建立连接。
2. 读取响应头中的内容长度，标识为 contentLen。
3. 在本地文件系统创建目标文件（通常作为临时文件存在，如 .tmp 后缀）。
参数：目标URL字符串、本地文件名。
完成状态：获得有效的 URLConnection 实例及确定的 contentLen，本地空文件已就绪。

String urlStr = "http://www.sourcelink.com/download/xxx";
URL url = new URL(urlStr);
URLConnection con = url.openConnection();
long contentLen = con.getContentLength();
File file = new File("downloaded_file.tmp");

第2步：任务拆分与线程池调度

目的：将大文件划分为若干独立的数据块，分配给不同线程并行执行，以提升下载效率。

入口：自定义线程类 DLThread 与线程池 QSEngine.pool。
动作：
1. 根据设定的最大线程数（如10个）计算每个分片的大小：subLen = contentLen / threadCount。
2. 遍历创建 DLThread 实例，传入唯一的线程ID、起始偏移量（startPos）和结束偏移量（endPos）。
3. 将线程提交至线程池执行。
关键参数：
- id：线程标识，用于日志区分。
- startPos：该线程负责写入的文件起始字节位置。
- endPos：该线程负责写入的文件结束字节位置。

long subLen = contentLen / threadQuota;
for (int i = 0; i < threadQuota; i++) {
    DLThread thread = new DLThread(this, i + 1, subLen * i, subLen * (i + 1) - 1);
    QSEngine.pool.execute(thread);
}

断点续传机制实现

断点续传是下载工具的核心痛点。其本质在于“记录进度”与“恢复进度”。本方案采用Java原生序列化机制，将整个下载任务的状态对象持久化到磁盘，从而避免手动维护复杂的进度配置文件。

第3步：分片数据的并行写入

目的：每个线程独立从网络读取数据并准确写入文件的指定区域。

入口：DLThread.run() 方法。
动作：
判断上下文：检查是否为新任务（isNewThread）。若为断点恢复，则需加载历史状态。
设置HTTP范围请求：通过 con.setRequestProperty("Range", "bytes=" + startPos + "-" + endPos) 告知服务器只传输指定字节范围的数据。这是实现非暴力下载的关键。
定位写入指针：使用 RandomAccessFile 打开本地文件，调用 seek(startPos) 将文件指针移动至对应的起始位置。
循环读写：
1. 创建 BufferedInputStream 读取网络流。
2. 循环读取缓冲区数据，写入 RandomAccessFile。
3. 实时更新当前线程已下载的字节数 curPos。
风险提醒：在多线程环境下，curPos 的更新需注意原子性（此处示例中假设各线程操作独立区间，无需同步写入位，但累计进度需同步）。

public void run() {
    // ... 初始化变量 ...
    try {
        con = url.openConnection();
        if (isNewThread) {
            con.setRequestProperty("Range", "bytes=" + startPos + "-" + endPos);
            fos = new RandomAccessFile(file, "rw");
            fos.seek(startPos);
        } else {
            // 断点恢复逻辑：使用记录的 curPos 作为新的起点
            con.setRequestProperty("Range", "bytes=" + curPos + "-" + endPos);
            fos = new RandomAccessFile(dlTask.getFile(), "rw");
            fos.seek(curPos);
        }

        bis = new BufferedInputStream(con.getInputStream());
        while (curPos < endPos) {
            int len = bis.read(buf, 0, BUFFER_SIZE);
            if (len == -1) break;
            fos.write(buf, 0, len);
            curPos += len;
            // 修正越界读取的逻辑（略）...
        }
    } catch (IOException ex) {
        throw new RuntimeException(ex);
    }
}

第4步：任务状态持久化与恢复

目的：当程序意外终止时，能够读取最后一次保存的状态，跳过已完成部分，继续未完成的下载。

数据结构设计：DLTask 类实现 Serializable 接口，包含以下关键字段：

threadQut：线程总数。
dlThreads：数组，存储每个线程对象及其当前的 curPos 进度。
file、url 等元数据。

持久化动作：创建一个独立的监听线程 DLListener，定期（例如每3秒）调用 record() 方法，将 DLTask 对象序列化为 .tsk 临时文件。
恢复动作：在 resumeTask() 中，反序列化读取 .tsk 文件获取 DLTask 对象，直接启动之前已创建的线程池运行各个 DLThread。线程内部的逻辑会检测到非新任务标志，从而自动切换到“断点恢复”分支，从历史 curPos 开始请求数据。

public void record() {
    ObjectOutputStream out = null;
    try {
        out = new ObjectOutputStream(new FileOutputStream(dlTask.getFilename() + ".tsk"));
        out.writeObject(dlTask);
    } catch (IOException ex) {
        throw new RuntimeException(ex);
    } finally {
        if (out != null) try { out.close(); } catch (IOException e) {}
    }
}