Golang文件读写操作详解：从基础流到高效IO

文件流与基本操作

在程序中，文件被视为一种数据源。为了管理这些数据的流动，Go 使用“流”的概念来连接数据源与内存。理解输入流和输出流是进行文件操作的第一步：

• 流（Stream）：数据在文件与程序（内存）之间经历的路径。
• 输入流（Input Stream）：数据从文件流向内存的过程，对应读取操作。
• 输出流（Output Stream）：数据从内存流向文件的过程，对应写入操作。

在进行任何文件读写前，首要任务是正确获取和释放资源。由于操作系统对打开的文件句柄数量有限制，忘记关闭文件可能导致资源泄漏。

第1步：打开并安全关闭文件

目的：以只读模式打开一个文件，并在函数返回时自动释放句柄。

动作：
使用 os.Open() 可以按只读模式打开文件。该函数返回一个 *File 指针和可能的错误。为了确保即便发生逻辑中断也能关闭文件，应结合 defer 关键字在函数入口处注册关闭动作。

关键代码：

package main

import (
	"fmt"
	"os"
)

func main() {
	// 只读方式打开当前目录下的文件
	file, err := os.Open("test.txt")
	if err != nil {
		fmt.Println("open file failed, err:", err)
		return
	}
	// 确保函数退出时立即执行关闭操作
	defer file.Close()
}

此处 defer 语句会在主函数即将返回时逆序执行，保证资源被安全释放。

文件读取操作指南

根据文件大小和处理需求，Go 提供了不同的读取机制。对于极小的文件，可以直接将内容拉取至内存；而对于大文件或日志分析，则推荐使用缓冲或字节切片的方式。

第2步：流式读取（适合常规大小文件）

目的：以较小的缓冲区（Buffer）循环读取文件，避免大文件导致内存溢出。

动作：
定义一个固定大小的字节切片（例如 1KB 或更小）。通过 for 循环持续调用 file.Read()。如果读取结束，该方法会返回 io.EOF 信号。

关键代码：

package main

import (
	"fmt"
	"io"
	"os"
)

func main() {
	file, err := os.Open("test.txt")
	if err != nil { return }
	defer file.Close()

	tmp := make([]byte, 1024) // 每次读取 1024 字节
	var content []byte

	for {
		n, err := file.Read(tmp)
		if n == 0 || err == io.EOF {
			break // 到达文件末尾
		}
		if err != nil {
			fmt.Println("read error:", err)
			break
		}
		// 将新读取的数据追加到切片尾部
		content = append(content, tmp[:n]...)
	}
	fmt.Println(string(content))
}

第3步：按行读取（适合文本分析）

目的：一行一行的处理文本内容（如 CSV 或日志），更加精准。

入口：bufio.NewReader()

动作：
将已打开的文件句柄包裹进一个新的 Buffered Reader 对象，然后调用其 ReadString('\n') 方法。直到遇到文件结尾符才停止。

关键代码：

package main

import (
	"bufio"
	"fmt"
	"io"
	"os"
)

func main() {
	file, _ := os.Open("test.txt")
	defer file.Close()

	reader := bufio.NewReader(file)
	for {
		line, err := reader.ReadString('\n')
		// 处理 EOF，注意此时可能还剩余最后一个换行符前的字符
		if err == io.EOF {
			if len(line) > 0 {
				fmt.Print(line)
			}
			break
		}
		if err != nil {
			fmt.Println("Error reading line: ", err)
			return
		}
		fmt.Print(line)
	}
}

第4步：一次性加载（仅限极小文件）

目的：快速提取配置项等微型数据块的全部内容。

动作：
直接调用内置包 ioutil.ReadFile。该函数会自动完成打开、读取和关闭操作，并以字节切片形式返回全部结果。

注意：
切勿将此方法用于 MB 级以上的文件**，这会导致进程内存急剧飙升甚至崩溃。但在 KB 级别的小文件中，由于其单次 I/O 系统调用的优势，其运行效率往往优于手动循环的 Read。**

文件写入操作指南

写入文件需要更谨慎地选择打开模式（Flag），以免意外清空目标数据。

第5步：配置写入模式（OpenFile）

目的：精确控制打开文件的行为，如是否新建、追加或截断。

动作：
摒弃 os.Open()，改用功能全面的 os.OpenFile(name string, flag int, perm os.FileMode)。

• Flag 组合**：
  写入通常需添加 os.O_CREATE（若不存在则创建）和 os.O_WRONLY（只写）。若想覆盖原内容用 os.O_TRUNC；想保留原有内容追加新内容请用 os.O_APPEND。
• Perm 权限**：
  通常使用八进制数字表示，如 0644。首位代表所有者，中间代表同组用户，末位代表其他用户（r=4, w=2, x=1）。默认推荐 0644 或 0666。

参考代码片段：

file, err := os.OpenFile("output.txt", os.O_CREATE|os.O_WRONLY|os.O_TRUNC, 0644)

第6步：执行数据写入

动作 A：直接写入**
调用 file.WriteString() 传入字符串，或 file.Write() 传入字节数组。这属于无缓冲写入，会直接触发磁盘系统调用。

动作 B：缓冲写入（高频推荐）**
使用 bufio.NewWriter(file) 创建一个包装层。连续多次调用 writer.WriteString() 时，数据实际是先存入内存中的缓存池。
当所有数据写完后，务必调用 writer.Flush()，将内存中的数据真正冲刷到硬盘中。

高级文件操作：复制与重命名

除了基础的读写，拷贝文件和路径管理同样重要。

第7步：跨盘拷贝文件

目的：高效完成文件转移。

动作：
对于较大文件，不建议单纯依赖读取所有内存再写入的方法。标准的做法是构造一个大的字节缓冲区（如 32KB~64KB），一边从源文件读取一边向目标文件写入，循环直到源文件耗尽。这种方式兼顾了速度与内存占用。

第8步：管理文件与目录

动作**：
利用 os 包提供的工具函数完成以下工作：** - 重命名/移动：** os.Rename(oldPath, newPath)（支持跨目录移动）。 - 创建多层目录：** os.MkdirAll(path, perm)，无需预先检查父目录是否存在。 - 删除：** os.Remove(path) 删除单个文件或空目录；os.RemoveAll(path) 删除整个非空文件夹树。此操作不可逆，需谨慎使用。