深入PostgreSQL（十四） 数据文件与块存储结构——数据处理与存储支持服务解析

PostgreSQL作为一款功能强大的开源关系型数据库，其卓越的性能和可靠性很大程度上源于其精心设计的底层存储结构。本篇文章将聚焦于PostgreSQL的核心存储单元——数据文件与块（Page）的存储结构，并阐述它们如何为高效的数据处理与存储提供底层支持服务。

一、数据文件的组织

PostgreSQL的数据存储在数据目录（通常为PGDATA/base/）下。每个数据库在base目录下都有一个以其OID（对象标识符）命名的子目录。每个表和索引（除了特殊情况）都对应一个或多个数据文件。主数据文件的命名规则为表的filenode号，如果表数据超过1GB（默认值，可由--with-segsize配置），则会分割成多个文件，命名规则为filenode.1、filenode.2等。这种文件分段（Segment）机制有助于管理超大表，并能在某些文件系统上优化性能。

二、块（Page）的存储结构：基础单元

块（Page）是PostgreSQL中I/O操作和数据在内存（共享缓冲区）与磁盘间传输的基本单位，默认大小为8KB（可在编译时配置）。每个数据文件由一系列编号的块（从0开始）组成。块的结构是高效数据管理的基石，其标准布局如下：

1. 页头（PageHeaderData）： 大小为24字节，包含关键元数据：

• pd_lsn： 记录最近修改该页的XLOG（事务日志）位置，用于WAL（预写式日志）和PITR（时间点恢复）。

• pd_checksum： 页的校验和（若启用），用于检测数据损坏。

• pd_flags： 页的状态标志（如是否包含空闲空间、是否已全部可见等）。

• pd_lower： 指向页内空闲空间起始位置的偏移量（即行指针数组的末尾）。

• pd_upper： 指向页内空闲空间结束位置的偏移量（即最新存储的元组数据的开始）。

• pd_special： 指向页内特殊空间开始位置的偏移量。在普通堆表中，它指向页尾；在索引页中，它用于存储索引特定的数据。

1. 行指针数组（Line Pointer Array）： 从pd_lower开始向后增长。每个行指针（ItemId，4字节）是一个（偏移量，长度）对，指向页内实际的元组数据。它充当一个间接层，使得元组在VACUUM等操作中可以在页内移动而无需更新所有外部引用。

1. 空闲空间（Free Space）： 位于pd<em>lower和pd</em>upper之间的区域，用于存储新的元组数据。

1. 元组数据（Item / Tuple Data）： 从pd_upper开始向前（向页头方向）存储。这是实际的表行数据或索引条目。每个元组都包含自己的头信息（HeapTupleHeaderData），其中包括事务ID（xmin, xmax）、CTID（指向自身位置的指针）、NULL值位图等，用于支持MVCC（多版本并发控制）。

1. 特殊空间（Special Space）： 从pd_special到页尾（8KB）的区域。在索引页（如B-Tree）中，这里存储了索引的特定信息，例如B-Tree页面的左右兄弟链接。

三、数据处理与存储支持服务

基于上述物理结构，PostgreSQL提供了一系列核心服务来管理和优化数据：

1. 空间管理与空闲空间映射（FSM）： PostgreSQL使用pg_fsm文件来跟踪每个堆和索引关系的空闲空间。FSM以树形结构存储，快速定位有足够空闲空间容纳新元组的页面，这对于避免页面碎片和提升INSERT性能至关重要。VACUUM操作会更新FSM。

1. 可见性映射（VM）： pg_vm文件标记了哪些页面中的所有元组对所有事务都是“全部可见”的。这极大地优化了VACUUM操作，因为已知全部可见的页面可以被跳过，从而减少I/O。它也是仅索引扫描（Index-Only Scan）的关键支持。

1. 预写式日志（WAL）与数据持久性： 对页面的任何修改（如插入、更新、删除）都必须先写入WAL日志，然后再写入数据文件。这确保了即使在系统崩溃后，也能通过重放WAL日志恢复数据到一致状态。页头中的pd_lsn是这一机制的核心纽带。

1. 多版本并发控制（MVCC）的实现： MVCC通过元组头中的xmin和xmax字段来实现。更新操作并非原地覆盖，而是创建新版本元组（在页内或其他页），并标记旧版本的xmax。这提供了非阻塞的读操作。旧版本由后续的VACUUM（清理死元组）和HOT（堆内元组整理）机制回收空间。

1. 缓冲区管理（Shared Buffers）： PostgreSQL通过一个共享内存区域来缓存数据页，所有后端进程都通过它访问数据。缓冲区管理器使用精密的算法（如时钟扫描）来管理页的换入换出，最大限度地减少磁盘I/O。

1. 初始化文件（INIT Fork）： 对于未记录日志的表（UNLOGGED）和某些索引，PostgreSQL使用.init文件来存储初始数据。这加快了创建速度，因为不需要WAL日志，但数据在崩溃后无法恢复。

###

PostgreSQL的数据文件和块存储结构是一个高效、可靠且功能丰富的系统工程。从8KB的页微观结构，到管理空闲空间的FSM、加速清理的VM，再到保障持久性的WAL，每一层都紧密协作，共同支撑起数据库的事务处理、并发控制、崩溃恢复和性能优化等核心服务。深入理解这些底层机制，对于数据库的调优、故障排查和高级功能的使用都具有重要意义。