PostgreSQL的存储系统二：REDOLOG文件存储结构

大佬教程收集整理的这篇文章主要介绍了PostgreSQL的存储系统二：REDOLOG文件存储结构，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

Pg XLOG文件（常说的REDolOG）名字的命名方法是在XLogfilename宏里定义的，分别由时间线ID、日志ID、段ID的八位16进制数依次构成。例如00000001000000010000008F。

#define XLogfilename(fname,tli,log,seg) \

snprintf(fname,MAXFNAMELEN,"%08X%08X%08X",seg)

不同的段ID对应不同的物理XLOG日志文件，日志ID是逻辑概念，有多个物理XLOG日志文件组成。

Pg XLOG文件（常说的REDolOG）的大小初始值是在configure.in和configure文件里设置的，默认大小是16M。大小设置形式如下

wal_segsize=16

XLOG_SEG_SIZE (${wal_segsizE} * 1024 * 1024)=16M

这个XLOG_SEG_SIZE是XLOG日志文件的段大小，就是一个物理的日志文件的大小。一个逻辑的XLOG日志文件大小是4Gb。

Pg XLOG文件的存储格式大致如下：

<PageheaderData>

<XLogRecord>

<rmgr-specific data>

<BkpBlock>

<XLogRecdata>里面包括<checkPoint>等

<BkpBlock>

<XLogRecdata>

<BkpBlock>

<XLogRecdata>

……

1

先看<PageheaderData>，这个根据不同情况对应XLogLongPageheaderData或XLogPageheaderData结构。XLOG文件头用XLogLongPageheaderData结构和一些合适场合，XLogPageheaderData用在文件里的页面头。结构XLogLongPageheaderData的第一个成员是结构XLogPageheaderData。下面是这两个结构定义：

typedefstruct XLogLongPageheaderData

{

XLogPageheaderDatastd; /*页头结构*/

uint64@H_502_185@ xlp_sysID; /* 控制文件pg_control里的系统标识符*/

uint32 xlp_seg_size; /* XLOG文件大小 */

uint32 xlp_xlog_blcksz; /* XLOG文件页面大小 */

} XLogLongPageheaderData;

XLOG文件里的页面头结构

typedefstruct XLogPageheaderData

{

uint16 xlp_magic; /* WAL版本指示器 */

uint16 xlp_info; /* flag bits,see below */

TimelinEIDxlp_tli; /* 本页第一个记录的时间线*/

XLogRecPtrxlp_pageaddr; /* 本页XLOG位置*/

} XLogPageheaderData;

XLOG文件里的页面头结构XLogPageheaderData的成员xlp_magic表示WAL版本号。成员xlp_tli表示本页第一个记录的时间线，成员xlp_pageaddr表示本页的XLOG位置。成员xlp_info表示紧跟页头的记录是否是跨页记录的一部分，或者该页头结构XLogPageheaderData是否在文件头结构XLogLongPageheaderData里。其值定义见下面：

当记录跨页时，在后面的页头里设置标志

#defineXLP_FirsT_IS_CONTRECORD 0x0001

这个指明是长页头（多用于文件第一页）

#define XLP_LONG_header 0x0002

在xlp_info中定义的所有标志位（用于头的有效性检查）

#define XLP_all_FLAGS 0x0003

如果成员xlp_info的值是XLP_FirsT_IS_CONTRECORD，表示页头后面跟的是一个跨页结构的一部分。

XLOG文件头结构XLogLongPageheaderData的成员xlp_seg_size表示XLOG文件大小，默认是16M。在configure.in和configure文件里设置形式如下

wal_segsize=16

XLOG_SEG_SIZE (${wal_segsizE} * 1024 * 1024)=16M

成员xlp_xlog_blcksz表示文件里的页面大小，默认是8k。

2

<XLogRecord>根据情况不同，可能是XLogRecord或XLogContRecord结构，只有在上一个页面最后一个记录是跨页的情况下，页面头的记录前面才用XLogContRecord结构，表示该记录不是一个新记录，而是上一个记录的一部分。XLogRecord结构代表一个新的XLOG/REDolOG记录，其后跟着实际的XLOG数据，XLogRecord结构定义如下：

typedefstruct XLogRecord

{

pg_crc32 xl_crc; /* 该记录的CRC */

XLogRecPtrxl_prev; /* xlog里前一个XLogRecord的指针*/

transactionIDxl_xID; /* 该记录事务ID */

uint32 xl_tot_len; /* 整个记录长度 */

uint32 xl_len; /* XLOG资源管理器数据长度 */

uint8 xl_info; /* 标志位 */

RmgrID xl_rmID; /* 本记录的资源管理器ID */

} XLogRecord;

XLOG资源管理器时，其成员xl_info值可以是：

#define XLOG_checKPOINT_SHUTDOWN 0x00

#defineXLOG_checKPOINT_ONliNE 0x10

#define XLOG_NOOP 0x20

#define XLOG_NEXTOID 0x30

#define XLOG_SWITCH 0x40

#define XLOG_BACKUP_END 0x50

#defineXLOG_ParaMETER_CHANGE 0x60

#define XLOG_RESTORE_POINT 0x70

XACT资源管理器时，其成员xl_info高4位储存如下信息：

#define XLOG_XACT_COMMIT 0x00

#define XLOG_XACT_PREPARE 0x10

#define XLOG_XACT_ABORT 0x20

#defineXLOG_XACT_COMMIT_PREPARED 0x30

#defineXLOG_XACT_ABORT_PREPARED 0x40

#defineXLOG_XACT_ASSIgnmENT 0x50

XLOG仅使用Xl_info的低4位，高4为由资源管理器rmgr使用

#define XLR_INFO_MASK 0x0F

如果用XLOG记录备份任一磁盘块（数据文件块吧），用其成员xl_info标志位记录，支持每个XLOG记录3个磁盘块的备份，使用Xl_info标志的低1、2、3位

#define XLR_BKP_BLOCK_1 XLR_SET_BKP_BLOCK(0) /* 0x08 */

#define XLR_BKP_BLOCK_2 XLR_SET_BKP_BLOCK(1) /* 0x04 */

#define XLR_BKP_BLOCK_3 XLR_SET_BKP_BLOCK(2) /* 0x02 */

如果已备份块能从XLOG的压缩版本中被安全删除，设置Xl_info的0位（这就是，备份它们仅是为了防止写部分页（partial-page-write）问题，并且不保证PITR恢复的一致性）。压缩算法将需要从这些块中解析出数据以创建一个相同的非全页XLOG记录。

#define XLR_BKP_REMOVABLE 0x01

成员xl_rmID记录资源管理器ID，就是资源种类ID，资源管理器的资源种类包括如下16种（不包含最后一个RM_MAX_ID，这个只是记录最大资源种类数）：

#define RM_XLOG_ID 0

#define RM_XACT_ID 1

#define RM_SMGR_ID 2

#define RM_CLOG_ID 3

#define RM_DBASE_ID 4

#define RM_TBLSPC_ID 5

#define RM_MultixACT_ID 6

#define RM_RELMAP_ID 7

#define RM_STANDBY_ID 8

#define RM_HEAP2_ID 9

#define RM_HEAP_ID 10

#define RM_BTREE_ID 11

#define RM_HASH_ID 12

#define RM_GIN_ID 13

#define RM_GIST_ID 14

#define RM_SEQ_ID 15

#define RM_MAX_ID RM_SEQ_ID

当页头记录是跨页记录的一部分时，在XLogLongPageheaderData结构的后面跟着XLogContRecord结构。原则是XLogRecord记录头从不被分到多个页，如果页尾空间小于SizeOfXLogRecord，就弃之不用，直接使用下一个页面。如果在一个记录在一个页面没写完，在下一个页头的XLogLongPageheaderData结构后面用XLogContRecord结构，此时XLogLongPageheaderData结构的成员xlp_info的值是XLP_FirsT_IS_CONTRECORD。

typedefstruct XLogContRecord

{

uint32 xl_rem_len; /* 记录剩余数据总长度 */

} XLogContRecord;

3

<rmgr-specificdata>可能是事务状态定义等，例如结构xl_xact_commit、xl_xact_abort等

typedefstruct xl_xact_commit

{

timestampTzxact_time; /* 提交时间 */

uint32 xinfo; /* 信息位 */

int nrels; /* 关系文件数 */

int nsubxacts; /* 子事务XID数 */

int nmsgs; /* 共享失效信息数 */

OID dbID; /* 数据库ID */

OID tsID; /* 数据库表空间ID */

/* 提交时要drop的关系文件节点数组*/

RelfileNodexnodes[1]; /* 变长数组 */

/* 后面跟已提交子事务ID数组 */

/* 后面跟共享失效消息数组*/

} xl_xact_commit;

typedefstruct xl_xact_abort

{

timestampTzxact_time; /* 退出时间 */

int nrels; /* 关系文件节点数 */

int nsubxacts; /* 子事务XID数 */

/* 退出时要drop的关系文件节点数组 */

RelfileNodexnodes[1]; /*变长数组*/

/* 后面跟以退出的子事务XID数组 */

} xl_xact_abort;

4

<BkpBlock>表示BkpBlock结构，是跟在XLOG记录XLogRecord后面的备份块头信息。XLOG代码知道PG数据页面中间常常包含一个无用的“洞”（“hole”——未使用的空间），其只包含值是0的字节。如果这个洞的长度大于0（hole_length >0），实际的跟在结构BkpBlock后面的块数据量是BLCKSZ -hole_length个字节

typedefstruct BkpBlock

{

RelfileNodenode; /* 包含该块的关系文件 */

Forknumberfork; /* 关系分支 */

Blocknumberblock; /* 块数 */

uint16 hole_offset; /* "hole"前字节数 */

uint16 hole_length; /* "hole"的字节数 */

/* 实际的块数据跟在结构后面 */

} BkpBlock;

5

<XLogRecdata>表示XLogRecdata结构。要写入XLOG日志文件的资源管理器数据，由一或多个XLogRecdata结构定义。

typedefstruct XLogRecdata

{

char *data; /* 资源管理器包含数据的开始 */

uint32 len; /* 资源管理器包含数据的长度 */

Buffer buffer; /* 有相应数据的buffer，如果有的话 */

bool buffer_std; /* buffer是否有标准pd_lower/pd_upper头 */

struct XLogRecdata *next; /* 链里的下一个结构 */

} XLogRecdata;

pd_lower页面开始位置与未分配空间开头的字节偏移，pd_upper与未分配空间结尾的字节偏移，LSN:最后修改这个页面的 xlog 记录最后一个字节后面第一个字节。

XLogRecdata结构里记录各种数据库操作数据，其中典型的，数据是一个检查点（checkPoint struct）。根据XLogRecord的成员xl_rmID是否等于RM_XLOG_ID以及的成员xl_info是否等于XLOG_checKPOINT_SHUTDOWN或XLOG_checKPOINT_ONliNE来判定数据是检查点。检查点的定义见下面。

typedefstruct checkPoint

{

XLogRecPtrredo; /*开始创建一个检查点时下一个XLOG记录的位置*/

TimelinEIDThisTimelinEID; /*当前时间线*/

uint32 nextXIDEpoch; /*下一个事务ID的高排序位 */

transactionIDnextXID; /* 下一个空闲事务ID */

OID nextOID; /* 下一个空闲OID */

@H_232_167@multixactIDnextMulti; /* 下一个空闲多事务ID */

@H_232_167@multixactOffsetnextMultiOffset; /* next free Multixact offset */

transactionIDoldestXID; /* cluster-wIDe minimum datfroZenxID@H_502_185@ */

OID oldestXIDDB; /* database with minimum datfroZenxID@H_502_185@*/

pg_time_t time; /* 检查点时间戳 */

/*

仍在运行的最早的事务ID（XID）。只有在从一个在线检查点初始化热备模式时才需要，以使在GUC参数wal_level是hot_standby时我们不用为在线检查点计算运行最早的XID。否则设置为常量InvalIDtransactionID。

*/

transactionIDoldestActiveXID;

} checkPoint;

------------

转载请著明出处，来自博客： blog.csdn.net/beiigang beigang.iteye.com

大佬总结

以上是大佬教程为你收集整理的PostgreSQL的存储系统二：REDOLOG文件存储结构全部内容，希望文章能够帮你解决PostgreSQL的存储系统二：REDOLOG文件存储结构所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。