PostgreSQL主备同步机制深度解析

在分布式数据库系统中，确保数据的一致性和可靠性是一项至关重要的任务。PostgreSQL作为一个高度可扩展且功能丰富的开源关系型数据库管理系统，提供了多种数据同步机制来保证数据的高可用性和一致性。本文将深入探讨PostgreSQL的主备同步机制，特别是其流复制技术，并包含相关的配置代码示例。

一、PostgreSQL主备同步概述

PostgreSQL的主备同步机制基于日志的复制机制（Write-Ahead Logging, WAL）进行。这种机制使得数据在主数据库（Primary）和从数据库（Standby）之间保持同步，从而确保高可用性和数据冗余。

• 主数据库（Primary）：负责处理所有写操作（插入、更新、删除）以及读操作。
• 从数据库（Standby）：负责接收从主数据库传递来的WAL日志，并应用这些日志以保持数据的一致性。可以配置为只读以分担查询负载。

二、WAL日志机制

WAL日志文件记录了数据库的每一个修改操作。主数据库将所有变更首先写入WAL日志文件，然后将这些日志发送给从数据库。

• 发送WAL数据：主数据库通过WAL Sender进程（wal_sender）将WAL日志发送给从数据库。
• 接收和写入WAL数据：从数据库通过WAL Receiver进程（wal_receiver）接收来自主数据库的WAL日志，并将其写入本地存储。
• 应用WAL数据：从数据库将接收到的WAL日志应用到自身的数据库实例中，从而使数据与主数据库保持一致。

WAL日志文件通常被以16MB为一个文件块存储，称为WAL段。主数据库的WAL Sender进程将最新的WAL日志记录发送给从数据库。

三、PostgreSQL主备同步配置

要实现PostgreSQL的主备同步，需要对主库和备库进行一系列配置。以下是一个详细的配置步骤。

1. 配置主库

（1）docker-compose.yml配置文件

version: '3'
services:
  postgres:
    image: postgres:11-alpine
    container_name: postgres-master
    ports:
      - "5432:5432"
    volumes:
      - "./pgdata:/var/lib/postgresql/data"
    environment:
      POSTGRES_PASSWORD: password
      POSTGRES_USER: dbuser
      POSTGRES_DB: example
      TZ: Asia/Shanghai

（2）pg_hba.conf配置

host replication repuser 172.27.1.11/32 md5
host replication repuser 172.27.1.12/32 md5

（3）postgresql.conf配置

listen_addresses = '*'
wal_level = replica
archive_mode = on
archive_command = '/bin/date'
max_wal_senders = 10
wal_keep_segments = 64
wal_sender_timeout = 60s
hot_standby = on
max_connections = 1000

（4）创建数据库复制用户

docker exec -it postgres-master /bin/bash
psql -U dbuser -d example
CREATE ROLE repuser LOGIN REPLICATION ENCRYPTED PASSWORD 'repuser';

2. 配置备库

（1）使用pg_basebackup拉起备库

./pg_basebackup -h localhost -U repuser -p 5432 -P -v -R -X stream -D ../data_b -l backup_label

（2）修改postgresql.conf

echo "port = 5433" >> ../data_b/postgresql.conf
echo "hot_standby = on" >> ../data_b/postgresql.conf

（3）启动备库

./pg_ctl start -D ../data_b -l logfile_b

3. 设置同步复制参数

在主库上设置synchronous_commit和synchronous_standby_names参数，使备库变为同步状态。

ALTER SYSTEM SET synchronous_commit = 'on';
ALTER SYSTEM SET synchronous_standby_names = 'walreceiver';
SELECT pg_reload_conf();

四、同步复制的工作机制

在同步复制模式下，当主库执行写操作并等待确认时，备库接收并写入XLOG。随后，主库进程被唤醒，确保数据一致性。

• 主库插入数据，刷XLOG：主库插入数据后，将变更写入WAL日志文件，并调用SyncRepWaitForLSN函数等待。
• 备库接收并写入XLOG：备库的WAL Receiver进程接收来自主库的WAL日志，并将其写入本地存储。
• 主库唤醒并确认提交：备库将XLOG刷入磁盘后，通知主库的WAL Sender进程。主库收到通知后，使用SyncRepWakeQueue唤醒所有等待队列中的进程，并确认事务提交。

五、数据一致性保证

在主库崩溃的情况下，通过recovery流程可以保证数据不丢失。由于主库先写了XLOG并且已落盘，如果主库崩溃而备库尚未收到这条XLOG，但在主库恢复时，会通过recovery流程恢复这条数据，从而保证数据一致性。

六、性能与可靠性权衡

• synchronous_commit参数：
  • off：性能优先，但存在数据丢失风险。
  • local：本地数据安全，适度性能与安全平衡。
  • on：最高级别的数据持久性保障，但会增加事务提交延迟。
  • remote_write：适度数据安全与性能平衡，依赖于远程数据传输。
  • remote_apply：高数据安全性，但事务提交延迟较大。
• synchronous_standby_names参数：定义参与同步复制过程中的备用服务器，确保数据的高可用性和一致性。

七、应用场景

• 银行交易、财务系统：对数据安全性和事务持久性有极高标准要求。
• 医疗系统：需要确保数据的每一次更改都能被可靠保存。
• 政府服务：要求数据的每一次变更都具备高度的可靠性和持久性。

八、总结

PostgreSQL的主备同步机制基于WAL日志实现，通过流复制技术确保数据在主库和备库之间保持同步。通过合理配置synchronous_commit和synchronous_standby_names参数，可以在性能与可靠性之间找到平衡点。在实际应用中，根据具体场景选择合适的配置参数，可以确保数据的高可用性和一致性。