运行了5个月的数据库,突然发现服务器磁盘快满了,一看是归档日志很大,打算写个脚本在不影响数据库运行的情况下定期清理PostgreSQL中的archive日志。
我的postgresql.conf中的归档日志配置(不做配置的话默认归档日志在pg_wal中):
archive_mode = on archive_command = 'cp %p /home/archive/%f'
1. 清理方法
读取控制文件以确定可以清理的WAL(Write-Ahead Logging)文件范围。可以使用pg_controldata命令来获取这些信息。
pg_controldata $PGDATA
将显示当前可以删除的WAL文件的范围。
下图中表示:000000010000003700000007这个文件之前的文件都可以删除了
也可以通过pg_archivecleanup清理(前提是没有配置archive_command路径,使用默认路径pg_log)
执行如下命令将会清除000000010000003700000007之前的所有日志。
pg_archivecleanup -d $PGDATA/pg_wal 000000010000003700000007
PS:我自己是直接用下面的脚本清理,很好用!定时任务:每周5的凌晨2点执行
0 2 * * 5 cd /home/scripts && ./wal_clean.sh >> ./logfile.log 2>&1
2. 定期清理archive日志脚本
#!/bin/bash # 设置归档目录路径 archive_directory="/home/archive" TIME="$(date +%Y-%m-%d-%H-%M)" # 执行pg_controldata命令并提取Latest checkpoint's REDO WAL file的值 result=$(pg_controldata "$PGDATA" | grep "Latest checkpoint's REDO WAL file") value=$(echo "$result" | awk '{print $6}') # 输出结果 echo "时间:$TIME" echo "Latest checkpoint's REDO WAL file: $value" #查询15天之前的所有日志,判断是否存在未完成归档日志(一般查询1天以后的日志都是不存在的,根据自己需要修改),都可以直接删除 file=`find $archive_directory -type f -name "000*" -mtime +15 |grep $value` if [ "$file" != "" ]; then echo "存在未完成归档的日志,不能删除" echo $file exit 1 else echo "可以清理已完成归档日志操作" #清理15天以前的归档日志 find $archive_directory -type f -name "000*" -mtime +15 -exec rm {} \; fi
附:在生产环境中,数据库都需要开启归档模式,那么PG该如何开始归档呢?
PG中归档配置涉及几个参数:
# - Archiving - #是否开启归档 #archive_mode = off # enables archiving; off, on, or always # (change requires restart) #归档命令,注意 %p %f %% 格式化的含义。 #%p 是被归档的redo文件的路径, #%f 是被归档的redo文档的文件名 #%% 是百分号 #archive_command = '' # command to use to archive a logfile segment # placeholders: %p = path of file to archive # %f = file name only # e.g. 'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f' #超时强制归档,例:如果10分钟数据库都没有什么活动,一个redo文件没有写完,就不会归档, #但是我们希望数据库至少10分钟要切换一个日志,则可以使用archive_timeout #archive_timeout = 0 # force a logfile segment switch after this # number of seconds; 0 disables
1、创建归档目录
[pg12@mambapg ~]$ mkdir -p $PGDATA/archive/
2、配置归档相关参数postgresql.conf
wal_level = replica archive_mode = on archive_command = 'test ! -f $PGDATA/archive/%f && cp %p $PGDATA/archive/$f'
3、重启数据库,然后查看归档配置是否生效
postgres=# select * from pg_settings where name in ('wal_level','archive_mode','archive_command');