https://github.com/percona/percona-toolkit

 pt-archiver的核心思路是以空间换时间，它通过创建一个临时表来存放需要保留的“热”数据，并使用触发器（Triggers） 来保证数据一致性，最后通过一次快速的表名交换来完成归档。

⚙️ 第一步：前置检查

在开始操作前，工具会先进行一轮严格的环境检查，如不满足以下任一条件将直接退出，不予执行。

• 无触发器：确保原表上当前没有定义任何触发器，以防冲突。
• 无外键：检查是否存在外键约束，避免因外键关联导致操作失败。
• 有主键：强制要求原表必须有主键，这是保证数据唯一性的前提。
• Binlog格式为ROW：要求MySQL的 binlog_format 参数必须设置为 ROW，以确保在主从复制环境下，基于触发器的数据变更能被正确同步。

🛠️ 第二步：创建临时表

通过环境检查后，工具会创建一个与原始表结构完全相同的空临时表（默认命名为 原表名_tmp），作为新数据的“容器”。

🔗 第三步：创建触发器（核心机制）

这是重构版保证数据一致性的关键。在向临时表复制数据的过程中，原表可能会继续接收业务的读写请求。为了保证这部分增量数据不丢失，工具会在原表上创建三个 AFTER 类型的触发器，将期间所有的数据变更实时同步到临时表。

这三种触发器协同工作的逻辑如下：

• AFTER INSERT触发器：使用 REPLACE INTO 语句。当原表插入新数据时，该数据会被同步插入或覆盖到临时表。即使该数据尚未被复制，也能确保临时表包含所有新增记录。
• AFTER UPDATE触发器：同样使用 REPLACE INTO 语句。原表的数据更新会被转换为对临时表的插入或覆盖操作，从而保证数据一致。
• AFTER DELETE触发器：执行 DELETE IGNORE 操作。当原表删除数据时，如果该数据尚未被复制到临时表，则忽略删除；如果已复制，则同步删除。这确保了数据的一致性。

通过这套触发器机制，临时表的数据始终与原表保持同步，无论复制过程耗时多久，都不会丢失增量数据。

📦 第四步：复制数据

部署好触发器后，工具开始分批将原表中的数据复制到临时表。工具会使用 WHERE 条件来筛选出需要保留的数据（例如近7天的记录）。

注意：为了将对线上数据库的影响降到最低，工具在复制时会采取低优先级策略（INSERT LOW_PRIORITY IGNORE），并默认在每复制完一批数据（如1000行）后主动休眠1秒。

🔄 第五步：原子切换

当所有符合条件的“热数据”都复制完成后，归档工作进入最后一步。工具会执行一个原子的 RENAME TABLE 操作，将原始表与临时表的名字互换。对于上层应用而言，这个切换是瞬间完成的，几乎是无感知的。

pt-archiver核心用法实践

pt-archiver的命令格式可概括为：pt-archiver --source [源库参数] --dest [目标库参数] [可选参数]，以下针对不同业务场景给出具体示例，并解释关键参数含义。

场景1：全表归档（不删除原表数据）

适用于“需保留主库数据副本，同时归档备份”的场景（如历史订单归档但主库需临时查询）：

pt-archiver \
--source h=192.168.12.161,u=dba,p='Id81Gdac_a',D=martin,t=archiver_test \  # 源库信息（h=IP,u=用户,p=密码,D=库,t=表）
--dest h=192.168.12.163,u=dba,p='Id81Gdac_a',D=archiver_db,t=archiver_test \  # 归档库信息
--where '1=1' \  # 条件：全表（1=1表示所有数据）
--progress 10000 \  # 每处理10000行输出进度
--limit=10000 \  # 每次批量处理10000行（避免单次查询压力过大）
--txn-size=10000 \  # 每10000行提交一次事务（减少事务日志占用）
--no-safe-auto-increment \  # 禁用自增主键安全检查（避免归档表自增冲突）
--statistics \  # 输出操作统计信息（如处理行数、耗时）
--no-delete  # 核心参数：不删除源表数据

场景2：全表归档（删除原表数据）

适用于“主库无需保留历史数据，仅需归档”的场景（如超过1年的日志数据）：

pt-archiver \
--source h=192.168.12.161,u=dba,p='Id81Gdac_a',D=martin,t=archiver_test \
--dest h=192.168.12.163,u=dba,p='Id81Gdac_a',D=archiver_db,t=archiver_test \
--where '1=1' \
--progress 10000 \
--limit=10000 \
--txn-size=10000 \
--no-safe-auto-increment \
--statistics \
--purge  # 核心参数：归档后删除源表数据（替代--no-delete）

场景3：直接删除原表数据（不归档）

适用于“历史数据无保留价值，仅需清理”的场景（如测试数据、临时日志）：

pt-archiver \
--source h=192.168.12.161,u=dba,p='Id81Gdac_a',D=martin,t=archiver_test \
--where '1=1' \  # 可修改条件（如age>50）筛选特定数据删除
--progress 10000 \
--limit=10000 \
--txn-size=10000 \
--no-safe-auto-increment \
--statistics \
--purge  # 仅删除源表数据，无需--dest参数

场景4：按条件归档部分数据
实际业务中最常用的场景（如归档年龄小于30的用户数据、超过30天的日志）：

# 1. 先清空归档表（避免重复数据，可选）
mysql -h192.168.12.163 -udba -p'Id81Gdac_a' -e "TRUNCATE TABLE archiver_db.archiver_test;"
# 2. 按条件归档（仅归档age<30的数据，并删除源表对应数据）
pt-archiver \
--source h=192.168.12.161,u=dba,p='Id81Gdac_a',D=martin,t=archiver_test \
--dest h=192.168.12.163,u=dba,p='Id81Gdac_a',D=archiver_db,t=archiver_test \
--where 'age<30' \  # 核心条件：筛选需归档的数据
--progress 10000 \
--limit=10000 \
--txn-size=10000 \
--no-safe-auto-increment \
--statistics \
--purge

场景5：归档数据到文件（而非数据库）

# 1. 归档为SQL文件（默认格式）
pt-archiver \
--source h=192.168.152.70,u=dba,p='Id81Gdac_a',D=martin,t=archiver_test \
--where 'age<35' \
--progress 10000 \
--limit=10000 \
--txn-size=10000 \
--no-safe-auto-increment \
--statistics \
--purge \
--file=./archiver.sql  # 输出文件路径（当前目录）
# 2. 归档为CSV格式（便于Excel分析或导入其他系统）
pt-archiver \
--source h=192.168.152.70,u=dba,p='Id81Gdac_a',D=martin,t=archiver_test \
--where '1=1' \
--progress 10000 \
--limit=10000 \
--txn-size=10000 \
--no-safe-auto-increment \
--statistics \
--purge \
--file=./archiver.csv \
--output-format=csv  # 指定输出格式为CSV

注意事项与最佳实践

1. 操作前备份：归档/删除前务必备份关键数据，避免条件错误导致数据丢失；
2. 测试环境验证：新脚本或命令需先在测试环境验证，确认参数正确后再推广到生产；
3. 避免锁表：批量处理时--limit和--txn-size不宜过大（建议1000-10000行），防止长事务阻塞业务；
4. 权限最小化：生产环境中，dba用户权限可缩小至“仅操作源库和归档库”，避免全库权限泄露；
5. 监控与告警：结合crontab告警（如执行失败发送邮件），定期检查归档日志，确保脚本正常运行。

The post MYSQL线上数据库表归档工具推荐Percona-Toolkit 之 pt-archiver appeared first on 原立方.

一：gh-ost 介绍

gh-ost 是一款由GitHub开发的在线DDL（Online Data Definition Language）变更工具，专门用于MySQL数据库 。它允许在不锁定表的情况下执行数据库模式变更，从而避免了传统ALTER TABLE命令可能带来的长时间锁表问题，这对于高可用性要求严格的生产环境尤为重要。
它通过无触发器 （trigger-less）的方式实现表结构变更，减少了对数据库性能的影响，同时支持暂停、限速、动态配置等功能。相较于传统的 pt-online-schema-change，gh-ost 更安全、灵活，且对主库负载更低。

📖主要特点

• 无锁表操作：与传统的ALTER TABLE不同，gh-ost不会长时间锁表，使得在生产环境中进行DDL变更更加安全。
• 基于复制的迁移：gh-ost通过从库读取二进制日志来应用变更，这减少了对主库的压力。
• 灵活的控制方式：支持动态调整速率限制、暂停/恢复操作等。
• 模拟和预检查功能：提供dry-run选项用于测试变更效果，以及pre-flight checks确保操作的安全性。
• 易于使用：虽然功能强大，但相对简单易用，适合DBA和技术人员快速上手。
• 无触发器设计:不依赖数据库触发器，而是通过解析 MySQL 的 binlog 来同步数据变更，减少主库负载和潜在锁冲突。
• 多种运行模式:可连接到主库（master）或副本库（replica），根据需求选择不同迁移策略。

其操作流程大致如下：

1. 创建两张内部管理表：包括 _表名_gho 的“影子表”（Ghost Table，即变更后的新表）和 _表名_ghc 的“日志表”，用于记录心跳、进度等元信息。
2. 复制存量与同步增量（双线程并行）：
   • 一个线程负责将原表的存量数据分批复制到影子表。
   • 同时，另一个线程模拟从库拉取Binlog，解析出原表上的所有INSERT, UPDATE, DELETE增量变更，并同步到影子表。
3. 冲突处理策略：为保证双线程并行时数据一致，gh-ost 采用了特殊的语句改写策略：将复制线程的 INSERT 改写为 INSERT IGNORE，将 Binlog 中的 INSERT 改写为 REPLACE INTO。
4. 原子切换 (Cut-over)：当数据同步完成，gh-ost会锁定原表并执行RENAME操作，瞬间将影子表替换为正式表。

二：gh-ost 的三种模式架构

2.1 连接从库，在主库转换

这是 gh-ost 默认的工作模式，它会查看从库情况，找到集群的主库并且连接上去，对主库侵入最少。大体步骤是：

• 在主库上创建 _xxx_gho（和原表表结构一致）、_xxx_ghc（记录变更日志），并修改 _xxx_gho 表结构；
• 从 slave 上读取二进制日志事件，将变更应用到主库上的 _xxx_gho 表；
• 在主库上读源表的数据写入 _xxx_gho 表中；
• 在主库上完成表切换。

2.2 连接主库，在主库转换

需要使用 –allow-on-master 选项：

• 在主库上创建 _xxx_gho、_xxx_ghc，并修改 _xxx_gho 表结构；
• 从主库上读取二进制日志事件，将变更应用到主库上的 _xxx_gho 表；
• 在主库上读源表的数据写入 _xxx_gho 表中；
• 在主库上完成表切换。

2.3 在从库上测试和转换

这种模式会在从库上做修改。gh-ost 仍然会连上主库，但所有操作都是在从库上做的，不会对主库产生任何影响。在操作过程中，gh-ost 也会不时地暂停，以便从库的数据可以保持最新。

–migrate-on-replica 选项让 gh-ost 直接在从库上修改表。最终的切换过程也是在从库正常复制的状态下完成的。

–test-on-replica 表明操作只是为了测试目的。在进行最终的切换操作之前，复制会被停止。原始表和临时表会相互切换，再切换回来，最终相当于原始表没被动过。主从复制暂停的状态下，你可以检查和对比这两张表中的数据。

三：下载安装：

https://github.com/github/gh-ost/releases/latest

1.18已经支持MySQL 8.4了👍🏻

chmod +x gh-ost

基本使用

gh-ost \
  --host=<主库地址> \
  --port=<主库端口> \
  --user=<用户名> \
  --password=<密码> \
  --database=<数据库名> \
  --table=<表名> \
  --alter="<DDL语句>" \
  --execute

🔥关键参数说明
参数	说明
--alter	需要执行的 DDL 语句（如 ADD COLUMN，DROP INDEX 等）
--execute	实际执行迁移（默认是 dry-run 模式）
--allow-on-master	允许直接连接主库（默认连接到副本库）
--max-load=<metrics>	设置负载阈值（如 Threads_running=50）
--chunk-size=<rows>	每次迁移的数据块大小（默认 1000）
--critical-load=<metrics>	负载超限时终止操作
--switch-to-rbr	自动将副本库的 binlog 格式改为 ROW
--postpone-cut-over-flag-file=<path>	通过文件控制是否延迟切换表
--throttle-control-replicas	指定需要监控的副本库列表
--tmpdir	指定临时文件目录

🔥使用示例

1.添加新列

gh-ost \
  --host=127.0.0.1 \
  --port=3306 \
  --user=admin \
  --password=secret \
  --database=mydb \
  --table=orders \
  --alter="ADD COLUMN comment VARCHAR(255)" \
  --execute

2.修改字段类型

gh-ost \
  --alter="MODIFY COLUMN amount DECIMAL(10,2)" \
  --host=127.0.0.1 \
  --execute

3.添加索引

gh-ost \
  --alter="ADD INDEX idx_created_at (created_at)" \
  --host=127.0.0.1 \
  --execute

4.切换主库
在主库故障转移时，支持动态切换：

gh-ost \
  --assume-master-host=<new_master_host:port> \
  --execute

💥注意事项
权限要求

需要 SUPER、REPLICATION SLAVE、REPLICATION CLIENT 权限。
对原表和临时表有 CREATE、DELETE、ALTER 权限。
主键必须存在
目标表必须包含主键或唯一索引。

外键和触发器
gh-ost 不支持有外键约束或触发器的表。

大表操作
超大表迁移时需关注磁盘空间（临时表会占用额外空间）和网络负载。

The post MYSQL线上数据库表归档工具推荐之gh-ost appeared first on 原立方.