同事使用 insert into select 迁移数据,开开心心上线,上线后被公司开除!
当前位置:点晴教程→知识管理交流
→『 技术文档交流 』
写起来确实爽,不用 Java 循环,不用一条条查询再插入,数据库自己就能把数据搬过去。几百万条数据,可能一条 SQL 就搞定了。 但有个问题:SQL 执行成功,不代表数据迁移成功,更不代表迁移没有影响线上业务。 假设公司有一张用户订单表,需要把历史订单迁移到归档表。同事觉得这事很简单,直接写了下面的 SQL: 执行成功,返回影响行数,检查了几条数据也没发现问题。 于是提交代码,部署上线,下班前还跟大家说了一句:数据迁移已经搞定了。 第二天,业务部门反馈:部分订单查不到了,财务对账也出现了差异。 这时候再回头看那条 SQL,就没那么简单了。 先说明一下,下面是一个典型的生产事故推演,并非某个真实同事被开除的实录。真正值得讨论的是,这种看起来很普通的 SQL,为什么可能把线上系统带进沟里。 先看最常见的问题: 源表和目标表看起来结构相同,但不代表字段顺序、字段含义、默认值永远一致。 假设源表有 我写迁移 SQL,一般不喜欢 这段代码仍然有前提:目标表的字段定义、约束和业务含义必须匹配。 别把字段对上了,就当数据一定对了。比如金额单位、状态编码、逻辑删除标记,这些字段最容易在迁移时出问题。 迁移任务最怕什么? 不是第一次执行失败,而是第一次执行成功了,没人确认;第二次又执行一遍。 比如任务运行到一半,应用连接断开,Java 程序收到超时异常。开发人员看到失败日志,顺手重新点了一次执行。 问题是,客户端超时不代表数据库事务一定失败。第一次操作究竟提交了没有,需要查清楚。 如果没有唯一约束,也没有幂等设计,第二次执行就可能把相同订单再次写入归档表。 Java 里经常能看到这种写法: 这段代码的问题很明显:异常发生后,没确认第一次操作的结果,就直接重试。 至少应该先明确迁移任务的事务边界、目标表唯一键,以及失败后如何核对数据。不能把数据库操作当成普通 HTTP 请求,失败了就再发一次。 对于有唯一业务键的归档表,可以通过唯一索引和数据库支持的幂等写入方式降低重复风险。但要注意,简单地忽略重复键也不一定正确:如果两次迁移的数据内容不同,你可能把数据冲突掩盖掉。 这才是我更担心的地方。
如果迁移操作和线上业务共用数据库,归档任务一跑,订单查询、写入、更新都可能受到影响。 特别是 MySQL,不同隔离级别、执行计划、索引和表结构,对这类语句的具体影响也不同,不能简单地说它一定锁表,也不能觉得它只是一次普通插入。 上线前,我至少会看一下执行计划: 重点检查时间条件有没有合理使用索引,以及预计扫描的数据量是否可接受。 如果历史数据规模很大,我通常更倾向于按主键分批迁移,而不是直接让一条 SQL 一口气跑完。 Java 里可以先按主键范围分批处理,示意代码如下: 这里有个细节不能省: 而且,分批并不等于绝对安全。迁移期间如果源表还在被修改,就需要明确数据边界、并发写入处理方式,以及最终校验机制。 很多人做数据迁移,判断成功的标准只有一个:SQL 没报错。 这个标准太低了。 至少应该核对迁移范围、记录数量、业务主键,以及关键金额字段的汇总情况。 例如: 目标表也执行对应的统计,再对比两边结果。 不过,数量和金额相等,只能说明部分指标一致,不能证明每条数据都正确。更稳妥的方式是继续按主键范围核对缺失记录、重复记录和关键字段差异。 如果归档后还要删除源数据,那就更不能图省事。 先迁移、再校验、最后删除,这三个动作必须有明确的顺序。没有完成校验之前,不应该因为归档 SQL 返回成功,就直接清理源表。 另外,迁移任务最好有独立的执行记录,至少记下批次号、起止主键、处理数量、失败原因和校验结果。出了问题,才能知道到底哪一批数据出了问题,而不是面对一张大表从头猜起。 说到底, 错的是把数据库执行成功,当成了业务迁移成功;把一次性脚本,当成了不需要回滚、不需要校验的普通代码。 至于标题里说的开除,现实里是否会走到这一步,取决于事故影响、操作权限和责任认定,不能因为一条 SQL 就直接下结论。 但有一点我很确定:生产环境里的数据迁移,真正值钱的不是那条 SQL 写得多快,而是出了问题,你能不能说清楚迁了什么、漏了什么、怎么恢复。 阅读原文:原文链接 该文章在 2026/11/20 16:22:44 编辑过 |
关键字查询
相关文章
正在查询... |