28、数据库中的混沌工程实践

数据库中的混沌工程实践

一、为何需要混沌工程

自 2011 年 Netflix 开源了 Chaos Monkey 之后，这个程序变得越来越受欢迎。对于构建分布式系统而言，让 Chaos Monkey 在集群上“撒野”，有助于打造更具容错性、健壮性和可靠性的系统。

TiDB 是一款由 PingCAP 主导开发的开源分布式 HTAP（混合事务/分析处理）数据库，它存储着对数据库用户而言最重要的资产——数据。系统的一个基本且首要的要求就是具备容错能力。传统上，我们会运行单元测试和集成测试来确保系统可以投入生产，但随着集群规模扩大、复杂度增加以及数据量达到 PB 级别，这些测试只是冰山一角。

1.1 健壮性与稳定性

要让用户信任像 TiDB 这样的新分布式数据库，就必须随时防止数据丢失或损坏。因为在现实世界中，故障可能随时随地以意想不到的方式发生。常见的应对方法是让系统具备容错能力，即当一个服务崩溃时，另一个备用服务能立即接管，且不影响在线服务。但要注意，容错会增加分布式系统的复杂性。

测试系统容错能力的典型方法包括编写单元测试和集成测试。借助内部测试生成工具，我们开发了超过 2000 万个单元测试用例，还利用了大量开源测试用例，如 MySQL 测试用例和 ORM 框架测试用例。然而，即使单元测试覆盖率达到 100%，也不意味着系统就具有容错性；通过精心设计的集成测试，也不能保证系统在实际生产环境中能良好运行。在现实中，可能会出现磁盘故障、网络时间协议（NTP）不同步等各种情况。为了让 TiDB 这样的分布式数据库系统更健壮，我们需要一种方法来模拟不可预测的故障，并测试系统对这些故障的响应。

1.2 真实世界的例子