bm-site

Appearance

分库分表如何预估分多少个库和多少张表 ​

预估分库分表的数量需要考虑多个因素，并结合具体的业务场景。让我们通过一个实际的例子来说明这个过程。

假设我们有一个电子商务平台，主要处理订单信息。我们将以订单表为例进行分析。

示例：订单系统 ​

1. 数据量分析 ​

假设我们有以下数据：

  • 当前订单数：1亿
  • 每日新增订单：100万
  • 预计5年后的订单总量：1亿 + (100万 * 365 * 5) ≈ 28.25亿

2. 性能考量 ​

  • 假设单个MySQL实例能够高效处理的数据量上限是500GB。
  • 每条订单记录大小约为1KB。

3. 业务需求 ​

  • 需要支持按用户ID和订单时间查询。
  • 需要保证单个用户的订单在同一个分片，以便于事务处理和查询。

4. 分库分表策略 ​

考虑到上述因素，我们可以采用双层分片策略：先分库，再分表。

分库策略： ​

使用用户ID作为分库键，确保同一用户的订单在同一个库中。

分表策略： ​

在每个库内，按照订单创建时间范围分表。

5. 具体计算 ​

  1. 预估总数据量：
    28.25亿 * 1KB ≈ 2.825TB
  2. 预估需要的库数量：
    2.825TB / 500GB ≈ 5.65，向上取整到8个库（2的幂次，便于后续扩展）
  3. 每个库的表数量：
    假设我们希望单表控制在5000万条记录以内
    每个库的记录数：28.25亿 / 8 ≈ 3.53亿
    每个库需要的表数：3.53亿 / 5000万 ≈ 7.06，向上取整到8张表

6. 最终方案 ​

  • 分8个库
  • 每个库8张表
  • 总共64个分片（8 * 8）

实现示例 ​

java
public class OrderShardingStrategy {  
    private static final int DB_COUNT = 8;  
    private static final int TABLE_COUNT_PER_DB = 8;  

    public static int getDbIndex(long userId) {  
        return (int) (userId % DB_COUNT);  
    }  

    public static int getTableIndex(Date orderTime) {  
        // 假设按季度分表  
        Calendar cal = Calendar.getInstance();  
        cal.setTime(orderTime);  
        int quarter = cal.get(Calendar.MONTH) / 3;  
        int year = cal.get(Calendar.YEAR) - 2023; // 假设从2023年开始  
        return (year * 4 + quarter) % TABLE_COUNT_PER_DB;  
    }  

    public static String getTableName(long userId, Date orderTime) {  
        int dbIndex = getDbIndex(userId);  
        int tableIndex = getTableIndex(orderTime);  
        return String.format("db_%d.order_%d", dbIndex, tableIndex);  
    }  
}

在这个示例中：

  • getDbIndex 方法根据用户ID确定数据库索引。
  • getTableIndex 方法根据订单时间确定表索引，这里假设按季度分表。
  • getTableName 方法结合两者，返回完整的表名。

注意事项 ​

  1. 这只是初始设计，需要根据实际运行情况进行调整。
  2. 考虑使用分库分表中间件（如ShardingSphere）来简化实现。
  3. 预留足够的扩展空间，比如这里我们用了8个库而不是6个。
  4. 定期监控数据增长情况，及时调整分片策略。

这个例子展示了如何基于具体的业务需求和数据特征来设计分库分表方案。实际应用中，还需要考虑更多因素，如查询模式、数据分布的均匀性等，并通过压力测试来验证方案的可行性。

发散思维：如果日均订单约500W增量呢？

思路：1年约18亿，至少保留2-3年热数据就是 40~50亿，算上空间预留可以准备50亿。可以按照32个库，每个库32张表来规划 。一共1024张表，每个表预计存放500万，即可满足50亿数据的容量规划了

更新: 2025-04-15 14:48:02
原文: https://www.yuque.com/tulingzhouyu/db22bv/mrdsiysxguairh0c