oraclemysql分库分表

基础概念

分库分表是一种数据库优化策略，用于解决单一数据库在高并发、大数据量场景下的性能瓶颈问题。它通过将数据分散到多个数据库或多个表中来提高系统的整体性能和扩展性。

分库：将原本存放在单个数据库中的数据分散到多个数据库中。
分表：将原本存放在单个表中的数据按照某种规则分散到多个表中。

优势

提高性能：通过分库分表，可以减少单个数据库或表的数据量，从而提高查询和写入的性能。
扩展性：分库分表使得系统更容易进行水平扩展，可以方便地增加数据库或表的数量来应对数据量的增长。
负载均衡：可以将请求分散到多个数据库或表上，实现负载均衡，避免单点故障。

类型

垂直分库：根据业务功能将数据分散到不同的数据库中。例如，将用户信息和订单信息分别存放在不同的数据库中。
垂直分表：根据字段的访问频率将数据分散到不同的表中。例如，将高频访问的字段和低频访问的字段分别存放在不同的表中。
水平分库：根据某种规则（如哈希、范围等）将数据分散到多个数据库中。
水平分表：根据某种规则（如哈希、范围等）将数据分散到多个表中。

应用场景

高并发场景：当系统面临大量并发请求时，分库分表可以有效提高系统的响应速度。
大数据量场景：当数据量达到一定规模时，单一数据库或表可能无法承受，分库分表可以分散数据压力。
需要扩展性的系统：对于需要不断扩展的系统，分库分表可以提供更好的扩展性。

常见问题及解决方法

1. 数据一致性

问题：在分库分表后，如何保证数据的一致性？

解决方法：

使用分布式事务管理器，如Seata，来保证跨库事务的一致性。
通过最终一致性模型，结合消息队列等技术，确保数据最终一致。

2. 数据迁移

问题：在分库分表后，如何进行数据迁移？

解决方法：

使用ETL工具（如Apache NiFi、Talend）进行数据迁移。
编写自定义脚本进行数据迁移，并确保迁移过程中数据的一致性和完整性。

3. 查询复杂性

问题：分库分表后，查询变得更加复杂，如何解决？

解决方法：

使用中间件（如ShardingSphere、MyCat）来简化查询逻辑，屏蔽底层的分库分表细节。
设计合理的数据库结构和索引，减少查询的复杂性。

4. 分布式锁

问题：在分库分表环境下，如何实现分布式锁？

解决方法：

使用Redis、Zookeeper等工具来实现分布式锁。
结合业务场景，设计合理的锁策略，避免死锁和性能瓶颈。

示例代码

以下是一个简单的水平分表的示例代码，使用Java和MySQL：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class ShardingExample {
    private static final String DB_URL = "jdbc:mysql://localhost:3306/mydb";
    private static final String USER = "user";
    private static final String PASS = "password";

    public static void main(String[] args) {
        String tableName = getTableName(12345); // 根据业务主键获取表名
        insertData(tableName, 12345, "John Doe");
        fetchData(tableName, 12345);
    }

    private static String getTableName(int id) {
        return "user_" + (id % 10); // 简单的哈希分表策略
    }

    private static void insertData(String tableName, int id, String name) {
        String sql = "INSERT INTO " + tableName + " (id, name) VALUES (?, ?)";
        try (Connection conn = DriverManager.getConnection(DB_URL, USER, PASS);
             PreparedStatement pstmt = conn.prepareStatement(sql)) {
            pstmt.setInt(1, id);
            pstmt.setString(2, name);
            pstmt.executeUpdate();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }

    private static void fetchData(String tableName, int id) {
        String sql = "SELECT * FROM " + tableName + " WHERE id = ?";
        try (Connection conn = DriverManager.getConnection(DB_URL, USER, PASS);
             PreparedStatement pstmt = conn.prepareStatement(sql)) {
            pstmt.setInt(1, id);
            ResultSet rs = pstmt.executeQuery();
            while (rs.next()) {
                System.out.println("ID: " + rs.getInt("id") + ", Name: " + rs.getString("name"));
            }
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}