Spring+Mybatis+Mysql搭建分佈式數據庫訪問框架的方法

一、前言

用Java開發企業應用軟件, 經常會採用Spring+MyBatis+Mysql搭建數據庫框架。如果數據量很大，一個MYSQL庫存儲數據訪問效率很低，往往會採用分庫存儲管理的方式。本文講述如何通過Spring+Mybatis構建多數據庫訪問的架構，並採用多線程提升數據庫的訪問效率。

需要說明一下，這種方式只適合數據庫數量、名稱固定，且不是特別多的情況。針對數據庫數量不固定的情況，後面再寫一篇處理方案。

二、整體方案

三、開發環境準備

3.1 下載Spring、Mybatis、Mysql組件。

3.2 Eclipse：Java開發IDE。引入如下jar包：

代碼結構如下：

四、構建數據庫集群

在MYSQL中創建11個數據庫(test1/2/3/4/5/6/7/8/9/10/11)創建一個簡單的表:

在test1的tbl_Demo表中插入5千萬條數據，其它10個數據庫的tbl_Demo表中分別插入5百萬條數據(用函數)。

在test1的tbl_Demo表中插入5千萬條數據，其它10個數據庫的tbl_Demo表中分別插入5百萬條數據(用函數)。

五、創建Mybatis數據庫映射接口

/** * Mybatis 映射接口* * * @author elon * @version 1.0, 2015年10月23日*/public interface IDemo { public void insertDemo(DemoDAO demo); public List<Integer> selectGroup();}/** * * Mybatis 映射服務接口* * @author elon * @version 1.0, 2015年10月23日*/public interface IDemoService{ public void insertDemo(DemoDAO demo); public List<Integer> selectGroup();}/** * * Mybatis 映射服務實現* * @author elon * @version 1.0, 2015年10月23日*/public class DemoServiceImpl implements IDemoService{ private IDemo idemo = null; public void setIdemo(IDemo idemo) { this.idemo = idemo; } @Override public void insertDemo(DemoDAO demo) { idemo.insertDemo(demo); } @Override public List<Integer> selectGroup() { return idemo.selectGroup(); }}

六、創建數據庫標識管理和動態數據源

/** * * 保存數據庫標識。每個線程由獨立的對象存儲* * @author elon * @version 1.0, 2015年10月23日*/public class DBIndetifier{ private static ThreadLocal<String> dbKey = new ThreadLocal<String>(); public static void setDBKey(final String dbKeyPara) { dbKey.set(dbKeyPara); } public static String getDBKey() { return dbKey.get(); }}/** * * 動態數據源。可根據不同的數據索引連接不同的數據庫* * @author elon * @version 1.0, 2015年10月23日*/public class DynamicDataSource extends AbstractRoutingDataSource{ @Override public Object determineCurrentLookupKey() { return DBIndetifier.getDBKey(); }}

七、創建數據庫訪問對象

/** * * 數據庫訪問對象。用於插入數據。 * * @author elon * @version 1.0, 2015年10月23日*/public class DemoDAO{ private int a; private String b; private int c; public int getA() { return a; } public void setA(int a) { this.a = a; } public String getB() { return b; } public void setB(String b) { this.b = b; } public int getC() { return c; } public void setC(int c) { this.c = c; }}/** * * 映射結果定義* * @author elon * @version 1.0, 2015年10月23日*/public class DemoResult implements Serializable{ /** * Comment for <code>serialVersionUID</code><br> * */ private static final long serialVersionUID = -413001138792531448L; private long sum; public long getSum() { return sum; } public void setSum(long sum) { this.sum = sum; } @Override public String toString() { return String.valueOf(sum); }}

八、創建數據庫訪問任務

/** * 數據庫訪問任務定義。將每一個對數據庫訪問的請求包裝為一個任務對象，放到任務管理中， * 然後等待任務執行完成，取出執行結果。 * * @author elon * @version 1.0, 2015年10月23日*/public class DBTask implements Runnable{ // 操作數據庫標識，用於指定訪問的數據庫。與spring配置文件中的數據動態數據源定義一致。 private final String dbKey; // mybatis數據庫訪問對象private final Object dbAccessObject; // mysbatis數據庫訪問方法名稱，用於反射調用private final String methodName; // 存儲可變參數的值private final Object[] paraArray; // 存儲可變參數類型@SuppressWarnings("rawtypes") private final Class[] paraClassArray; // 數據庫操作結果。查詢操作返回查詢結果; 插入、刪除、修改操作返回null。 private Object operateResult; // 操作數據庫拋出的異常信息private Exception exception; // 標識任務是否已經執行private boolean finish; /** * 構造函數* @param dbKey 數據庫標識* @param dbAccessObject 數據庫訪問對象* @param methodName 數據庫訪問方法名稱* @param paraArray 參數列表*/ public DBTask(final String dbKey, final Object dbAccessObject, final String methodName, final Object... paraArray) { this.dbKey = dbKey; this.dbAccessObject = dbAccessObject; this.methodName = methodName; this.paraArray = paraArray; finish = false; exception = null; paraClassArray = new Class[paraArray.length]; for (int index = 0; index < paraArray.length; ++index) { paraClassArray[index] = paraArray[index].getClass(); } operateResult = null; } /** * * 任務執行函數* */ @Override public void run() { try { DBIndetifier.setDBKey(dbKey); Method method = dbAccessObject.getClass().getMethod(methodName, paraClassArray); // 查詢操作返回查詢結果; 插入、刪除、修改操作返回null operateResult = method.invoke(dbAccessObject, paraArray); } catch (Exception e) { exception = e; e.printStackTrace(); } finish = true; } /** * * 返回操作結果。查詢操作返回查詢結果; 插入、刪除、修改操作返回null * * @return 操作結果*/ public Object getRetValue() { return operateResult; } /** * 拋出數據庫操作異常* * @return 異常*/ public Exception getException() { return exception; } /** * * 返回任務是否已執行* * @return 標記*/ public boolean isFinish() { return finish; }}

九、創建數據庫任務管理器

/** * 數據庫訪問任務管理。將數據庫訪問任務放到線程池中執行。 * * * @author elon * @version 1.0, 2015年10月23日*/public class DBTaskMgr{ private static class DBTaskMgrInstance { public static final DBTaskMgr instance = new DBTaskMgr(); } public static DBTaskMgr instance() { return DBTaskMgrInstance.instance; } private ThreadPoolExecutor pool; public DBTaskMgr() { pool = new ThreadPoolExecutor(10, 50, 60, TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(10000), new ThreadPoolExecutor.CallerRunsPolicy()); } public void excute(Runnable task) { pool.execute(task); }}

十、創建MyBatis配置文件

10.1 mybatis.xml

 <?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN""http://mybatis.org/dtd/mybatis-3-config.dtd"><configuration> <mappers> <mapper resource="cfg/demoMapper.xml"/> </mappers></configuration>

10.2 demoMapper.xml

 <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="com.elon.IDemo"> <insert id="insertDemo" parameterType="com.elon.DemoDAO"> insert into tbl_demo(a, b, c) values(#{a}, #{b}, #{c}); </insert> <resultMap id="demoResult" type="com.elon.DemoResult"> <id property="sum" column="sumColum"/> </resultMap> <select id="selectGroup" resultMap="demoResult"> select sum(a) as sumColum from tbl_demo group by c; </select></mapper>

十一、創建Spring配置文件

11.1 spring.xml

 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd"> <bean id="dataSource_1"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.70.69.69:3306/test1"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_2"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.70.69.69:3306/test2"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_3"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.70.69.69:3306/test3"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_4"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.70.69.69:3306/test4"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_5"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.70.69.69:3306/test5"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_6"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.70.69.69:3306/test6"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_7"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.61.67.246:3306/test7"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_8"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.61.67.246:3306/test8"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_9"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.61.67.246:3306/test9"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_10"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.61.67.246:3306/test10"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource_11"> <property name="driverClassName" value="com.mysql.jdbc.Driver"></property> <property name="url" value="jdbc:mysql://10.61.67.246:3306/test11"></property> <property name="username" value="user123"></property> <property name="password" value="user123"></property> <property name="maxActive" value="100"></property> <property name="maxIdle" value="30"></property> <property name="maxWait" value="500"></property> <property name="defaultAutoCommit" value="true"></property> </bean> <bean id="dataSource"> <property name="targetDataSources"> <map> <entry key="test1" value-ref="dataSource_1"/> <entry key="test2" value-ref="dataSource_2"/> <entry key="test3" value-ref="dataSource_3"/> <entry key="test4" value-ref="dataSource_4"/> <entry key="test5" value-ref="dataSource_5"/> <entry key="test6" value-ref="dataSource_6"/> <entry key="test7" value-ref="dataSource_7"/> <entry key="test8" value-ref="dataSource_8"/> <entry key="test9" value-ref="dataSource_9"/> <entry key="test10" value-ref="dataSource_10"/> <entry key="test11" value-ref="dataSource_11"/> </map> </property> </bean> <bean id="sqlSessionFactory"> <property name="configLocation" value="classpath:cfg/mybatis.xml"></property> <property name="dataSource" ref="dataSource" /> </bean> <bean id="iDemo"> <property name="mapperInterface" value="com.elon.IDemo"></property> <property name="sqlSessionFactory" ref="sqlSessionFactory"></property> </bean> <bean id="iDemoService"> <property name="idemo" ref="iDemo"></property> </bean></beans>

十二、測試代碼

public class TestMain{ /** * 測試代碼* * * @param args */ public static void main(String[] args) { @SuppressWarnings("resource") ApplicationContext context = new ClassPathXmlApplicationContext("cfg/spring.xml"); IDemoService service1 = (IDemoService)context.getBean("iDemoService"); // 創建任務對象DBTask task1 = new DBTask("test1", service1, "selectGroup"); DBTask task2 = new DBTask("test2", service1, "selectGroup"); DBTask task3 = new DBTask("test3", service1, "selectGroup"); DBTask task4 = new DBTask("test4", service1, "selectGroup"); DBTask task5 = new DBTask("test5", service1, "selectGroup"); DBTask task6 = new DBTask("test6", service1, "selectGroup"); DBTask task7 = new DBTask("test7", service1, "selectGroup"); DBTask task8 = new DBTask("test8", service1, "selectGroup"); DBTask task9 = new DBTask("test9", service1, "selectGroup"); DBTask task10 = new DBTask("test10", service1, "selectGroup"); DBTask task11 = new DBTask("test11", service1, "selectGroup"); DemoDAO demo = new DemoDAO(); demo.setA(10000000); demo.setB("12121212"); demo.setC(100); DBTask taskInsert = new DBTask("test2", service1, "insertDemo", demo); SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); System.out.println("開始插入數據:" + format.format(new Date())); DBTaskMgr.instance().excute(taskInsert); while (true) { if (!taskInsert.isFinish()) { try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } } else { break; } } System.out.println("插入數據結束:" + format.format(new Date())); System.out.println("開始查詢5千萬數據表：" + format.format(new Date())); DBTaskMgr.instance().excute(task1); while (true) { if (!task1.isFinish()) { try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } } else { break; } } System.out.println(task1.getRetValue()); System.out.println("查詢5千萬數據表結束:" + format.format(new Date())); List<DBTask> taskList = new ArrayList<DBTask>(); taskList.add(task2); taskList.add(task3); taskList.add(task4); taskList.add(task5); taskList.add(task6); taskList.add(task7); taskList.add(task8); taskList.add(task9); taskList.add(task10); taskList.add(task11); System.out.println("開始查詢10個5百萬數據表：" + format.format(new Date())); for (DBTask task : taskList) { DBTaskMgr.instance().excute(task); } while (true) { int success = 0; for (DBTask task : taskList) { if (!task.isFinish()) { try { Thread.sleep(1000); } catch (InterruptedException e) { e.printStackTrace(); } } else { ++success; } } if (success == 10) { break; } } for (DBTask task : taskList) { System.out.println(task.getRetValue());; } System.out.println("10個5百萬數據表查詢結束：" +format.format(new Date())); }}

十三、測試結果

直接查詢一個5千萬條數據的數據庫用時：45s。

多線程同步查詢10個5百萬數據的數據庫用時: 22s。

由於10個數據庫放在兩台服務器上，一個服務器5個數據庫。如果將10個數據分別部署到10個服務器，效率將更高。

總結

以上所述是小編給大家介紹的Spring+Mybatis+Mysql搭建分佈式數據庫訪問框架，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對武林網網站的支持！