数据库读写分离实现（sql数据库读写分离）

本篇文章给大家谈谈数据库读写分离实现，以及sql数据库读写分离对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、数据库读写分离如何保证主从一致性
• 2、sqlserver怎么实现数据库读写分离
• 3、什么是数据库的读写分离
• 4、mysql 如何实现读写分离，用mysql-proxy 或者直接用php连接两个数据库？
• 5、如何在应用层通过spring特性解决数据库读写分离
• 6、分布式系统中应用程序怎么实现数据库读写分离

数据库读写分离如何保证主从一致性

当我们的数据库压力主键变大的时候，我们会尝试增加一些从节点来分摊主节点的查询压力磨袜。而一般来说，我们是用一主多从的结构来作为读写分离的基本结构。

而一般来说我们有两种常用的方法来实现读且分离架构：

客户端直接分离

这种方式是由客户端，或者我们的微服务直接进行数据库的读写选择。将读库选择路由到主库上进行，将查询路由到从主库上进行。

这种方式的优点在于因为是直连所以性能比较高，但是需要由业务团队了解数据库的实例细节，当数据库做调整的时候就需要业务侧姿高同步改造。

使用数据中间件代理

这种方式是由一层代理层对数据的读写做分发，业务层将所有的请求都通过代理来实现。

这种方式的优点在于对于业务层不需要感知到数据库的存在，但问题在于数据中间件的性能要求较高，还需要专人来进行优化和维护，整体架构较为复杂。

但是我们发现，尽管这两种方式各有优劣。但核心都是通过数据的写入、查询请求的路由而实现的，那么这就会引发标题的问题：

主备同步存在延迟，所以在延迟时间内对插入的内容进行查询则无法查询到最新提交的事务。

那么如何保证主从一致性的问题，其实就变成了如何处理主从延迟的问题。

根据项目的大小，团队的规模以及主机的部署模式。我们处理问题的方法也有很多种。

最简单强硬的就是强制读主库。

一般情况下我们在不同的查询中会有不同程度的一致性要求。我们可以将需要保证数据一致性的请求配置强制查询主库，而对于无强依赖的查询请求仍然查询备库。

尽管这个方案不是很优雅，但是是最简单实现的方法，并且在Spring等框架的支持下一般只需要加一个注解就能实现。但这个方法的问题也是显而易见的，如果存在大量的强一致性要求的查询语句，则相当于没有进行读写分离与扩展。那么这种方法就会导致系统在数据库层面没有有效的扩展手段了。

由于问题产生的来源是主从延迟，所以在下一次查询的时候进行一段时间的等待以弥补这种延迟即可。

所以在进行主库的数据插入之后，让数据库数据连接或者对应的执行线程等待一段时间后返回。通过等待时间来消化掉主从备份的延迟时间。但是这个方法也有一些问题比如：这个等待时间一般是固定的，即便主从已经无延迟了也会继续等待到时间结束；如果在服务高峰时期，有可能数据在等待时间结束后仍然没有完成同步则仍然会存在一致性问题。

但这种方法优雅的地方是可以配合业务来进行实现，举例来说当用户下单之后，通过下单送卷或者下单抽奖的方式从前端拖住用户，从而当用户在一次连续操作中再次查询自己订单的时候中间必然会间隔一定时间，也就让需要再次查询数据的时候保证了数据的一致性。

上述两种方案看起来可能不那么“技术”，感觉有点投机取巧。那么下面咱们可以分两种情况来讨论用更高技术的方法如何实现一致性。

对于主从复制来说，是当主库完成一个事务后，通知给从库，当从库接受到后，则主库完成返回客户端。所以当主库完成事务后，仅能确保从库已经接受到了，但是不能保证从库执行完成，也就是导致了主从备份迹游尺延迟。

但是从库执行数据是有进度的，而这个进度是可以通过show slave status语句中的seconds_behind_master来进行描述，这个参数描述从库落后了主库数据多少秒，当这个参数为0时，我们可以认为从库和主库已经基本上没有延迟了，那么这时候就可以查询请求。

但seconds_behind_master是秒级的，所以只能大概地判断，由于精度较低，所以还是可能出现不一致的情况。

如果要求精准执行的话，我们可以比较同步文件的执行记录，具体来说是：

所以当Relay_Master_Log_File和Exec_Master_Log_Pos和其一致的时候，就说明从库的已执行数据已经追上主库了，那么这时就可以说保证了主从一致性了

但是比较同步文件的执行记录方法的问题在于，如果当前的这个事务的binlog尚未传入到从库，即Master_Log_File和Read_Master_Log_Pos未更新，也就无法保证从库已经包含最新的主库事务了。

而为了保证在一主一备的情况下，从库里一定接受到数据了，也就是Master_Log_File和Read_Master_Log_Pos中的数据是和主库一致的，我们可以开启semi-sync replication半同步复制。

半同步复制的原理是在主库提交事务前先将binlog发送给从库，然后当从库接受后返回一个应答，主库只有在接受到这个应答之后才返回事务执行完成。这样就可以保证从库的Master_Log_File和Read_Master_Log_Pos与主库是一致的，从而解决了主从一致的问题。

半同步复制可以解决一主一备的情况，但是当一主多备的时候，只要主库接受到一个从库的应答，就会返回事务执行完成。而这时当请求打到未完成同步的从库上时就会发生主从延迟。

所以针对一主多备的情况，我们可以将目光集中在执行查询的从库上，即确保 我们即将查询的备库已经执行了我们预期的事务。 那么我们的问题就变成两部分：1. 确认主库事务，2. 查询数据条件。

确认主库事务

当我们提交完一个事务后，可以通过执行show master status来得到主库中的数据事务文件（File）和位置记录（Position）。

查询数据条件

当我们要查询从库数据的时候，我们可以通过语句select master_pos_wait(File, Position, 1);来查询当前是否已经执行到了该记录（当返回值=0的时候说明已经执行过了）。其中最后的数字1表示阻塞时长。

通过先确认主库事务记录，再判确认备库是否已经执行了了主库对应的事务。

但是可以发现，这种方法要求查询的时候知道主库的事务信息，对场景有很大的限制。

主从一致的问题源自主从延迟，所以我们就是从如何消除延迟来解决问题。简单点的方案我们可以不走备库、或者直接等待一段时间来忽略延迟的影响。在一主一备的情况下我们可以粗力度的用seconds_behind_master来判断或者用Relay_Master_Log_File和Exec_Master_Log_Pos来判断。而当一主多从的情况下我们则需要在查询前传入主库执行的事务记录才能保证数据一致性。

可以看出，当数据规模和部署方式变更的时候，好的解决方案将会越来越多。我认为根据实际业务情况选择最合适的方法才是最重要的。

[img]

sqlserver怎么实现数据库读写分离

至誉脊于对数据库的读写操作分离，还是前台代码来确定。

对于只负责读的数据库可以对该访问用户设置为datareader角色即可，也可以防止数据写了，不过这是孙宽数据库方面权限则虚亮的问题

什么是数据库的读写分离

数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。 对于大访问量的网站，一般会采用读写分离，比如ebay的读写比率是260：1，也就是大型的电子商务网站的。 网上看到说采用读写分离有如下工具： 1，oracle的logical standby 2, Quest公枝仿司的SharePlex 3, DSG公司的RealSyncMySQLReplication可以将master的数据复制分布到多个slave上，然后可核宏以利用slave来分担master的读压力。那么对于前台应用来说，就要考虑如何将读的压力分布到多个slave上。如果每个应用都需要来实现读写分离的算法，一则成本太高，二来如果slave增加更多的机器，应用就要随之修改。明显的，如果在应用和数据库间加一个专门用于实现读写分离的中间层，则整个系统的架构拥有更好改搭册的扩展性。MySQL Proxy就是这么一个中间层代理，简单的说，MySQL Proxy就是一个连接池，负责将前台应用的连接请求转发给后台的数据库，并且通过使用lua脚本，可以实现复杂的连接控制和过滤，从而实现读写分离和负载平衡。对于应用来说，MySQL Proxy是完全透明的，应用则只需要连接到MySQL Proxy的监听端口即可。

mysql 如何实现读写分离，用mysql-proxy 或者直接用php连接两个数据库？

Mysql主从配置，实现读写分离

原理：主服务器（Master）负责网站仿段NonQuery操作，从服务器负责Query操作，用户可以根据网站功能模特性块固定访问Slave服务器，或者自己写个池或队列，自由为请求分配从服务器连接。主从服务器利用MySQL的二中大世进制日志文件，实现数据同步。二进制日志由主服务器产生，从服务器响应获取同步数据库。

具体实现：

1、卖肢在主从服务器上都装上MySQL数据库，windows系统鄙人安装的是mysql_5.5.25.msi版本，Ubuntu安装的是mysql-5.6.22-linux-glibc2.5-i686.tar

windows安装mysql就不谈了，一般地球人都应该会。鄙人稍微说一下Ubuntu的MySQL安装，我建议不要在线下载安装，还是离线安装的好。大家可以参考 这位不知道大哥还是姐妹，写的挺好按照这个就能装上。在安装的时候可能会出现几种现象，大家可以参考解决一下：

（1）如果您不是使用root用户登录，建议 su - root 切换到Root用户安装，那就不用老是 sudo 了。

（2）存放解压的mysql 文件夹，文件夹名字最好改成mysql

（3）在./support-files/mysql.server start 启动MySQL的时候，可能会出现一个警告，中文意思是启动服务运行读文件时，忽略了my.cnf文件，那是因为my.cnf的文件权限有问题，mysql会认为该文件有危险不会执行。但是mysql还会启动成功，但如果下面配置从服务器参数修改my.cnf文件的时候，你会发现文件改过了，但是重启服务时，修改过后的配置没有执行，而且您 list一下mysql的文件夹下会发现很多.my.cnf.swp等中间文件。这都是因为MySQL启动时没有读取my.cnf的原因。这时只要将my.cnf的文件权限改成my_new.cnf的权限一样就Ok，命令：chmod 644 my.cnf就Ok

（4）Ubuntu中修改文档内容没有Vim，最好把Vim 装上，apt-get install vim,不然估计会抓狂。

这时候我相信MySQL应该安装上去了。

2、配置Master主服务器

（1）在Master MySQL上创建一个用户‘repl’，并允许其他Slave服务器可以通过远程访问Master，通过该用户读取二进制日志，实现数据同步。

如何在应用层通过spring特性解决数据库读写分离

两种方案

方案1：当只有读操作的时候，直接操作读库（从库）；

当在写事务（即写主库）中读时，也是读主库（即参与到主库操作），这样的优势是可以防止写完后可能读不到刚才写的数据；

此方案其实是使用事务传播行为为：SUPPORTS解决的。

方案2：当只有读操作的时候，直接操作读库（从库）；

当在写事务（即写主库）中读时，强制走从库，即先暂停写事务，开启读（读从库），然后恢复写事务。

此方案其实是使用事务传播行为为：NOT_SUPPORTS解决的。

核心组件

cn.javass.common.datasource.ReadWriteDataSource：读写分离的动态数据源，类似于AbstractRoutingDataSource，具体参考javadoc；

cn.javass.common.datasource.ReadWriteDataSourceDecision：读写库选择的决策者，具体参考javadoc；

cn.javass.common.datasource.ReadWriteDataSourceProcessor：春码此类实现了两个职责（为了减少类的数量将两个功能合并到一起了）：读/写动态数据库选择处理器、通过AOP切面实现读/写选择，具体参考javadoc。

具体配置

1、数据源配置

1.1、写库配置

Java代码

bean id="writeDataSource" class="org.logicalcobwebs.proxool.ProxoolDataSource"

property name="alias" value="writeDataSource"/

property name="driver" value="${write.connection.driver_class}" /

property name="driverUrl" value="${write.connection.url}" /

property name="user" value="${write.connection.username}" /

property name="password" value="${write.connection.password}" /

property name="maximumConnectionCount" value="${write.proxool.maximum.connection.count}"/

property name="minimumConnectionCount" value="${write.proxool.minimum.connection.count}" /

property name="statistics" value="${write.proxool.statistics}" /

property name="simultaneousBuildThrottle" value="${write.proxool.simultaneous.build.throttle}"/

/bean

1.2、读库配置

Java代码

bean id="readDataSource1"敬绝 class="org.logicalcobwebs.proxool.ProxoolDataSource"

property name="alias" value="readDataSource"/

property name="driver" value="${read.connection.driver_class}" /

property name="driverUrl" value="${read.connection.url}" /

property name="user" value="${read.connection.username}" /

property name="password" value="${read.connection.password}" /

property name="maximumConnectionCount" value="${read.proxool.maximum.connection.count}"/

亮森姿property name="minimumConnectionCount" value="${read.proxool.minimum.connection.count}" /

property name="statistics" value="${read.proxool.statistics}" /

property name="simultaneousBuildThrottle" value="${read.proxool.simultaneous.build.throttle}"/

/bean

1.3、读写动态库配置

通过writeDataSource指定写库，通过readDataSourceMap指定从库列表，从库列表默认通过顺序轮询来使用读库，具体参考javadoc；

Java代码

bean id="readWriteDataSource" class="cn.javass.common.datasource.ReadWriteDataSource"

property name="writeDataSource" ref="writeDataSource"/

property name="readDataSourceMap"

map

entry key="readDataSource1" value-ref="readDataSource1"/

entry key="readDataSource2" value-ref="readDataSource1"/

entry key="readDataSource3" value-ref="readDataSource1"/

entry key="readDataSource4" value-ref="readDataSource1"/

/map

/property

/bean

2、XML事务属性配置

所以读方法必须是read-only（必须，以此来判断是否是读方法）。

Java代码

tx:advice id="txAdvice" transaction-manager="txManager"

tx:attributes

tx:method name="save*" propagation="REQUIRED" /

tx:method name="add*" propagation="REQUIRED" /

tx:method name="create*" propagation="REQUIRED" /

tx:method name="insert*" propagation="REQUIRED" /

tx:method name="update*" propagation="REQUIRED" /

tx:method name="merge*" propagation="REQUIRED" /

tx:method name="del*" propagation="REQUIRED" /

tx:method name="remove*" propagation="REQUIRED" /

tx:method name="put*" read-only="true"/

tx:method name="query*" read-only="true"/

tx:method name="use*" read-only="true"/

tx:method name="get*" read-only="true" /

tx:method name="count*" read-only="true" /

tx:method name="find*" read-only="true" /

tx:method name="list*" read-only="true" /

tx:method name="*" propagation="REQUIRED"/

/tx:attributes

/tx:advice

3、事务管理器

事务管理器管理的是readWriteDataSource

Java代码

bean id="txManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"

property name="dataSource" ref="readWriteDataSource"/

/bean

4、读/写动态数据库选择处理器

根据之前的txAdvice配置的事务属性决定是读/写，具体参考javadoc；

forceChoiceReadWhenWrite：用于确定在如果目前是写（即开启了事务），下一步如果是读，是直接参与到写库进行读，还是强制从读库读，具体参考javadoc；

Java代码

bean id="readWriteDataSourceTransactionProcessor" class="cn.javass.common.datasource.ReadWriteDataSourceProcessor"

property name="forceChoiceReadWhenWrite" value="false"/

/bean

5、事务切面和读/写库选择切面

Java代码

aop:config expose-proxy="true"

!-- 只对业务逻辑层实施事务 --

aop:pointcut id="txPointcut" expression="execution(* cn.javass..service..*.*(..))" /

aop:advisor advice-ref="txAdvice" pointcut-ref="txPointcut"/

!-- 通过AOP切面实现读/写库选择 --

aop:aspect order="-2147483648" ref="readWriteDataSourceTransactionProcessor"

aop:around pointcut-ref="txPointcut" method="determineReadOrWriteDB"/

/aop:aspect

/aop:config

1、事务切面一般横切业务逻辑层；

2、此处我们使用readWriteDataSourceTransactionProcessor的通过AOP切面实现读/写库选择功能，order=Integer.MIN_VALUE(即最高的优先级)，从而保证在操作事务之前已经决定了使用读/写库。

6、测试用例

只要配置好事务属性（通过read-only=true指定读方法）即可，其他选择读/写库的操作都交给readWriteDataSourceTransactionProcessor完成。

可以参考附件的：

cn.javass.readwrite.ReadWriteDBTestWithForceChoiceReadOnWriteFalse

cn.javass.readwrite.ReadWriteDBTestWithNoForceChoiceReadOnWriteTrue

可以下载附件的代码进行测试，具体选择主/从可以参考日志输出。

分布式系统中应用程序怎么实现数据库读写分离

本文实例分析了Yii实现MySQL多数据库和读写分离的方法。分享给大家供大家参考。具体分析如下：Yii Framework是一个基于组件、用于开发大型 Web 应用的高性能 PHP 框架。Yii提供了今日Web 2.0应用开发所需要的几乎一切功能，也念腊吵是最强大的框架之一，下文我们来介绍Yii实现MySQL多库和读写分离的方法前段时间为SNS产品做了架构设计，在程序框架方面做了不少相关的压力测试，最终选定了YiiFramework，至于为什么没选用公司内部的 PHP框架，其实理由很充分，公司的框架虽然是"前辈"们辛苦的积累，但毕竟不够成熟，没有大型项目的历练，犹如一个涉世未深的年轻小伙。Yii作为一个 颇有名气开源产品，必定有很多人在使用，意味着有一批人在维护，而且在这之前，我也使用Yii开发过大型项目，Yii的设计模式和它的易扩展特性足以堪当重任。SNS同一般的社交产品不同的就是它最终要承受大并发和大数据量的考验，架构设计时就要考虑这些问题， web分布式、负载均衡、分布式文件存储、仔侍MySQL分布式或读写分离、NoSQL以及各种缓存，这些都是必不可少的应用方案，局李本文所讲的就是MySQL 分库和主从读写分离在Yii的配置和使用。Yii默认是不支持读写分离的，我们可以利用Yii的事件驱动模式来实现MySQL的读写分离。Yii提供了一个强大的CActiveRecord数据库操作类，通过重写getDbConnection方法来实现数据库的切换，然后通过事件 beforeSave、beforeDelete、beforeFind 来实现读写服务器的切换，还需要两个配置文件dbconfig和modelconfig分别配置数据库主从服务器和model所对应的数据库名称，附代码DBConfig.php文件如下：复制代码 代码如下:?phpreturn array('passport' = array('write' = array('class' = 'CDbConnection','connectionString' = 'mysql:host=10.1.39.2;dbname=db1′,'emulatePrepare' = true,//'enableParamLogging' = true,'enableProfiling' = true,'username' = 'root','password' = '','charset' = 'utf8′,'schemaCachingDuration'=3600,),'read' = array(array('class' = 'CDbConnection','connectionString' = 'mysql:host=10.1.39.3;dbname=db1,'emulatePrepare' = true,//'enableParamLogging' = true,'enableProfiling' = true,'username' = 'root','password' = '','charset' = 'utf8′,'schemaCachingDuration'=3600,),array('class' = 'CDbConnection','connectionString' = 'mysql:host=10.1.39.4;dbname=db3′,'emulatePrepare' = true,//'enableParamLogging' = true,'enableProfiling' = true,'username' = 'root','password' = '','charset' = 'utf8′,'schemaCachingDuration'=3600,),),),);ModelConfig.php如下：复制代码 代码如下:?phpreturn array(//key为数据库名称，value为Model'passport' = array('User','Post'),'microblog' = array('…'),);?ActiveRecord.php如下：复制代码 代码如下:/*** 基于CActiveRecord类的封装，实现多库和主从读写分离* 所有Model都必须继承些类.**/class ActiveRecord extends CActiveRecord{//model配置public $modelConfig = '';//数据库配置public $dbConfig = '';//定义一个多数据库集合static $dataBase = array();//当前数据库名称public $dbName = '';//定义库类型(读或写)public $dbType = 'read'; //'read' or 'write'/*** 在原有基础上添加了一个dbname参数* @param string $scenario Model的应用场景* @param string $dbname 数据库名称*/public function __construct($scenario='insert', $dbname = ''){if (!empty($dbname))$this-dbName = $dbname;parent::__construct($scenario);}/*** 重写父类的getDbConnection方法* 多库和主从都在这里切换*/public function getDbConnection(){//如果指定的数据库对象存在则直接返回if (self::$dataBase[$this-dbName]!==null)return self::$dataBase[$this-dbName];if ($this-dbName == 'db'){self::$dataBase[$this-dbName] = Yii::app()-getDb();}else{$this-changeConn($this-dbType);}if(self::$dataBase[$this-dbName] instanceof CDbConnection){self::$dataBase[$this-dbName]-setActive(true);return self::$dataBase[$this-dbName];} elsethrow new CDbException(Yii::t('yii','Model requires a "db" CDbConnection application component.'));}/*** 获取配置文件* @param unknown_type $type* @param unknown_type $key*/private function getConfig($type="modelConfig",$key="){$config = Yii::app()-params[$type];if($key)$config = $config[$key];return $config;}/*** 获取数据库名称*/private function getDbName(){if($this-dbName)return $this-dbName;$modelName = get_class($this-model());$this-modelConfig = $this-getConfig('modelConfig');//获取model所对应的数据库名if($this-modelConfig)foreach($this-modelConfig as $key=$val){if(in_array($modelName,$val)){$dbName = $key;break;}}return $dbName;}/*** 切换数据库连接* @param unknown_type $dbtype*/protected function changeConn($dbtype = 'read'){if($this-dbType == $dbtype self::$dataBase[$this-dbName] !== null)return self::$dataBase[$this-dbName];$this-dbName = $this-getDbName();if(Yii::app()-getComponent($this-dbName.'_'.$dbtype) !== null){self::$dataBase[$this-dbName] = Yii::app()-getComponent($this-dbName.'_'.$dbtype);return self::$dataBase[$this-dbName];}$this-dbConfig = $this-getConfig('dbConfig',$this-dbName);//跟据类型取对应的配置(从库是随机值)if($dbtype == 'write'){$config = $this-dbConfig[$dbtype];}else{$slavekey = array_rand($this-dbConfig[$dbtype]);$config = $this-dbConfig[$dbtype][$slavekey];}//将数据库配置加到component中if($dbComponent = Yii::createComponent($config)){Yii::app()-setComponent($this-dbName.'_'.$dbtype,$dbComponent);self::$dataBase[$this-dbName] = Yii::app()-getComponent($this-dbName.'_'.$dbtype);$this-dbType = $dbtype;return self::$dataBase[$this-dbName];} elsethrow new CDbException(Yii::t('yii','Model requires a "changeConn" CDbConnection application component.'));}/*** 保存数据前选择 主 数据库*/protected function beforeSave(){parent::beforeSave();$this-changeConn('write');return true;}/*** 删除数据前选择 主 数据库*/protected function beforeDelete(){parent::beforeDelete();$this-changeConn('write');return true;}/*** 读取数据选择 从 数据库*/protected function beforeFind(){parent::beforeFind();$this-changeConn('read');return true;}/*** 获取master库对象*/public function dbWrite(){return $this-changeConn('write');}/*** 获取slave库对象*/public function dbRead(){return $this-changeConn('read');}}这是我写好的类，放在components文件夹里，然后所有的Model都继承ActiveRecord类就可以实现多库和主从读写分离了，至于如何支持原生的SQL也同时使用读写分离，此类都已经实现。希望本文所述对大家基于Yii框架的PHP程序设计有所帮助。

关于数据库读写分离实现和sql数据库读写分离的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。