知行合一
Github
顺翔的技术驿站
顺翔的技术驿站
  • README
  • ABOUTME
  • Computer Science
    • 数据结构与算法
      • 位运算以及位图
      • 随机数
      • 递归
      • 经典排序算法
      • 经典查找算法
      • 数组和动态数组
      • 链表
      • 栈和队列
      • 树
      • 哈希表
    • 计算机网络
      • 物理层
      • 数据链路层
      • 网络层
        • TCP
      • 运输层
      • 应用层
      • HTTP
        • HTTPS的原理
        • DNS详解
        • file协议
        • 邮件协议
    • 设计模式
      • 单例模式
      • 建造者模式
      • 原型模式
      • 工厂模式
      • 享元模式
      • 代理模式
      • 装饰者模式
      • 桥接模式
      • 适配器模式
      • 外观模式
      • 组合模式
      • 事件驱动
      • 有限状态机
      • 备忘录模式
      • 模板方法模式
      • 策略模式
      • 迭代器模式
      • 命令模式
      • 解释器模式
    • 加密与解密
      • 数字证书原理
      • cfssl
  • Programming Language
    • 编程语言学习要素
    • Java
      • 集合
        • List
          • ArrayList
          • Vector
          • Stack
          • LinkedList
        • Iterator
        • Set
          • HashSet
          • TreeSet
        • Map
          • HashMap
          • HashTable
          • TreeMap
          • LinkedHashMap
      • 常用API
        • 日期时间处理
        • System
        • Random
        • Arrays
        • Scanner
        • 格式化输出
      • java特性
        • java5特性
        • java8特性
        • java9特性
        • java10特性
        • java11特性
      • 并发编程
        • 线程基础
        • 线程同步:synchronized及其原理
        • 线程同步: volatile
        • 锁机制
        • 锁的分类与对应的Java实现
        • JUC:同步辅助类
        • JUC: AtomicXXX
        • 线程池
        • ThreadLocal详解
      • 测试
        • 使用JMH进行基准测试
      • JVM
        • 强引用、软引用、弱引用、虚引用
        • jvm内存模型
        • jvm优化
        • GC算法与回收器
        • 静态绑定与动态绑定
      • ORM
        • Mybatis
          • IBatis常用操作
      • Web编程
        • Servlet详解(一)
        • Servlet详解(二):request和response对象
        • Servlet详解(三):会话技术与Cookie
        • JSP详解(一):页面构成、EL表达式
        • JSP详解(二):九大内置对象
        • JavaWeb的编码问题
        • Thymeleaf
      • Velocity
      • Java日志框架总结
      • Spring
        • SpringIOC
        • SpringMVC
        • SpringBoot源码
      • 其他
        • Apache Commons Lang使用总结
        • 使用FtpClient进行ftp操作
        • Java PDF操作总结
        • Java使用zip4j进行文件压缩
        • Java解析Excel总结
    • JVM Language
      • Groovy
      • Scala
    • Kotlin
      • 变量和常量
      • 数据类型
        • 基本数据类型
        • 容器类型
        • 函数类型
        • null和null安全
      • 流程控制
      • 包
      • 面向对象
    • Golang
      • 关键字与标识符
      • 变量和常量
      • 数据类型
      • 函数
      • 常用API
        • 时间日期处理
        • 字符串操作
        • 正则表达式
      • 控制语句
      • 包package
      • 面向对象
      • 错误处理
      • 命令行编程
        • Cobra
      • 文件操作
      • 测试
      • 并发编程
        • sync包详解
      • 数据格式与编码
        • 使用encoding包操作xml
        • 使用encoding包操作json
        • 使用magiconair操作properties
        • 使用go-ini操作ini
      • 反射
      • Build Tools
        • Go Module
        • Go Vendor
      • 日志框架
        • zap日志框架
      • Web编程
        • Gin
    • JavaScript
      • 数据类型
      • ECMAScript
        • ECMAScript6
      • NodeJS
    • TypeScript
      • 变量和常量
      • 数据类型
      • 函数
      • 面向对象
      • 泛型
      • Build Tools
        • tsc编译
        • 与webpack整合
    • Python
      • BuildTools
        • requirements.txt
        • Ananconda
    • Swift
      • 变量和常量
    • Script Language
      • Regex
      • BAT
      • Shell
    • Markup Language
      • Markdown
      • Yaml
  • Build Tools
    • CMake
    • Maven
      • 搭建Nexus私服
      • maven使用场景
    • Gradle
  • Version Control
    • Git
      • Git工作流
      • Git分支管理
      • Git Stash
      • Git Commit Message规范
      • .gitttributes文件
    • SVN
  • Distributed
    • 分布式基础理论
      • 互联网架构演变
      • 架构设计思想AKF拆分原则
      • CAP理论
      • BASE理论
    • 一致性
      • 一致性模型
      • 共识算法
        • Paxos
        • Raft
        • ZAB
      • 复制
        • 主从复制
        • Quorum机制
        • Nacos Distro协议
      • 缓存一致性
        • 双写一致性
        • 多级缓存一致性
    • 事务一致性
      • Seata
      • 本地消息表实现方案
      • 关于dpad的事务问题的分析
    • IO
    • RPC协议
    • 序列化
    • Session共享
    • 分布式协调
      • Zookeeper
        • zk集群4节点搭建
    • 服务治理
      • Dubbo分布式治理
    • 分布式ID
      • 分布式ID生成策略总结
    • 分布式锁
    • 应用服务器
      • Tomcat
    • Web服务器
      • Nginx
        • Nginx的基本配置
        • ab接口压力测试工具
        • nginx模块
        • 随机访问页面
        • 替换响应内容
        • 请求限制
        • 访问控制
        • 状态监测
        • nginx应用场景
        • 代理服务
        • 负载均衡
        • 缓存
        • 静态资源服务器和动静分离
        • 附录
      • Kong
    • 缓存中间件
      • Caffeine
      • memcached
      • Redis
        • Centos下安装Redis
        • RatHat下安装Redis
    • 数据库中间件
      • ShardingSphere
      • MyCat2
    • 消息中间件
      • Kafka
      • RocketMQ
  • Microservices
    • 服务发现
      • Nacos注册中心
      • Consul
    • 配置中心
      • Apollo
    • 消息总线
    • 客户端负载均衡
    • 熔断器
    • 服务网关
    • 链路追踪
      • Skywalking
  • Domain-Specific
    • Auth
      • 有关权限设计的思考
      • 认证方式
      • JWT
    • 任务调度
      • QuartzScheduler
      • Elastic-Job
      • XXL-Job
      • PowerJob
    • 工作流
      • BPM
      • Activiti
      • Flowable
    • 规则引擎
      • Drools
  • Architect
    • DDD领域驱动设计
      • 三层架构设计
      • 四层架构设计
    • Cola
    • 代码设计与代码重构
      • 重构改变既有代码设计
      • 枚举规范化
      • 接口幂等
      • 限流
      • 历史与版本
      • 逻辑删除和唯一索引
      • 业务对象设计
    • 单元测试
      • SpringBoot单元测试实践
    • 项目管理
    • APM
      • SkyWalking
      • Arthas
    • 性能优化
      • 接口性能优化
    • 系统设计
      • 流程中台
      • 短信中台
      • 权限中台
        • 智电运维平台组织架构改造二期
  • Database
    • Oracle
      • Docker下安装oracle11g
    • IBM DB2
    • Mysql
      • 安装Mysql
      • 用户与权限管理
      • MySQL的逻辑架构
      • 存储引擎
      • 索引详解
      • MySql的列类型
      • MySql中表和列的设计
      • MySql的SQL详解
      • 锁机制
      • 事务
      • Mysql函数总结
      • MySql存储过程详解
      • MySql触发器详解
      • Mysql视图详解
      • Mysql中Sql语句的执行顺序
      • 配置MySql主从和读写分离
      • MySql的备份策略
      • MySql分库分表解决方案
      • MySql优化总结
      • MySQL实战调优
        • schema与数据类型优化
    • Mongo
  • File System
    • README
    • HDFS
    • FastDFS
    • MinIO
  • Linux
    • 常用的Linux命令
    • vim
    • Linux磁盘管理
    • Linux系统编程
    • RedHat
      • rpm包管理器具体用法
    • Ubuntu
      • Ubuntu下录制屏幕并做成gif图片
      • Ubuntu20.05LiveServe版安装
  • DevOps
    • VM
      • 新建一个新的Linux虚拟机需要配置的东西
      • VMware桥接模式配置centos
      • VMwareFusion配置Nat静态IP
    • Ansible
    • Container
      • Docker
        • Dockerfile详解
        • DockerCompose详解
      • Containerd
    • Kubernetes
      • 安装k8s
        • 使用Minikube安装k8s
        • centos7.x下使用kubeadm安装k8s1.21
        • ubuntu20下使用kubeadm安装k8s1.21
        • centos7.x下使用二进制方式安装k8s1.20
        • 使用DockerDesktop安装K8s(适用M1芯片)
      • 切换容器引擎
      • 使用k8s部署项目的流程
      • 集群维护-备份升级排错
    • Gitlab
      • GitlabCI/CD
    • CI/CD
      • ArgoCD
  • Big-Data
    • Hadoop
    • MapReduce
    • HDFS
  • Front-End
    • Android
      • Log的使用、自定义Log工具类
      • Android倒计时功能实现
      • 解决ViewDrawableLeft左侧图片大小不可控的问题
      • AndroidSQLite基本用法
      • View的生命周期
      • 工具类
      • WebView详解
      • ViewTreeObserver类监听ViewTree
      • 在onCreate中获取控件的宽高等信息的几种方法
      • View的foreground属性
        • MaterialDesign
          • BottomNavigationBar
          • CardView
          • Elevation高度、shadows阴影、clipping裁剪、tint着色
          • TouchFeedbackRipple波纹动画
      • Volley完全解析——使用、源码
      • Android围住神经猫的实现
      • LookLook剖析,架构概述——MVP、Retrofit+RxJava
      • Android性能优化之渲染
    • Browser
      • 浏览器的工作原理
    • HTML
      • DOCTYPE标签、XHTML与HTML的区别
    • CSS
      • CSS的继承性、层叠性、权重
      • CSS浮动float详解(一):标准文档流
      • CSS浮动float详解(二):使用float
      • CSS浮动float详解(三):清除浮动方案
    • Tools Lib
      • JavaScript 文件下载解决方案-download.js
      • js-url 用于url的js开源库
      • jsuri 用于操作url的js开源库
      • window offset
    • React
      • 模块化和组件
      • 组件的三大核心属性
      • 事件处理
      • 表单数据收集
      • 生命周期
      • DOM的diff算法
      • 工程化
        • 脚手架create-react-app
        • 工程结构和模块化
      • 路由
  • Design
    • 产品设计
      • 交互设计
由 GitBook 提供支持
在本页
  • 数据库事务的概念
  • 分布式事务的概念
  • 如何解决分布式事务的问题?解决思路是什么呢?
  • 分布式事务的XA规范
  • 什么是两阶段提交协议?
  • 两阶段提交有什么缺点?如何解决这些缺点?
  • 什么是三阶段提交协议?
  • 什么是TCC(Try Confirm/Cancel)解决方案?
  • 使用事件表+定时任务+消息队列来解决分布式事务的问题
  • 最大努力通知方案

这有帮助吗?

在GitHub上编辑
  1. Distributed

事务一致性

上一页多级缓存一致性下一页Seata

最后更新于1年前

这有帮助吗?

数据库事务的概念

数据库事务:多个操作可以被视作一个完整的逻辑处理单元,要么全部执行,要么全部不执行,是不可分割的工作单元。

事务具有ACID的特性:

  • 原子性:日志保证,undolog

  • 一致性:锁保证

  • 隔离性:锁保证

  • 持久性:日志保证,redolog

事务是为了保证一致性产生的,AID是方式,C是目的。

分布式事务的概念

涉及到多个数据库、多个服务时,多个库、多个服务之间就会存在数据一致性的问题,这种事务就是分布式事务。

如何解决分布式事务的问题?解决思路是什么呢?

分布式事务问题实际上就是分布式系统下的数据一致性问题。根据CAP和BASE理论解决一致性问题一般有强一致性与最终一致性方案。

强一致性方案比较适合对一致性的实时性要求高、性能要求较低的场景下;而最终一致性方案,则适合系统对性能的要求较高,实时性要求比较叫低的场景。

强一致性的场景下,通常会引入一个事务协调者,监控所有分支事务的运行状态。通常,所有分支事务会想进行”彩排“,彩排的目的是提高事务的成功概率,如果彩排成功,就会对所有分支事务提交,否则会通知所有的分支事务回滚。

而最终一致性方案因为对实时性要求比较低,解决方案就相对比较多。

方案名称
一致性
描述

XA规范

强一致性

2PC协议

强一致性

3PC协议

强一致性

TCC

最终一致性

先进行资源预留,成功提交,失败取消资源预留

Saga

最终一致性

提交时从前往后提交,回滚时从后往前做补偿操作

事件驱动

最终一致性

前一个事务提交成功后会发送事件给下一个事务,依次驱动到最后一个事务

事件表+定时任务+消息队列

最终一致性

事件驱动的优化,存储分支事务事件到事件表,并通过定时任务发送事件到其他服务处理分支事务

本地消息表

最终一致性

在主事务中记录分支事务的消息状态,然后向分支事务发送消息,根据所有消息的状态可对事务进行完成或回滚的操作

最大努力通知方案

最终一致性

事务处理失败重复尝试知道成功为止、事务处理失败通过其他查询接口对其数据(支付对账)

分布式事务的XA规范

根据分布式事务的解决思路,就衍生出了XA规范。XA规范定义了事务协调者与数据库之间的规范,事务协调者用于通知数据库的开始、结束以及提交、回滚等。

上图中,TM就是协调者,RM是数据库,AP是应用程序。XA接口函数由数据库厂商提供。

分布式集群情况下,一般增加代理层来充当TM的角色,实现对事物的支持,由XA规范,引申出了:

  • 2PC,两阶段提交

  • 3PC,三阶段提交(几乎没有人用)

什么是两阶段提交协议?

两阶段提交分为两个阶段:

  1. 第一阶段为投票阶段,事务协调者开启事务,让参与事务的各方进行执行演练,并收集执行结果

  2. 第二阶段为提交/回滚阶段,如果有所有方都投票成功,就会通知所有方进行提交。如果有任何一方投票失败,或者连接不通,就会通知所有方进行回滚。

两阶段提交可以尽可能的保证数据的一致性。

两阶段提交有什么缺点?如何解决这些缺点?

  • 单点故障

    • 协调者发生故障

    • 解决方案:协调者改为集群部署

  • 阻塞资源

    • 占用数据库连接,性能低

    • 解决方案:在一阶段的时候,直接提交事务,并记录提交前的数据状态。等到二阶段,如果成功,那就不用通知了。如果失败,将数据回滚到记录的上个状态中(Alibaba seata AT模式 就是这么做的,他通过undolog来完成的)。

  • 数据不一致仍有可能发生

    • 当演练成功后,通知所有的服务,这个阶段有可能通讯失败,就造成了数据不一致的情况。

    • 解决方案:使用脚本检查异常情况,自动回滚

什么是三阶段提交协议?

有了两阶段提交,为什么还需要三阶段提交协议?

  1. 事务参与者如果本身就不符合执行条件,如果继续开启事务执行sql,会占用数据库连接,造成性能损失。故在三阶段提交中,增加can commit阶段,用于校验参与者是否可以提交,如果不可以,直接不开启事务。

  2. 为参与者提供超时机制,也就是在do commit阶段,做更好的容错处理,提高事务成功的概率。

三阶段提交分为三个阶段,分别是:

  1. can commit:校验所有参与者是否可进行提交操作

    1. 如果反馈结果为成功,进行pre commit阶段

    2. 如果有反馈结果为失败,执行 abort commit,事务直接会被取消。can commit返回失败的情况包含:

      1. 参与者返回no

      2. 协调者等待超时(包含参与者没有收到指令的情况)

  2. pre commit:同二阶段第一个相同,执行sql

    1. 如果反馈结果为成功,进行do commit阶段

    2. 如果有反馈结果为失败,执行 abort commit,并会进行数据回滚

  3. do commit:提交事务

参与者视角,可能发生超时的情况:

  1. can commit指令阶段,参与者不存咋超时情况

  2. 参与者在收到can commit指令后并回复,但是没有收到pre commit指令或abort commit指令,这时会执行回滚操作

  3. 参与者在收到pre commit指令后并回复,但是没有收到do commit指令或abort commit指令,这时候会直接执行提交操作(这是一个概率问题,前两个阶段的校验已经通过,后续大概率是会成功的,所以直接提交事务较为合适)。

什么是TCC(Try Confirm/Cancel)解决方案?

TCC可以解决两个数据方的数据同步问题,比如Mysql和Redis的数据同步问题:

  1. Try阶段,张三转账100元,将余额字段减去100,但是冻结字段增加100。而李四的冻结字段会加上100。

  2. 如果Try阶段成功,会执行Confirm,这时张三的冻结字段减100,李四的冻结字段减100,但是余额增加一百。

  3. 如果Try阶段失败,会执行Cancel,这时张三的冻结字段减100,余额增加100,恢复到了之前的状态,而李四的冻结字段减去了100,也恢复到了之前的状态。

所谓TCC就是给整个流程执行的过程中,增加一个中间的冻结态,如果操作失败,都可以根据中间台进行逆操作,从而恢复之前的状态。

使用事件表+定时任务+消息队列来解决分布式事务的问题

优点和缺点:

  1. 系统的可用性高,异步处理,接口的响应速度快

  2. 相应的,所有事件的处理是通过消息传递的,有可能发生数据一致性的问题,只能尽可能保证最终一致性

最大努力通知方案

支付回调,有可能发生回调失败的情况,可以增加重试次数。 并且,支付接口通常会提供查询接口,查询出已提交的支付信息的支付状态:

  1. 重复通知机制

  2. 消息校对机制