知行合一
Github
顺翔的技术驿站
顺翔的技术驿站
  • README
  • ABOUTME
  • Computer Science
    • 数据结构与算法
      • 位运算以及位图
      • 随机数
      • 递归
      • 经典排序算法
      • 经典查找算法
      • 数组和动态数组
      • 链表
      • 栈和队列
      • 树
      • 哈希表
    • 计算机网络
      • 物理层
      • 数据链路层
      • 网络层
        • TCP
      • 运输层
      • 应用层
      • HTTP
        • HTTPS的原理
        • DNS详解
        • file协议
        • 邮件协议
    • 设计模式
      • 单例模式
      • 建造者模式
      • 原型模式
      • 工厂模式
      • 享元模式
      • 代理模式
      • 装饰者模式
      • 桥接模式
      • 适配器模式
      • 外观模式
      • 组合模式
      • 事件驱动
      • 有限状态机
      • 备忘录模式
      • 模板方法模式
      • 策略模式
      • 迭代器模式
      • 命令模式
      • 解释器模式
    • 加密与解密
      • 数字证书原理
      • cfssl
  • Programming Language
    • 编程语言学习要素
    • Java
      • 集合
        • List
          • ArrayList
          • Vector
          • Stack
          • LinkedList
        • Iterator
        • Set
          • HashSet
          • TreeSet
        • Map
          • HashMap
          • HashTable
          • TreeMap
          • LinkedHashMap
      • 常用API
        • 日期时间处理
        • System
        • Random
        • Arrays
        • Scanner
        • 格式化输出
      • java特性
        • java5特性
        • java8特性
        • java9特性
        • java10特性
        • java11特性
      • 并发编程
        • 线程基础
        • 线程同步:synchronized及其原理
        • 线程同步: volatile
        • 锁机制
        • 锁的分类与对应的Java实现
        • JUC:同步辅助类
        • JUC: AtomicXXX
        • 线程池
        • ThreadLocal详解
      • 测试
        • 使用JMH进行基准测试
      • JVM
        • 强引用、软引用、弱引用、虚引用
        • jvm内存模型
        • jvm优化
        • GC算法与回收器
        • 静态绑定与动态绑定
      • ORM
        • Mybatis
          • IBatis常用操作
      • Web编程
        • Servlet详解(一)
        • Servlet详解(二):request和response对象
        • Servlet详解(三):会话技术与Cookie
        • JSP详解(一):页面构成、EL表达式
        • JSP详解(二):九大内置对象
        • JavaWeb的编码问题
        • Thymeleaf
      • Velocity
      • Java日志框架总结
      • Spring
        • SpringIOC
        • SpringMVC
        • SpringBoot源码
      • 其他
        • Apache Commons Lang使用总结
        • 使用FtpClient进行ftp操作
        • Java PDF操作总结
        • Java使用zip4j进行文件压缩
        • Java解析Excel总结
    • JVM Language
      • Groovy
      • Scala
    • Kotlin
      • 变量和常量
      • 数据类型
        • 基本数据类型
        • 容器类型
        • 函数类型
        • null和null安全
      • 流程控制
      • 包
      • 面向对象
    • Golang
      • 关键字与标识符
      • 变量和常量
      • 数据类型
      • 函数
      • 常用API
        • 时间日期处理
        • 字符串操作
        • 正则表达式
      • 控制语句
      • 包package
      • 面向对象
      • 错误处理
      • 命令行编程
        • Cobra
      • 文件操作
      • 测试
      • 并发编程
        • sync包详解
      • 数据格式与编码
        • 使用encoding包操作xml
        • 使用encoding包操作json
        • 使用magiconair操作properties
        • 使用go-ini操作ini
      • 反射
      • Build Tools
        • Go Module
        • Go Vendor
      • 日志框架
        • zap日志框架
      • Web编程
        • Gin
    • JavaScript
      • 数据类型
      • ECMAScript
        • ECMAScript6
      • NodeJS
    • TypeScript
      • 变量和常量
      • 数据类型
      • 函数
      • 面向对象
      • 泛型
      • Build Tools
        • tsc编译
        • 与webpack整合
    • Python
      • BuildTools
        • requirements.txt
        • Ananconda
    • Swift
      • 变量和常量
    • Script Language
      • Regex
      • BAT
      • Shell
    • Markup Language
      • Markdown
      • Yaml
  • Build Tools
    • CMake
    • Maven
      • 搭建Nexus私服
      • maven使用场景
    • Gradle
  • Version Control
    • Git
      • Git工作流
      • Git分支管理
      • Git Stash
      • Git Commit Message规范
      • .gitttributes文件
    • SVN
  • Distributed
    • 分布式基础理论
      • 互联网架构演变
      • 架构设计思想AKF拆分原则
      • CAP理论
      • BASE理论
    • 一致性
      • 一致性模型
      • 共识算法
        • Paxos
        • Raft
        • ZAB
      • 复制
        • 主从复制
        • Quorum机制
        • Nacos Distro协议
      • 缓存一致性
        • 双写一致性
        • 多级缓存一致性
    • 事务一致性
      • Seata
      • 本地消息表实现方案
      • 关于dpad的事务问题的分析
    • IO
    • RPC协议
    • 序列化
    • Session共享
    • 分布式协调
      • Zookeeper
        • zk集群4节点搭建
    • 服务治理
      • Dubbo分布式治理
    • 分布式ID
      • 分布式ID生成策略总结
    • 分布式锁
    • 应用服务器
      • Tomcat
    • Web服务器
      • Nginx
        • Nginx的基本配置
        • ab接口压力测试工具
        • nginx模块
        • 随机访问页面
        • 替换响应内容
        • 请求限制
        • 访问控制
        • 状态监测
        • nginx应用场景
        • 代理服务
        • 负载均衡
        • 缓存
        • 静态资源服务器和动静分离
        • 附录
      • Kong
    • 缓存中间件
      • Caffeine
      • memcached
      • Redis
        • Centos下安装Redis
        • RatHat下安装Redis
    • 数据库中间件
      • ShardingSphere
      • MyCat2
    • 消息中间件
      • Kafka
      • RocketMQ
  • Microservices
    • 服务发现
      • Nacos注册中心
      • Consul
    • 配置中心
      • Apollo
    • 消息总线
    • 客户端负载均衡
    • 熔断器
    • 服务网关
    • 链路追踪
      • Skywalking
  • Domain-Specific
    • Auth
      • 有关权限设计的思考
      • 认证方式
      • JWT
    • 任务调度
      • QuartzScheduler
      • Elastic-Job
      • XXL-Job
      • PowerJob
    • 工作流
      • BPM
      • Activiti
      • Flowable
    • 规则引擎
      • Drools
  • Architect
    • DDD领域驱动设计
      • 三层架构设计
      • 四层架构设计
    • Cola
    • 代码设计与代码重构
      • 重构改变既有代码设计
      • 枚举规范化
      • 接口幂等
      • 限流
      • 历史与版本
      • 逻辑删除和唯一索引
      • 业务对象设计
    • 单元测试
      • SpringBoot单元测试实践
    • 项目管理
    • APM
      • SkyWalking
      • Arthas
    • 性能优化
      • 接口性能优化
    • 系统设计
      • 流程中台
      • 短信中台
      • 权限中台
        • 智电运维平台组织架构改造二期
  • Database
    • Oracle
      • Docker下安装oracle11g
    • IBM DB2
    • Mysql
      • 安装Mysql
      • 用户与权限管理
      • MySQL的逻辑架构
      • 存储引擎
      • 索引详解
      • MySql的列类型
      • MySql中表和列的设计
      • MySql的SQL详解
      • 锁机制
      • 事务
      • Mysql函数总结
      • MySql存储过程详解
      • MySql触发器详解
      • Mysql视图详解
      • Mysql中Sql语句的执行顺序
      • 配置MySql主从和读写分离
      • MySql的备份策略
      • MySql分库分表解决方案
      • MySql优化总结
      • MySQL实战调优
        • schema与数据类型优化
    • Mongo
  • File System
    • README
    • HDFS
    • FastDFS
    • MinIO
  • Linux
    • 常用的Linux命令
    • vim
    • Linux磁盘管理
    • Linux系统编程
    • RedHat
      • rpm包管理器具体用法
    • Ubuntu
      • Ubuntu下录制屏幕并做成gif图片
      • Ubuntu20.05LiveServe版安装
  • DevOps
    • VM
      • 新建一个新的Linux虚拟机需要配置的东西
      • VMware桥接模式配置centos
      • VMwareFusion配置Nat静态IP
    • Ansible
    • Container
      • Docker
        • Dockerfile详解
        • DockerCompose详解
      • Containerd
    • Kubernetes
      • 安装k8s
        • 使用Minikube安装k8s
        • centos7.x下使用kubeadm安装k8s1.21
        • ubuntu20下使用kubeadm安装k8s1.21
        • centos7.x下使用二进制方式安装k8s1.20
        • 使用DockerDesktop安装K8s(适用M1芯片)
      • 切换容器引擎
      • 使用k8s部署项目的流程
      • 集群维护-备份升级排错
    • Gitlab
      • GitlabCI/CD
    • CI/CD
      • ArgoCD
  • Big-Data
    • Hadoop
    • MapReduce
    • HDFS
  • Front-End
    • Android
      • Log的使用、自定义Log工具类
      • Android倒计时功能实现
      • 解决ViewDrawableLeft左侧图片大小不可控的问题
      • AndroidSQLite基本用法
      • View的生命周期
      • 工具类
      • WebView详解
      • ViewTreeObserver类监听ViewTree
      • 在onCreate中获取控件的宽高等信息的几种方法
      • View的foreground属性
        • MaterialDesign
          • BottomNavigationBar
          • CardView
          • Elevation高度、shadows阴影、clipping裁剪、tint着色
          • TouchFeedbackRipple波纹动画
      • Volley完全解析——使用、源码
      • Android围住神经猫的实现
      • LookLook剖析,架构概述——MVP、Retrofit+RxJava
      • Android性能优化之渲染
    • Browser
      • 浏览器的工作原理
    • HTML
      • DOCTYPE标签、XHTML与HTML的区别
    • CSS
      • CSS的继承性、层叠性、权重
      • CSS浮动float详解(一):标准文档流
      • CSS浮动float详解(二):使用float
      • CSS浮动float详解(三):清除浮动方案
    • Tools Lib
      • JavaScript 文件下载解决方案-download.js
      • js-url 用于url的js开源库
      • jsuri 用于操作url的js开源库
      • window offset
    • React
      • 模块化和组件
      • 组件的三大核心属性
      • 事件处理
      • 表单数据收集
      • 生命周期
      • DOM的diff算法
      • 工程化
        • 脚手架create-react-app
        • 工程结构和模块化
      • 路由
  • Design
    • 产品设计
      • 交互设计
由 GitBook 提供支持
在本页
  • 服务端角度
  • 顺序一致性 Sequential Consistency
  • 线性一致性 Linearizability
  • 因果一致性 Causal Consistency
  • 客户端角度
  • 参考和摘录

这有帮助吗?

在GitHub上编辑
  1. Distributed
  2. 一致性

一致性模型

上一页一致性下一页共识算法

最后更新于1年前

这有帮助吗?

从一般意义上,分布式一致性是指分布式系统中的多个服务节点,给定一系列操作,在约定协议的保障下,使他们对处理结果达成某种程度的一致。理想情况下,各服务节点遵循相同的协议,构成相同的处理状态机,给定相同的初始状态和输入序列,可以保障每个节点在处理过程中每个环节的结果都是相同的。

从分布式集群对外表现出的宏观特性来看,或者从Client的角度来看,可以把分布式系统的一致性分为强一致性和弱一致性(文献1)。

在强一致集群中,对任何一个节点发起请求都会得到相同的回复,但将产生相对高的延迟。而在弱一致集群中,对不同节点发起请求,可能会得到不同的回复(可能是不相同的或者未定义的值)。在排除并发写的情况下,如果存在一个时刻(不是立刻)可以让系统达到强一致的状态,这种弱一致性也叫做最终一致性, 关于最终一致性以及一致性、可用性、性能权衡取舍的原则,在首席技术官Werner的经典博文中有详细讨论(文献2)。

而从分布式系统中事件顺序(时钟顺序或者逻辑顺序)的“微观角度”来看,或者从Server端的内视角度看,分布式一致性可以有更加详细的分类。下面详细介绍如下3种一致性,他们的一致性约束由强到弱。

  • 线性一致性 Linearizability: read must see the latest write, where latest is defined in relation to the global wall clock.

  • 顺序一致性 Sequential Consistency: the global order of read and write is consistent with the program order at each node.

  • 因果一致性 Causal Consistency: only causality (or partial order) among events is preserved.

服务端角度

顺序一致性 Sequential Consistency

顺序一致性由Leslie Lamport在1979年提出(文献3),以多处理器对本机寄存器的操作为例进行描述,可以扩展到分布式系统。顺序一致性是一种较强的约束,需要满足两点要求:

  1. 所有进程看到的全局执行顺序(total order)是一致的。

  2. total order中,每个进程的执行顺序与实际发生的顺序(local order)一致。

在下例中,有两个分布式节点,分别在各自的存储介质中设置x=1和y=4。 如果集群中的所有节点看到的全局顺序都是total order1或者都是total order2,那么集群满足顺序一致性。如果集群中节点看到的全局顺序是不一致的(比如p1节点看到的是order1,而p2节点看到的是order2)或者所有节点看到的全局顺序都是total order3(全局顺序中p2的执行顺序与实际不一致),那么集群不满足顺序一致性。

注意顺序一致性实际上是限制了各线程(或者分布式节点)内指令的偏序关系,但不会按照实际物理时间进行全局排序。

顺序一致性典型的使用场景是读写分离、主从同步。集群中事件发生的顺序由主节点唯一确定,从节点按照事件顺序各自在本地进行回放,从而达成一致性。假设上例集群在时刻T,p1、p2节点都完成了y=4的set操作,那么在时刻T之后向该集群发起y值的查询,将得到一个强一致的结果;否则是弱一致的。我们可以看到顺序一致性是集群强一致的一个必要条件,而非充要条件,要实现强一致还需要leader机制、租约机制、ACK机制等等的工程设计。

线性一致性 Linearizability

线性一致性,也叫原子一致性或严格一致性,由Maurice P. Herlihy和Jeannette M. Wing在1990年共同提出(文献4),是对顺序一致性的加强。需要满足两点要求:

  1. 所有线程看到的全局执行顺序是一致的。除了顺序一致性中要求的线程内部操作时序不变之外,线程间的操作执行先后顺序也需要保持不变。

  2. 全局执行顺序中,对每一个对象的操作顺序是合法的。

实际上所有操作都包括一个调用(invocation)事件和一个返回(response)事件,如果操作A的返回事件先于操作B的调用事件发生,就认为操作A和操作B是线性的,并且A在B之前。如果A不在B之前并且B也不在A之前,那么A和B就是并行的。下图中红色连线表示的线性关系需要在全局执行顺序中保留。而对于并行操作(比如op2和op6)在全局执行顺序的先后是不确定的,但要受到合法性的约束。下图中order1,2,3都是可选的全局执行顺序。

关于合法性,不同类型的对象有不同的顺序性说明(Sequential specification), 顺序性说明描述了一个对象所有可能的顺序行为,即合法顺序。比如对于一个栈类型的对象,出栈操作先于入栈操作就是一个非法顺序。而对于一个value读写系统而言,操作顺序的合法性要求是:

  1. 在并发场景下,一个线程对共享变量的操作能立即被其他线程感知。

  2. 任何一个读操作返回新值后,所有后续读操作也必须返回新值。

如例2中,由于读操作op2,4,5和写操作op6是并发操作,所以读到的值是不确定的,但如果op4读到的值是1,op2读到的是0,op5读到又是1,就不满足合法性要求,造成这种情况的原因是操作是持续性(非原子性)的,并且操作的并发的。不难发现,我们只要保证操作是原子和瞬时的,就可以保证操作顺序的合法性。所以在value读写系统中,线性一致性可以被特化为:

  1. 全局有序;

  2. 任何操作都需要在调用和返回之间原子和瞬间执行。

线性一致性是分布式系统中最严格的一致性定义。全局有序的约束实际上是隐含了要求系统中有一个全局时钟。全局时钟要么用高精度的硬件计时器实现,要么使用复杂度比较高的算法来实现全局逻辑时钟,整体上实现成本很高。但是同时线性一致性系统具备locality和nonblocking的特点,可以大大简化模块设计和开发的工作。

因果一致性 Causal Consistency

因果一致遵守以下条件:因果相关的写操作应对所有线程可见,且顺序一致。而因果条件下的并发写操作在不同线程看来顺序可能是不同的。一般用happen-before关系来指代因果关系,happen-before关系是Leslie Lamport在1978提出的(文献5)。所谓happen-before关系是指:

  1. 如果a和b是同一个线程中的事件,并且a在b之前发生,则a-> b

  2. a事件是一个线程发送请求,b事件是另一个线程接收请求,则a-> b

  3. 如果a->b并且b-> c,则a->c,即偏序的传递性

happen-before关系可以构成一个执行路径,如下图中的c(1,p1)->c(2,p2)->c(3,p2)。如果无法找到一个路径连接两个点,则这个两个点是并发关系,比如例3中的c(2,p1)和c(3,p2)以及c(4,p2)和c(4,p3)。

happen-before关系描述的是一个信息传递关系,和物理时钟没有直接关系。比如c(2,p1)在时间上早于c(3,p2)发生,但是在happen-before意义下他们是并行的。和顺序一致性一样,因果一致性也是一种偏序关系,但是在因果一致性系统不存在全局执行顺序,各线程中观察到的存在happen-before关系的事件先后顺序是一致的,但不保证并行事件的顺序。比如例3中所有线程都能够观察到op1发生在op4和op5之前,但是不同线程观察到的op4和op5的顺序可能不一致。

具体可以采用递增ID来表示因果顺序:

  1. 每个线程内的事件ID是递增的,新发生的事件ID大于当前本线程内所有ID。如例3中p1线程内的ID号是1,2,5,6。

  2. 接收到其他线程的消息后,在本线程内生成一个消息接收事件,接收事件的ID要大于发送事件的ID。比如例3中线程p2接收到了来自p1的消息op1。p2中接收消息的事件ID为2,大于p1中发送消息的事件ID 1。

  3. 当接收到来自不同线程的但是事件ID相同的消息后,需要在本地对消息进行排序。

因果一致性系统常用于问答或者评论系统中,要求问先于答,原文先于评论。我们把例3中的p1,2,3设想为三个IDC,独立的为本地域的用户提供服务。p1 IDC的用户提出了一个问题op1,p2和p3 IDC的用户独立进行了回答,所有IDC的用户一定可以先看到问题,但是看到回答的顺序是不确定的,而从业务的角度回答的顺序也并不重要。

客户端角度

除了面向服务端的一致性模型以外,还有 面向客户端的一致性模型:它们是从单个客户端的视角出发,要求系统对同一个客户端先后发起的读写操作提供特定的一致性保证。

面向客户端的一致性模型包括 4 种:

  • 单调读一致(Monotonic Reads):客户端后续发起的 读操作 能够感知到先前 读取到的或更新的版本

  • 写读一致(Read Your Writes):客户端后续发起的 读操作 能够感知到先前 写入 的或更新的版本

  • 读写一致(Writes Follow Reads):客户端后续发起的 写操作 能够感知到先前 读取到或更新的版本

  • 单调写一致(Monotonic Writes):客户端后续发起的 写操作 能够感知到先前 写入的或更新的版本

参考和摘录

分布式一致性概述
分布式一致性模型介绍
http://Amazon.com