皮皮网
皮皮网

【起源引擎源码分析】【python线性回归源码】【压缩照片源码】aqs 源码分析

时间:2024-12-27 16:19:32 来源:moda手游源码

1.33张解析ReentrantReadWriteLock源码
2.Java并发系列 | Semaphore源码分析
3.AQS简简单单过一遍
4.硬核干货:4W字从源码上分析JUC线程池ThreadPoolExecutor的码分实现原理
5.ReentrantLock 源码解析 | 京东云技术团队
6.后端面经-JavaAQS详解

aqs 源码分析

33张解析ReentrantReadWriteLock源码

       今天,我们深入探讨ReentrantReadWriteLock源码,码分解析其内部结构与工作原理。码分文章分为多个部分,码分逐一剖析读写锁的码分创建、获取与释放过程。码分起源引擎源码分析

       读写锁规范与实现

       ReentrantReadWriteLock(简称RRW)作为读写锁,码分其核心功能在于控制并发访问的码分读与写操作。为了规范读写锁的码分使用,RRW首先声明了ReadWriteLock接口,码分并通过ReadLock与WriteLock实现接口,码分确保读锁与写锁的码分正确操作。

       为了实现锁的码分基本功能,WriteLock与ReadLock都继承了Lock接口。码分这些类内部依赖于AQS(AbstractQueuedSynchronizer)抽象类,码分AQS为加锁和解锁过程提供了统一的模板函数,简化了锁实现的复杂性。

       核心组件与流程

       AQS提供了一套多线程访问共享资源的同步模板,包括tryAcquire、release等核心抽象函数。WriteLock与ReadLock通过继承Sync类,实现了AQS中的tryAcquire、release(写锁)和tryAcquireShared、tryReleaseShared(读锁)函数。

       Sync类在ReentrantReadWriteLock中扮演关键角色,它不仅实现了AQS的抽象函数,还通过位运算优化了读写锁状态的存储,减少了资源消耗。此外,Sync类还定义了HoldCounter与ThreadLocalHoldCounter,进一步管理锁的状态与操作。

       公平与非公平策略

       为了适应不同场景的需求,ReentrantReadWriteLock支持公平与非公平策略。通过Sync类的FairSync与NonfairSync子类,实现了读锁与写锁的阻塞控制。公平策略确保了线程按顺序获取锁,而非公平策略允许各线程独立竞争。

       全局图与细节解析

       文章最后,构建了一张全局图,清晰展示了ReentrantReadWriteLock的各个组件及其相互关系。通过深入细节,分别解释了读写锁的创建、获取与释放过程。以Lock接口的lock与unlock方法为主线,追踪了从Sync类出发的实现路径,包括tryAcquire、tryRelease等核心函数,以及它们在流程图中的表现。

       总结,ReentrantReadWriteLock通过继承AQS并扩展公平与非公平策略,实现了高效、灵活的读写锁功能。通过精心设计的Sync类及其相关组件,确保了多线程环境下的并发控制与资源访问优化。深入理解其内部实现,有助于在实际项目中更好地应用读写锁,python线性回归源码提升并发性能与系统稳定性。

Java并发系列 | Semaphore源码分析

       在Java并发编程中,Semaphore(信号量)是AQS共享模式的实用工具,它能够控制多个线程对共享资源的并发访问,实现流量控制。Semaphore的核心概念是“许可证”,类似于公共汽车票,只有获取到票的线程才能进行操作。许可证数量有限,当数量耗尽时,后续线程需要等待,直到有线程释放其许可证。Semaphore构造器接受初始许可证数量,可以选择公平或非公平的获取方式。

       Semaphore提供了获取和释放许可证的API,默认每次操作一个许可证。获取许可证有直接和尝试两种方式,直接获取可能阻塞,而尝试不会。acquire方法内部调用的是AQS的acquireSharedInterruptibly,它会尝试公平或非公平地获取,并在获取失败时决定是否阻塞。释放许可证则直接调用AQS的releaseShared方法,通过自旋循环确保同步状态的正确更新。

       Semaphore的应用广泛,本文通过实现一个简单的数据库连接池,展示了Semaphore如何控制连接的并发使用。连接池初始化时创建固定数量的连接,每次线程请求连接时需要获取许可证,释放连接时则释放许可证。测试结果验证了Semaphore有效管理连接并发并确保了流量控制。

       代码示例与测试结果表明,Semaphore通过控制许可证数量,确保了资源使用的合理调度,当连接池中所有连接被占用,后续请求将被阻塞,直到有连接被释放。这清楚地展示了Semaphore在并发控制中的作用。

AQS简简单单过一遍

       回顾前面,AQS的概念被引入,虽然在面试题中有所接触,但对其具体含义并不明晰。本篇内容旨在普及AQS的相关知识,至少能对其概念有一个清晰的认识。

       AQS是java.util.concurrent包下核心类AbstractQueuedSynchronizer的缩写。它作为基础,支撑了诸如ReentrantLock、ReentrantReadWriteLock等锁的实现。

       通读AbstractQueuedSynchronizer的注释,可以总结出它主要包含状态和队列两个关键元素。AQS通过volatile关键字保证状态的线程可见性,使用CAS算法修改状态值。状态值表示锁的持有情况。

       AQS中的队列被称为CLH队列,是压缩照片源码一个双向队列,用于管理等待获取锁的线程。队列的组成包括节点结构,每个节点包含状态值、前驱和后继节点的引用。

       在AQS中,acquire和release方法负责获取和释放锁。acquire方法尝试获取锁,若失败,将线程插入等待队列;在队列中,线程会根据前置节点状态判断是否继续获取,直到获取锁或被中断。release方法唤醒后继节点,若后继节点满足释放条件,则唤醒;否则,从队列尾部向前寻找合适的节点,唤醒符合条件的节点。

       总结而言,AQS是通过状态和队列机制管理锁的获取和释放,支持线程的等待和唤醒,实现线程安全的同步操作。有兴趣的读者可以深入源码和相关资源进行学习,本文旨在提供一个简单的概览。

硬核干货:4W字从源码上分析JUC线程池ThreadPoolExecutor的实现原理

       深入剖析JUC线程池ThreadPoolExecutor的执行核心

       早有计划详尽解读ThreadPoolExecutor的源码,因事务繁忙未能及时整理。在之前的文章中,我们曾提及Doug Lea设计的Executor接口,其顶层方法execute()是线程池扩展的基础。本文将重点关注ThreadPoolExecutor#execute()的实现,结合简化示例,逐步解析。

       ThreadPoolExecutor的核心功能包括固定的核心线程、额外的非核心线程、任务队列和拒绝策略。它的设计巧妙地运用了JUC同步器框架AbstractQueuedSynchronizer(AQS),以及位操作和CAS技术。以核心线程为例,设计上允许它们在任务队列满时阻塞,或者在超时后轮询,而非核心线程则在必要时创建。

       创建ThreadPoolExecutor时,我们需要指定核心线程数、最大线程数、任务队列类型等。当核心线程和任务队列满载时,会尝试添加额外线程处理新任务。线程池的状态控制至关重要,通过整型变量ctl进行管理和状态转换,如RUNNING、SHUTDOWN、STOP等,状态控制机制包括工作线程上限数量的位操作。

       接下来,我们深入剖析execute()方法。首先,方法会检查线程池状态和工作线程数量,微信ip源码确保在需要时添加新线程。这里涉及一个疑惑:为何需要二次检查?这主要是为了处理任务队列变化和线程池状态切换。任务提交流程中,addWorker()方法负责创建工作线程,其内部逻辑复杂,包含线程中断和适配器Worker的创建。

       Worker内部类是线程池核心,它继承自AQS,实现Runnable接口。Worker的构造和run()方法共同确保任务的执行,同时处理线程中断和生命周期的终结。getTask()方法是工作线程获取任务的关键,它会检查任务队列状态和线程池大小,确保资源的有效利用。

       线程池关闭操作通过shutdown()、shutdownNow()和awaitTermination()方法实现,它们涉及线程中断、任务队列清理和状态更新等步骤,以确保线程池的有序退出。在这些方法中,可重入锁mainLock和条件变量termination起到了关键作用,保证了线程安全。

       ThreadPoolExecutor还提供了钩子方法,允许开发者在特定时刻执行自定义操作。除此之外,它还包含了监控统计、任务队列操作等实用功能,每个功能的实现都是对execute()核心逻辑的扩展和优化。

       总的来说,ThreadPoolExecutor的execute()方法是整个线程池的核心,它的实现原理复杂而精细。后续将陆续分析ExecutorService和ScheduledThreadPoolExecutor的源码,深入探讨线程池的扩展和调度机制。敬请关注,期待下文的详细解析。

ReentrantLock 源码解析 | 京东云技术团队

       并发指同一时间内进行了多个线程。并发问题是多个线程对同一资源进行操作时产生的问题。通过加锁可以解决并发问题,ReentrantLock 是锁的一种。

       1 ReentrantLock

       1.1 定义

       ReentrantLock 是 Lock 接口的实现类,可以手动的对某一段进行加锁。ReentrantLock 可重入锁,具有可重入性,并且支持可中断锁。其内部对锁的控制有两种实现,一种为公平锁,另一种为非公平锁.

       1.2 实现原理

       ReentrantLock 的实现原理为 volatile+CAS。想要说明 volatile 和 CAS 首先要说明 JMM。

       1.2.1 JMM

       JMM (java 内存模型 Java Memory Model 简称 JMM) 本身是一个抽象的概念,并不在内存中真实存在的,它描述的是一组规范或者规则,通过这组规范定义了程序中各个变量的访问方式.

       由于 JMM 运行的程序的实体是线程。而每个线程创建时 JMM 都会为其创建一个自己的工作内存 (栈空间), 工作内存是每个线程的私有数据区域。而 java 内存模型中规定所有的变量都存储在主内存中,主内存是java源码分析解读共享内存区域,所有线程都可以访问,但线程的变量的操作 (读取赋值等) 必须在自己的工作内存中去进行,首先要将变量从主存拷贝到自己的工作内存中,然后对变量进行操作,操作完成后再将变量操作完后的新值写回主内存,不能直接操作主内存的变量,各个线程的工作内存中存储着主内存的变量拷贝的副本,因不同的线程间无法访问对方的工作内存,线程间的通信必须在主内存来完成。

       如图所示:线程 A 对变量 A 的操作,只能是从主内存中拷贝到线程中,再写回到主内存中。

       1.2.2 volatile

       volatile 是 JAVA 的关键字用于修饰变量,是 java 虚拟机的轻量同步机制,volatile 不能保证原子性。 作用:

       作用:CAS 会使用现代处理器上提供的高效机器级别原子指令,这些原子指令以原子方式对内存执行读 - 改 - 写操作。

       1.2.4 AQSAQS 的全称是 AbstractQueuedSynchronizer(抽象的队列式的同步器),AQS 定义了一套多线程访问共享资源的同步器框架。

       AQS 主要包含两部分内容:共享资源和等待队列。AQS 底层已经对这两部分内容提供了很多方法。

       2 源码解析

       ReentrantLock 在包 java.util.concurrent.locks 下,实现 Lock 接口。

       2.1 lock 方法

       lock 分为公平锁和非公平锁。

       公平锁:

       非公平锁:上来先尝试将 state 从 0 修改为 1,如果成功,代表获取锁资源。如果没有成功,调用 acquire。state 是 AQS 中的一个由 volatile 修饰的 int 类型变量,多个线程会通过 CAS 的方式修改 state,在并发情况下,只会有一个线程成功的修改 state。

       2.2 acquire 方法

       acquire 是一个业务方法,里面并没有实际的业务处理,都是在调用其他方法。

       2.3 tryAcquire 方法

       tryAcquire 分为公平和非公平两种。

       公平:

       非公平:

       2.4 addWaiter 方法

       在获取锁资源失败后,需要将当前线程封装为 Node 对象,并且插入到 AQS 队列的末尾。

       2.5 acquireQueued 方法

       2.6 unlock 方法

       释放锁资源,将 state 减 1, 如果 state 减为 0 了,唤醒在队列中排队的 Node。

       3 使用实例

       3.1 公平锁

       1. 代码:

       2. 执行结果:

       3. 小结:

       公平锁可以保证每个线程获取锁的机会是相等的。

       3.2 非公平锁

       1. 代码:

       2. 执行结果:

       3. 小结:

       非公平锁每个线程获取锁的机会是随机的。

       3.3 忽略重复操作

       1. 代码:

       2. 执行结果:

       3. 小结:

       当线程持有锁时,不会重复执行,可以用来防止定时任务重复执行或者页面事件多次触发时不会重复触发。

       3.4 超时不执行

       1. 代码:

       2. 执行结果:

       3. 小结:

       超时不执行可以防止由于资源处理不当长时间占用资源产生的死锁问题。

       4 总结

       并发是现在软件系统不可避免的问题,ReentrantLock 是可重入的独占锁,比起 synchronized 功能更加丰富,支持公平锁实现,支持中断响应以及限时等待等,是处理并发问题很好的解决方案。

后端面经-JavaAQS详解

       AQS是什么?

       AQS定义了一套多线程访问共享资源的同步器框架,许多同步类实现都依赖于它,如常用的ReentrantLock。简单来说,AQS定义了一套框架,来实现同步类。

       AQS的核心思想是对于共享资源,维护一个双端队列来管理线程,队列中的线程依次获取资源,获取不到的线程进入队列等待,直到资源释放,队列中的线程依次获取资源。AQS的基本框架如图所示:

       资源state变量表示共享资源,通常是int类型。CLH双向队列是一种基于逻辑队列非线程饥饿的自旋公平锁,具体介绍可参考此篇博客。CLH中每个节点都表示一个线程,处于头部的节点获取资源,而其他资源则等待。Node的方法和属性值如图所示:其中,

       一般来说,一个同步器是资源独占模式或者资源共享模式的其中之一,因此tryAcquire(int)和tryAcquireShared(int)只需要实现一个即可,tryRelease(int)和tryReleaseShared(int)同理。但是同步器也可以实现两种模式的资源获取和释放,从而实现独占和共享两种模式。

       acquire(int)是获取资源的顶层入口,tryAcquire(int)是获取资源的方法,需要自定义同步器实现。addWaiter(Node.EXCLUSIVE)是将线程加入等待队列的尾部,acquireQueued(Node node, int arg)将线程阻塞在等待队列中,直到获取到资源后才返回。

       release(int)是释放资源的顶层入口方法,tryRelease(int)是释放资源的方法,需要自定义同步器自己实现。unparkSuccessor(h)是唤醒后继节点的方法。

       acquireShared(int)和releaseShared(int)是使用共享模式获取共享资源的顶层入口方法,tryAcquireShared(arg)是获取共享资源的方法,doAcquireShared(arg)将线程阻塞在等待队列中,直到获取到资源后才返回。releaseShared(int)是释放共享资源的顶层入口方法,doReleaseShared()方法释放共享资源。

       面试问题模拟:AQS是接口吗?有哪些没有实现的方法?看过相关源码吗?

       A:AQS定义了一个实现同步类的框架,实现方法主要有tryAquire和tryRelease,表示独占模式的资源获取和释放,tryAquireShared和tryReleaseShared表示共享模式的资源获取和释放。源码分析如上文所述。

ReentrantLock源码详细解析

       在深入解析ReentrantLock源码之前,我们先了解ReentrantLock与同步机制的关系。ReentrantLock作为Java中引入的并发工具类,由Doug Lea编写,相较于synchronized关键字,它提供了更为灵活的锁管理策略,支持公平与非公平锁两种模式。AQS(AbstractQueuedSynchronizer)作为实现锁和同步器的核心框架,由AQS类的独占线程、同步状态state、FIFO等待队列和UnSafe对象组成。AQS类的内部结构图显示了其组件的构成。在AQS框架下,等待队列采用双向链表实现,头结点存在但无线程,T1和T2节点中的线程可能在自旋获取锁后进入阻塞状态。

       Node节点作为等待队列的基本单元,分为共享模式和独占模式,值得关注的是waitStatus成员变量,它包含五种状态:-3、-2、-1、0、1。本文重点讨论-1、0、1状态,-3状态将不涉及。非公平锁与公平锁的差异在于,非公平锁模式下新线程可直接尝试获取锁,而公平锁模式下新线程需排队等待。

       ReentrantLock内部采用非公平同步器作为其同步器实现,构造函数中根据需要选择非公平同步器或公平同步器。ReentrantLock默认采用非公平锁策略。非公平锁与公平锁的区别在于获取锁的顺序,非公平锁允许新线程跳过等待队列,而公平锁严格遵循队列顺序。

       在非公平同步器的实例中,我们以T1线程首次获取锁为例。T1成功获取锁后,将exclusiveOwnerThread设置为自身,state设置为1。紧接着,T2线程尝试获取锁,但由于state为1,获取失败。调用acquire方法尝试获得锁,尝试通过tryAcquire方法实现,非公平同步器的实现调用具体逻辑。

       在非公平锁获取逻辑中,通过CAS操作尝试交换状态。交换成功后,设置独占线程。当当前线程为自身时,执行重入操作,叠加state状态。若获取锁失败,则T2和T3线程进入等待队列,调用addWaiter方法。队列初始化通过enq方法实现,enq方法中的循环逻辑确保线程被正确加入队尾。新线程T3调用addWaiter方法入队,队列初始化完成。

       在此过程中,T2和T3线程开始自旋尝试获取锁。若失败,则调用parkAndCheckInterrupt()方法进入阻塞状态。在shouldParkAfterFailedAcquire方法中,当前驱节点等待状态为CANCELLED时,方法会找到第一个非取消状态的节点,并断开取消状态的前驱节点与该节点的连接。若T5线程加入等待队列,T3和T4线程因为自旋获取锁失败进入finally块调用取消方法,找到等待状态不为1的节点(即T2),断开连接。

       理解了shouldParkAfterFailedAcquire方法后,我们关注acquireQueued方法的实现。该方法确保线程在队列中正确释放,如果队列的节点前驱为head节点,成功获取锁后,调用setHead方法释放线程。setHead方法通过CAS操作更新head节点,释放线程。acquire方法中的阻塞是为防止线程在唤醒后重新尝试获取锁而进行的额外阻断。

       锁的释放过程相对简单,将state减至0,将exclusiveOwnerThread设置为null,完成锁的释放。通过上述解析,我们深入理解了ReentrantLock的锁获取、等待、释放等核心机制,为并发编程提供了强大的工具支持。

AbstractQueuedSynchronizer详解

       AbstractQueuedSynchronizer,简称AQS,究竟是什么呢?

       它提供了一个框架,用于实现基于先进先出(FIFO)等待队列的阻塞锁及相关同步器(如信号量、事件等)。这个类的设计目的是为了成为那些依赖单一原子整数值来表示状态的同步器的有效基础。

       从JDK的注释来看,AQS是一个实现阻塞锁和相关同步器的框架,它基于先进先出的等待队列。这个类适用于大多数使用整数来表示状态的同步器。这里提到的框架实际上是一个类。

       那么,在什么情况下我们会使用AQS呢?

       在编程中,我们经常遇到并发问题。有了并发,就涉及资源共享;而资源共享又需要处理资源的同步访问。在处理同步时,我们需要解决竞争发生时的等待问题和竞争解除后的唤醒问题。AQS就是这样一个便于实现这种同步机制的框架。我们日常使用的ReentrantLock、ReentrantReadWriteLock以及ArrayBlockingQueue等都是基于AQS实现的。

       如果没有AQS,又会如何呢?

       在没有AQS的情况下,要实现锁需要怎么做呢?这些问题都是我们在实现锁时需要考虑的。

       在AQS的情况下,情况又是怎样的呢?

       AQS作为基础类,主要解决了在锁不可用时的等待,以及锁释放后的唤醒。锁状态的设定、如何获取锁以及如何释放锁,都是需要相应的同步机制自己实现的。因此,在使用AQS时,需要实现以下方法:

       类似于ReentrantLock,使用state来标识锁的状态,state = 0表示锁未被获取,当state > 0表示锁已被获取。此外,实现了AQS的tryAcquire()和tryRelease()来处理state的状态,以处理锁的状态。这样就可以实现基础的ReentrantLock。因此,在AQS的支持下,实现类似的阻塞锁非常方便。

       以上我们介绍了AQS是什么,以及AQS的具体使用场景,下面我们详细介绍AQS的具体实现机制。

       我们先简单看一下AQS的核心流程。

       接下来,我们将结合ReentrantLock来详细查看基于AQS如何实现排他锁。

       首先,我们来看一下ReentrantLock是如何使用int类型的state来表示锁的状态的。state = 0表示锁未被获取。state > 0表示锁已被持有。由于是可重入锁,state表示了这个锁被同一个线程获取了多少次。

       上面的代码片段是ReentrantLock的核心代码,为了便于解释,省略了其他代码。首先我们可以看到,在使用AQS时,通常不是直接实现AQS,而是创建一个内部的辅助类。

       Subclasses should be defined as non-public internal helper classes that are used to implement the synchronization properties of their enclosing class

       然后加锁和释放锁对应的lock和unlock,直接调用辅助类的lock和unlock。

       下面我们来看一下Sync类的代码。

       上面我们来看一下非公平锁NonfairSync的实现。

       下面我们来看一下AQS中的acquire方法。

       上面我们看了获取锁的方法acquire,下面看下释放锁的release。

       总结一下,AQS通过tryAcquire以及tryRelease两个方法,来进行锁的获取以及释放,两个都是非阻塞的方法。如果获取成功则返回,如果获取失败,则添加队列。在队列中获取锁,获取失败则挂起,等待锁被释放后被重新唤醒。唤醒后还是会去尝试获取锁。释放锁的时候如果检查到已经全部释放,则会唤醒被挂起的线程。这样通过tryAcquire和tryRelease,实现了锁的获取以及等待,以及锁的释放。具体锁状态的控制,子类则是通过tryAcquire和tryRelease进行控制的。

       在介绍ReentrantLock时,我们简化了很多代码。了解基本原理后,再去读源码会事半功倍。

AQS与ReentrantLock详解

       J.U.C包中的Java.util.concurrent是一个强大的并发工具库,包含多种处理并发场景的组件,如线程池、队列和同步器等,由知名开发者Doug Lea设计。本文将深入讲解Lock接口及其关键实现ReentrantLock,它在并发编程中的重要性不可忽视,因为大部分J.U.C组件都依赖于Lock来实现并发安全。

       Lock接口的出现,弥补了synchronized在某些场景中的不足,提供了更灵活的并发控制。ReentrantLock作为Lock的一种实现,支持重入,即同一线程可以多次获取锁而不必阻塞。这种特性在处理多方法调用场景时避免了死锁问题。

       ReentrantReadWriteLock则允许读写操作并发进行,提高了读操作的并发性,避免了写操作对读写操作的阻塞,适用于读多写少的场景。在内存缓存示例中,读写锁通过HashMap以读写锁保护,确保并发访问的线程安全。

       ReentrantLock的实现核心是AQS(AbstractQueuedSynchronizer),它是Lock实现线程同步的核心组件。AQS提供了独占和共享锁两种功能,如ReentrantLock就基于AQS的独占模式。AQS内部维护了一个volatile状态变量,不同的实现类根据其具体需求定义其含义。

       ReentrantLock的源码分析中,我们看到lock()方法如何通过AQS的队列机制实现线程阻塞和唤醒。例如,NofairSync.lock展示了非公平锁的实现,涉及CAS(Compare and Swap)操作,保证了线程安全。Unsafe类在这其中发挥了关键作用,提供了低层次的内存操作,如CAS操作。

       总结来说,ReentrantLock和AQS是Java并发编程中的重要基石,通过理解它们的工作原理,可以更好地应对并发环境中的问题。

更多内容请点击【知识】专栏