1.Alluxio 客户端源码分析
2.容器服务的源码原理深入应用及原理剖析（4）带你了解Docker Compose
3.简单概括Linux内核源码高速缓存原理（图例解析）
4.EasyLogger源码学习笔记（1）

Alluxio 客户端源码分析

       Alluxio是一个用于云分析和人工智能的开源数据编排技术，作为分布式文件系统，源码原理采用与HDFS相似的源码原理主从架构。系统中包含一个或多个Master节点存储集群元数据信息，源码原理以及Worker节点管理缓存的源码原理数据块。本文将深入分析Alluxio客户端的源码原理黄色中线指标源码实现。

       创建客户端逻辑在类alluxio.client.file.FileSystem中，源码原理简单示例代码如下。源码原理

       客户端初始化包括调用FileSystem.Context.create创建客户端对象的源码原理上下文，在此过程中需要初始化客户端以创建与Master和Worker连接的源码原理连接池。若启用了配置alluxio.user.metrics.collection.enabled，源码原理将启动后台守护线程定时与Master节点进行心跳传输监控指标信息。源码原理同时，源码原理客户端初始化时还会创建负责重新初始化的源码原理后台线程，定期从Master拉取配置文件的源码原理哈希值，若Master节点配置发生变化，则重新初始化客户端，期间阻塞所有请求直到重新初始化完成。

       创建具有缓存功能的客户端在客户端初始化后，调用FileSystem.Factory.create进行客户端创建。客户端实现分为BaseFileSystem、MetadataCachingBaseFileSystem和LocalCacheFileSystem三种，其中MetadataCachingBaseFileSystem和LocalCacheFileSystem对BaseFileSystem进行封装，提供元数据和数据缓存功能。BaseFileSystem的调用主要分为三大类：纯元数据操作、读取文件操作和写入文件操作。针对元数据操作，直接调用对应GRPC接口（例如listStatus）。接下来，将介绍客户端如何与Master节点进行通信以及读取和写入的流程。

       客户端需要先通过MasterInquireClient接口获取主节点地址，负数取源码当前有三种实现：PollingMasterInquireClient、SingleMasterInquireClient和ZkMasterInquireClient。其中，PollingMasterInquireClient是针对嵌入式日志模式下选择主节点的实现类，SingleMasterInquireClient用于选择单节点Master节点，ZkMasterInquireClient用于Zookeeper模式下的主节点选择。因为Alluxio中只有主节点启动GRPC服务，其他节点连接客户端会断开，PollingMasterInquireClient会依次轮询所有主节点，直到找到可以连接的节点。之后，客户端记录该主节点，如果无法连接主节点，则重新调用PollingMasterInquireClient过程以连接新的主节点。

       数据读取流程始于BaseFileSystem.openFile函数，首先通过getStatus向Master节点获取文件元数据，然后检查文件是否为目录或未写入完成等条件，若出现异常则抛出异常。寻找合适的Worker节点根据getStatus获取的文件信息中包含所有块的信息，通过偏移量计算当前所需读取的块编号，并寻找最接近客户端并持有该块的Worker节点，从该节点读取数据。判断最接近客户端的Worker逻辑位于BlockLocationUtils.nearest，考虑使用domain socket进行短路读取时的Worker节点地址一致性。根据配置项alluxio.worker.data.server.domain.socket.address，判断每个Worker使用的domain socket路径是否一致。如果没有使用域名socket信息寻找到最近的Worker节点，则根据配置项alluxio.user.ufs.block.read.location.policy选择一个Worker节点进行读取。若客户端和数据块在同一节点上，则通过短路读取直接从本地文件系统读取数据，站长源码中心否则通过与Worker节点建立GRPC通信读取文件。

       如果无法通过短路读取数据，客户端会回退到使用GRPC连接与选中的Worker节点通信。首先判断是否可以通过domain socket连接Worker节点，优先选择使用domain socket方式。创建基于GRPC的块输入流代码位于BlockInStream.createGrpcBlockInStream。通过GRPC进行连接时，每次读取一个chunk大小并缓存chunk，减少RPC调用次数提高性能，chunk大小由配置alluxio.user.network.reader.chunk.size.bytes决定。

       读取数据块完成后或出现异常终止，Worker节点会自动释放针对该块的写入锁。读取异常处理策略是记录失败的Worker节点，尝试从其他Worker节点读取，直到达到重试次数上限或没有可用的Worker节点。

       若无法通过本地Worker节点读取数据，则客户端尝试发起异步缓存请求。若启用了配置alluxio.user.file.passive.cache.enabled且存在本地Worker节点，则向本地Worker节点发起异步缓存请求，否则向负责读取该块数据的Worker节点发起请求。

       数据写入流程首先向Master节点发送CreateFile请求，Master验证请求合法性并返回新文件的基本信息。根据不同的写入类型，进行不同操作。如果是THROUGH或CACHE_THROUGH等需要直接写入底层文件系统的写入类型，则选择一个Worker节点处理写入到UFS的数据。对于MUST_CACHE、CACHE_THROUGH、ASYNC_THROUGH等需要缓存数据到Worker节点上的写入类型，则打开另一个流负责将每个写入的医疗整形源码块缓存到不同的Worker上。写入worker缓存块流程类似于读取流程，若写入的Worker与客户端在同一个主机上，则使用短路写直接将块数据写入Worker本地，无需通过网络发送到Worker上。数据完成写入后，客户端向Master节点发送completeFile请求，表示文件已写入完成。

       写入失败时，取消当前流以及所有使用过的输出流，删除所有缓存的块和底层存储中的数据，与读取流程不同，写入失败后不进行重试。

       零拷贝实现用于优化写入和读取流程中WriteRequest和ReadResponse消息体积大的问题，通过配置alluxio.user.streaming.zerocopy.enabled开启零拷贝特性。Alluxio通过实现了GRPC的MethodDescriptor.Marshaller和Drainable接口来实现GRPC零拷贝特性。MethodDescriptor.Marshaller负责对消息序列化和反序列化的抽象，用于自定义消息序列化和反序列化行为。Drainable扩展java.io.InputStream，提供将所有内容转移到OutputStream的方法，避免数据拷贝，优化内容直接写入OutputStream的过程。

       总结，阅读客户端代码有助于了解Alluxio体系结构，明白读取和写入数据时的数据流向。深入理解Alluxio客户端实现对于后续阅读其他Alluxio代码非常有帮助。

容器服务的深入应用及原理剖析（4）带你了解Docker Compose

       一、Docker Compose简介

       1.什么是compose

       Docker-compose 是一个定义和运行多个 Docker 应用的工具，你可以使用YMAL文件来配置你的服务，然后使用docker-compose 命令，创建和启动、画画app源码编排所有你配置的服务。

       2.compose可以在任何工作环境中使用，生产环境，开发环境，持续集成等等。

       3.从logo上可以看出来, 它就是一个管理容器的工( zhang )具( yu ), 我们可以方便的使用它来管理我们的Docker容器, 可以极大程度的简化命令行的复杂操作。

       二、Docker Compose 安装

       版本：1..0-rc4

       1.安装

       看到版本信息，说明安装成功。

       2.卸载

       常见问题： 如果安装完成后，查看版本频繁报错，如下 Cannot open self /usr/local/bin/docker-compose or archive /usr/local/bin/docker-compose.pkg 可使用下面的解决方案 1、切换到/usr/local/bin，删除之前的下载/docker-compose 2、切换到/usr/local/bin执行下面的命令 wget github.com/docker/compo... 3、下载完毕后重命名为docker-compose mv docker-compose-Linux-x_ docker-compose 4、赋权限 5、查看版本成功

       三、Compose 核心概念与常用命令

       1.Compose 核心概念

       模板文件

       即 project 包含 service ，service 包含 container

       2.Compose模板文件介绍

       Compose模板文件格式

       Docker Compose 使用 YAML 文件来定义多服务的应用。

       Docker Compose 默认使用文件名 docker-compose.yml。当然，也可以使用 -f 参数指定具体文件

       官方提供了一个 yaml Docker Compose 配置文件的标准例子 提示：可以用 .yml 或 .yaml 作为文件扩展名

       version：指定 docker-compose.yml 文件的写法格式

       replicas

       指定运行容器的数量

       update_config

       mode

       replicated 如果服务是replicated（默认)，需要指定运行的容器数量

       restart_policy 重启策略

       配置容器的重新启动，代替restart

       卷标设置与查看

       挂载方式对比： 绝对路径：直接挂载到本地，比较直观，但需要管理本地的路径 卷标：简洁，但你不知道数据存在本地什么位置

       网络定义

       目的：实现网络隔离

       docker network create --subnet=..0.0/ frontend

       Docker Compose版本

       3.Compose常用命令

       常用命令汇总

       1) docker-compose up

       用于部署一个 Compose 应用。 默认情况下该命令会读取名为 docker-compose.yml 或 docker-compose.yaml 的文件。

       当然用户也可以使用 -f 指定其他文件名。通常情况下，会使用 -d 参数令应用在后台启动。

       2) docker-compose start

       启动

       3) docker-compose stop

       停止 Compose 应用相关的所有容器，但不会删除它们。 被停止的应用可以很容易地通过 docker-compose restart 命令重新启动。

       4) docker-compose rm

       用于删除已停止的 Compose 应用

       它会删除容器和网络，但是不会删除卷和镜像。

       5) docker-compose restart

       重启已停止的 Compose 应用。 如果用户在停止该应用后对其进行了变更，那么变更的内容不会反映在重启后的应用中

       这时需要重新部署应用使变更生效。

       6) docker-compose ps

       用于列出 Compose 应用中的各个容器。 输出内容包括当前状态、容器运行的命令以及网络端口。

       7) docker-compose down

       停止并删除运行中的 Compose 应用。 它会删除容器和网络，但是不会删除卷和镜像

       8) docker-compose logs web

       9) docker-compose build

       当你改变本地代码之后，先执行 docker-compose build 构建新的镜像，然后执行 docker-compose up -d 取代运行中的容器

       四、Docker Compose 工作原理

       1.Compose 的一次调用流程

       1) 首先，用户执行 docker-compose up 命令调用命令行中的启动方法

       2) 然后，如果当前宿主机已经存在与该应用对应的容器，docker-compose 则进行行为逻辑判断。如果用户指定可以重新启动已有服务，docker-compose 就会执行 service 模块的容器重启方法，否则就直接启动已有容器。这两种操作的区别在于前者会停止旧的容器，创建并启动新的容器，并把旧容器移除掉。

       3) 最后，contaier 模块会调用 docker-py 客户端来执行向 docker daemon 发起创建容器的 POST 请求。

       PS：如果本文对您有帮助，请关注我们的公众号：黑马 架构师还有B站号：博学谷（持续更新优质技术讲解视频） 欢迎和我们一起讨论学习哦 ^-^ ~

       相关学习：

       超 清 晰MyBatis源码剖析，学到就是赚到_哔哩哔哩_bilibili

       架构师必备技能 | 微服务治理深入RPC原理，够全面、够深入、够接地气。_哔哩哔哩_bilibili

       架构师都要会！详谈微服务架构体系，赶 紧 学 起 来_哔哩哔哩_bilibili

       必看！Nacos配置中心发布与配置

简单概括Linux内核源码高速缓存原理（图例解析）

       高速缓存(cache)概念和原理涉及在处理器附近增加一个小容量快速存储器(cache)，基于SRAM，由硬件自动管理。其基本思想为将频繁访问的数据块存储在cache中，CPU首先在cache中查找想访问的数据，而不是直接访问主存，以期数据存放在cache中。

       Cache的基本概念包括块（block），CPU从内存中读取数据到Cache的时候是以块（CPU Line）为单位进行的，这一块块的数据被称为CPU Line，是CPU从内存读取数据到Cache的单位。

       在访问某个不在cache中的block b时，从内存中取出block b并将block b放置在cache中。放置策略决定block b将被放置在哪里，而替换策略则决定哪个block将被替换。

       Cache层次结构中，Intel Core i7提供一个例子。cache包含dCache（数据缓存）和iCache（指令缓存），解决关键问题包括判断数据在cache中的位置，数据查找(Data Identification)，地址映射(Address Mapping)，替换策略(Placement Policy)，以及保证cache与memory一致性的问题，即写入策略(Write Policy)。

       主存与Cache的地址映射通过某种方法或规则将主存块定位到cache。映射方法包括直接(mapped)、全相联(fully-associated)、一对多映射等。直接映射优点是地址变换速度快，一对一映射，替换算法简单，但缺点是容易冲突，cache利用率低，命中率低。全相联映射的优点是提高命中率，缺点是硬件开销增加，相应替换算法复杂。组相联映射是一种特例，优点是提高cache利用率，缺点是替换算法复杂。

       cache的容量决定了映射方式的选取。小容量cache采用组相联或全相联映射，大容量cache采用直接映射方式，查找速度快，但命中率相对较低。cache的访问速度取决于映射方式，要求高的场合采用直接映射，要求低的场合采用组相联或全相联映射。

       Cache伪共享问题发生在多核心CPU中，两个不同线程同时访问和修改同一cache line中的不同变量时，会导致cache失效。解决伪共享的方法是避免数据正好位于同一cache line，或者使用特定宏定义如__cacheline_aligned_in_smp。Java并发框架Disruptor通过字节填充+继承的方式，避免伪共享，RingBuffer类中的RingBufferPad类和RingBufferFields类设计确保了cache line的连续性和稳定性，从而避免了伪共享问题。

EasyLogger源码学习笔记（1）

       在编程中，预处理器通过宏定义执行特定的逻辑。使用`#ifdef`和`#else`可以实现条件编译。当`#ifdef _XXXX`中的标识符_XXXX被`#define`命令定义时，编译器将执行`#ifdef`后的程序段1，否则执行`#else`后的程序段2。`#ifndef _XXXX`则表示如果标识符未被定义，则执行程序段1，反之执行程序段2。

       ANSI C宏提供了多种实用信息，如`__DATE__`返回当前日期，`__TIME__`返回当前时间，`__FILE__`包含当前文件名，`__LINE__`包含当前行号。`__STDC__`常量用于判断程序是否遵循ANSI C标准。`__FUNCTION__`宏在预编译时返回所在函数的名称。

       宏参数的处理可以通过`#`将参数变为字符串，使用`##`将两个宏参数连接起来。`__VA_ARGS__`是一个可变参数宏，需配合`define`使用，将宏左侧的`..`内容原样复制到右侧。

       `#if defined`和`#if !defined`在功能上相似，都用于判断宏是否定义。`#error`指令在编译时生成错误消息并停止编译，用于警告开发者。

       `extern`关键字用于引用其他文件中的函数或全局变量。例如`extern ElogErrCode elog_port_init(void);`声明了一个名为`elog_port_init`的外部函数，调用时需要指明返回值类型和参数。

       在多线程编程中，使用`sched_param`结构来管理线程调度参数。`sem_t`表示信号量，用于实现互斥和同步。`pthread_attr_setschedpolicy(&thread_attr, SCHED_RR);`设置进程调度策略为实时轮转调度。

       `SCHED_OTHER`默认分时调度策略，`SCHED_FIFO`采用先进先出策略，而`SCHED_RR`是`SCHED_FIFO`的增强版，提供实时轮转功能。使用`sched_get_priority_max(int policy);`和`sched_get_priority_min(int policy);`函数可以获取线程可设置的最高和最低优先级，其中策略参数即上述三种调度策略的宏定义。

       `pthread_attr_setschedparam(&thread_attr, &thread_sched_param);`用于设置线程的优先级。通过这些函数，开发者可以精细地控制线程调度，提高程序性能。