皮皮网

1.docker-compose快速部署elasticsearch-8.x集群+kibana
2.springboot接口监控(springboot监控器)
3.CentOS7搭建企业级ELK日志分析系统
4.Canal-adapter1.1.4集成Elasticsearch7.8.0排坑指南及在本地环境运行canal-adapter项目
5.关于linux学习路线的源码问题 请教前辈

docker-compose快速部署elasticsearch-8.x集群+kibana

       在GitHub上，你可以找到我的重新资源库，那里详细整理了我欣宸的编译所有原创作品，包括配套的源码源码：github.com/zq/blog...

       本文将引导你通过docker-compose快速部署Elasticsearch 8.x版本的集群，并配合Kibana使用。重新特别提示，编译ghost源码sdk如果你使用的源码是Linux系统，请注意配置文件的重新编写。接下来，编译我们将一步步启动应用并进行验证，源码包括设置不带密码的重新集群和确保其正常运行。

       在学习的编译道路上，你并不孤单，源码欣宸原创的重新内容将全程陪伴你。让我们一起探索和实践，编译让技术助力你的成长。

springboot接口监控(springboot监控器)

       Springboot2.0Actuator的健康检查

       在当下流行的ServiceMesh架构中，由于Springboot框架的种种优点，它特别适合作为其中的应用开发框架。

       说到ServiceMesh的微服务架构，主要特点是将服务开发和服务治理分离开来，然后再结合容器化的Paas平台，将它们融合起来，这依赖的都是互相之间默契的配合。也就是说各自都暴露出标准的接口，可以通过这些接口互相交织在一起。

       ServiceMesh的架构设计中的要点之一，就是全方位的监控，因此一般我们选用的服务开发框架都需要有方便又强大的监控功能支持。在Springboot应用中开启监控特别方便，监控面也很广，还支持灵活定制。

       在Springboot应用中，要实现可监控的功能，依赖的是spring-boot-starter-actuator这个组件。它提供了很多监控和管理你的springboot应用的HTTP或者JMX端点，并且你可以有选择地开启和关闭部分功能。当你的springboot应用中引入下面的依赖之后，将自动的拥有审计、健康检查、Metrics监控功能。

       具体的使用方法：

       “*”号代表启用所有的监控端点，可以单独启用，例如，health，info，metrics等。

       一般的监控管理端点的配置信息，如下：

       上述配置信息仅供参考，具体须参照官方文档，由于springboot的版本更新比较快，配置方式可能有变化。

       今天重点说一下Actuator监控管理中的健康检查功能，随时能掌握线上应用的健康状况是非常重要的，尤其是现在流行的容器云平台下的应用，它们的自动恢复和扩容都依赖健康检查功能。

       当我们开启health的健康端点时，我们能够查到应用健康信息是一个汇总的信息，访问时，我们获取到的信息是{ "status":"UP"}，status的值还有可能是DOWN。

       要想查看详细的应用健康信息需要配置management.endpoint.health.show-details的值为always，配置之后我们再次访问，获取的信息如下：

       从上面的应用的详细健康信息发现，健康信息包含磁盘空间、redis、DB，启用监控的磁盘驱动程序源码分析工具这个springboot应用确实是连接了redis和oracleDB，actuator就自动给监控起来了，确实是很方便、很有用。

       经过测试发现，details中所有的监控项中的任何一个健康状态是DOWN，整体应用的健康状态也是DOWN。

       Springboot的健康信息都是从ApplicationContext中的各种HealthIndicator

       Beans中收集到的，Springboot框架中包含了大量的HealthIndicators的实现类，当然你也可以实现自己认为的健康状态。

       默认情况下，最终的springboot应用的状态是由HealthAggregator汇总而成的，汇总的算法是：

       Springboot框架自带的HealthIndicators目前包括：

       有时候需要提供自定义的健康状态检查信息，你可以通过实现HealthIndicator的接口来实现，并将该实现类注册为springbean。你需要实现其中的health()方法，并返回自定义的健康状态响应信息，该响应信息应该包括一个状态码和要展示详细信息。例如，下面就是一个接口HealthIndicator的实现类：

       另外，除了Springboot定义的几个状态类型，我们也可以自定义状态类型，用来表示一个新的系统状态。在这种情况下，你还需要实现接口HealthAggregator，或者通过配置management.health.status.order来继续使用HealthAggregator的默认实现。

       例如，在你自定义的健康检查HealthIndicator的实现类中，使用了自定义的状态类型FATAL，为了配置该状态类型的严重程度，你需要在application的配置文件中添加如下配置：

       在做健康检查时，响应中的HTTP状态码反应了整体的健康状态，（例如，UP对应,而OUT_OF_SERVICE和DOWN对应）。同样，你也需要为自定义的状态类型设置对应的HTTP状态码，例如，下面的配置可以将FATAL映射为（服务不可用）：

       下面是内置健康状态类型对应的HTTP状态码列表：

       本文主要介绍了Springboot中提供的应用健康检查功能的使用方法和原理，顺带介绍了一点Actuator的内容。主要的内容来自springboot2.0.1的官方文档和源码，还有一些自己的想法，希望多多支持。

       SpringBoot+Druid整合Druid监控页面的数据源功能没有信息

       这个是正常情况，spingboot启动的时候没有连接数据，所以这里就是这样。红色div块一直存在，代码里写死的。没办法。还有druid现在有spring-boot-starter了，不用这样配置了

SpringBoot2对接prometheus

       该监控特点：

       prometheus

       Kibana

       范围监控数据接口：,结果如下：

怎么给springboot接入cat监控

       首先我们需要找到Tomcat目录下面的Conf文件夹。找到server.xml文件，将其打开。找到这句话只需要将这个修改为即可修改成功后，重新启动服务器。看看，只需要输入localhost即可访问Tomcat主页了。

CentOS7搭建企业级ELK日志分析系统

       部署Elasticsearch

       在部署Elasticsearch之前，请确保已部署好JDK环境。

       部署方式包括：使用yum、rpm、离线安装。离线安装部署过程如下：

       下载离线安装包

       解压并创建data和logs目录

       修改配置文件

       使用vim命令编辑elasticsearch.yml文件。

       JVM配置

       根据需求修改JVM属性，在elasticsearch-env文件中编辑。

       ES_JAVA_HOME配置

       确保ES可以正确识别Java环境。

       创建elk用户

       避免使用root用户启动ES，新建一个elk用户。

       启动elasticsearch

       执行启动命令，在哪下载源码编辑器好用注意处理可能出现的报错并查看机器限制，修改限制后再次启动。

       浏览器验证

       切换elk用户启动ES后，在浏览器中输入[nodeip]:验证，显示集群健康检查结果表示成功。

       部署head插件

       通过GitHub下载Elasticsearch-head，给es用户elk目录权限，完成配置、安装和启动。

       索引管理

       通过Head插件可以查看和操作索引信息，包括关闭/开启索引，创建新索引等操作。

       数据管理

       使用RESTful接口管理索引

       PUT或POST方法创建索引，GET方法查询文档，PUT方法更新文档，DELETE方法删除文档。

       示例操作

       创建歌曲索引，查询、更新和删除歌曲信息。

       数据浏览

       使用Head插件查看索引、类型、字段和数据信息。

       部署logstash

       部署在被收集日志的服务器上，使用yum、rpm或离线包安装。

       部署kibana

       使用yum、rpm或离线安装kibana，配置环境变量，通过浏览器访问验证。

       实战演示elk-logstash收集nginx日志

       部署软件，配置启动文件和pipelines，访问生成日志，查看日志内容。

       实战演示filebeat采集多个日志

       使用filebeat采集并发送日志至ES或logstash，配置并启动服务，验证传输。

       部署metricbeats

       通过yum、rpm或源码包安装metricbeats，监控服务器性能数据。

       启用xpack安全验证、部署cerebro可视化界面

       生成证书、配置节点、启动集群，设置用户密码，通过cerebro界面进行可视化管理。

Canal-adapter1.1.4集成Elasticsearch7.8.0排坑指南及在本地环境运行canal-adapter项目

       在集成canal的过程中，我遇到了众多问题，尽管网上有诸多解答，但质量不尽如人意。于是，我下载源码进行本地编译，逐一排查，总结出以下要点：

       以下是常见问题：

       1、如何使canal-adapter1.1.4支持ES7系列？

       2、常见错误信息

       3、canal-adapter1.1.4支持的具体版本号范围

       问题一：让canal-adapter支持ES7系列

       首先，下载canal对应版本的源码到本地，使用编码工具打开。由于canal1.1.4最高支持的版本是6.4.3，在canal-adapter的elasticsearch模块中，引用的ES版本号为6.4.3，因此需要将ES的依赖版本号升起来。

       修改完毕后，重新编译项目，会发现有几处代码编译报错。因为不同版本的ES的代码语法有所不同，只需要稍作改动即可。易安卓网络电话源码

       代码编译通过后，修改canal-adapter下的launcher模块中的application.yml文件，修改后的示例如下：

       修改完配置文件后，接下来配置数据库与ES索引的对应关系。位于elasticsearch模块下的资源文件目录下的es文件夹下，默认有3个文件。为了方便演示，先删除了两个文件。

       然后在ES中创建相应的mapping结构，用于将数据库数据同步到ES中。

       完成上述步骤后，即可启动canal-adapter本地项目。

       问题二：关于常见的报错信息

       canal-adapter在使用过程中，通常会遇到很多报错。以下逐一为大家解答：

       采坑点之一：在本地运行前一定先在maven的root模块下安装，安装完毕后再运行CanalAdapterApplication启动类。

       如果没有先安装直接运行，会出现报错，提示找不到OuterAdapter类的实现类。

       通过报错信息可以发现，当前提示是ESAdapter这个类找不到。根据抛出异常代码所在行通过源码打断点进一步排查，发现找不到target目录下的plugin目录下面的jar包。

       有两种方式可以解决这个问题，第一种是在canal-adapter项目的launcher模块下的main方法下面新建文件夹canal-adapter/plugin，将编译后的es的jar包放进去，然后修改源码中关于本地文件加载的路径。

       另外一种方法就是，运行前还是先使用maven的install安装一下。

       采坑点之二：报错信息Config dir not found

       在本地调试过程中，发现有报错Config dir not found。通过报错行打断点进一步排查，发现是项目启动完毕后在执行数据初始化阶段没有找到配置文件所导致的异常。

       这个问题也比较好解决，我们可以在canal-adapter的launcher模块的配置文件中新建一个叫es的文件夹，把elasticsearch模块下的es文件夹拷贝过来，即可解决这个问题。

       采坑点之三：报错Elasticsearch exception [type=index_not_found_exception, reason=no such index [XXXX]]

       这个问题，大家可以检查一下ES里面对应的索引名称是否存在，索引的mapping结构是否已经创建；当然，可能还有其他情况下导致出现这个问题，暂时没有遇到。

       采坑点之四：报错Not found the mapping info of index: XXX

       这个问题从报错信息来看，总感觉像是ES中索引的Mapping结构没有创建好。我用多种方式进行mapping结构的创建，可一直报错。

       根据报错堆栈信息，通过打断点的方式进一步排查，我们会看到在ESConnection类的行有这样一些被注释了的代码。

       这也正是canal-adapter1.1.4为什么不支持ES7以上的版本了。我们只需要将这些被注释的代码打开即可解决这个问题。

       通过上述代码的改造，我们可以对改完后的内容进行测试，全量同步数据和增量同步数据。

       canal-adapter为我们提供了全量同步数据的接口，我们在canal-adapter的launcher模块的com.alibaba.otter.canal.adapter.launcher.rest目录下可以看到有一个类叫做CommonRest，其里面提供全量同步数据的方法和条件同步数据的方法。

       直接使用postman发送如下请求即可完成数据的全量同步，效果如下，同时，如果数据库当前表的数据发生变更，canal-adapter也能及时监听到并同步到ES中。

       关于canal-adapter配置文件的，大家可以参考一下官网文档：github.com/alibaba/cana...

       另外还有一个网上经常提到的name: es6和es7，通过观察源码，在adapter1.1.4版本中，直接使用es即可。麟龙中期方向线源码

       如上，canal-adapter1.1.4在本地运行起来了，并且全量同步数据和增量同步数据都已触发并生效。

       通过kibana也可以查询到对应的数据了。

       最后，这个项目在本地编译后在target目录下会生成一个canal-adapter的文件夹，这个文件夹可以拷贝出来直接运行。

       在windos和linux都可以运行。我这边编译后，在本地直接运行bat文件，程序正常并且可以正常全量同步数据和增量同步数据。

       不过遇到很奇怪的一个问题，将编译后的文件放在linux系统运行，则会不同的刷错误日志如下。

       暂时还未解决当前问题。不过我这边在目前的实际应用场景中，使用不到adapter，因为它的使用场景比较有效，对数据有较高的要求。

       这个问题在github上提了issues。

       地址：canal-adapter在本地环境可正常运行，编译后在服务器上运行出错；· Issue # · alibaba/canal

关于linux学习路线的问题 请教前辈

       很多同学接触Linux不多，对Linux平台的开发更是一无所知。而现在的趋势越来越表明，作为一 个优秀的软件开发人员，或计算机IT行业从业人员，掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习方法与学习中应该注意的一些事。

       就如同刚才说的，很多同学以前可能连Linux是什么都不知道，对UNIX更是一无所知。所以我们从最基础的讲起，对于Linux及UNIX的历史我们不做多谈，直接进入入门的学习。

       Linux入门是很简单的，问题是你是否有耐心，是否爱折腾，是否不排斥重装一类的大修。没折腾可以说是学不好Linux的，鸟哥说过，要真正了解Linux的分区机制，对LVM使用相当熟练，没有次以上的Linux装机经验是积累不起来的，所以一定不要怕折腾。

       由于大家之前都使用Windows，所以我也尽可能照顾这些“菜鸟”。我的推荐，如果你第一次接触Linux，那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box，我并不主张使用VM，原因是VM是闭源的，并且是收费的，我不希望推动盗版。当然如果你的Money足够多，可以尝试VM，但我要说的是即使是VM，不一定就一定好。付费的软件不一定好。首先，Virtual Box很小巧，Windows平台下安装包在MB左右，而VM动辄MB，虽然功能强大，但资源消耗也多，何况你的需求Virtual Box完全能够满足。所以，还是自己选。如何使用虚拟机，是你的事，这个我不教你，因为很简单，不会的话Google或Baidu都可以，英文好的可以直接看官方文档。

       现在介绍Linux发行版的知识。正如你所见，Linux发行版并非Linux，Linux仅是指操作系统的内核，作为科班出生的你不要让我解释，我也没时间。我推荐的发行版如下：

       UBUNTU适合纯菜鸟，追求稳定的官方支持，对系统稳定性要求较弱，喜欢最新应用，相对来说不太喜欢折腾的开发者。

       Debian，相对UBUNTU难很多的发行版，突出特点是稳定与容易使用的包管理系统，缺点是企业支持不足，为社区开发驱动。

       Arch，追逐时尚的开发者的首选，优点是包更新相当快，无缝升级，一次安装基本可以一直运作下去，没有如UBUNTU那样的版本概念，说的专业点叫滚动升级，保持你的系统一定是最新的。缺点显然易见，不稳定。同时安装配置相对Debian再麻烦点。

       Gentoo，相对Arch再难点，考验使用者的综合水平，从系统安装到微调，内核编译都亲历亲为，是高手及黑客显示自己技术手段，按需配置符合自己要求的系统的首选。

       Slackware与Gentoo类似。

       CentOS，社区维护的RedHat的复刻版本，完全使用RedHat的源码重新编译生成，与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器，如网络管理，架站，那么CentOS是你的选择。

       LFS，终极黑客显摆工具，完全从源代码安装，编译系统。安装前你得到的只有一份文档，你要做的就是照文档你的说明，一步步，一条条命令，一个个软件包的去构建你的Linux，完全由你自己控制，想要什么就是什么。如果你做出了LFS，证明你的Linux功底已经相当不错，如果你能拿LFS文档活学活用，再将Linux从源代码开始移植到嵌入式系统，我敢说中国的企业你可以混的很好。

       你得挑一个适合你的系统，然后在虚拟机安装它，开始使用它。如果你想快速学会Linux，我有一个建议就是忘记图形界面，不要想图形界面能不能提供你问题的答案，而是满世界的去找，去问，如何用命令行解决你的问题。在这个过程中，你最好能将Linux的命令掌握的不错，起码常用的命令得知道，同时建立了自己的知识库，里面是你积累的各项知识。

       再下个阶段，你需要学习的是Linux平台的C/C++开发，同时还有Bash脚本编程，如果你对Java兴趣很深还有Java。同样，建议你抛弃掉图形界面的IDE，从VIM开始，为什么是VIM，而不是Emacs，我无意挑起编辑器大战，但我觉得VIM适合初学者，适合手比较笨，脑袋比较慢的开发者。Emacs的键位太多，太复杂，我很畏惧。然后是GCC，Make，Eclipse（Java，C++或者）。虽然将C++列在了Eclipse中，但我并不推荐用IDE开发C++，因为这不是Linux的文化，容易让你忽略一些你应该注意的问题。IDE让你变懒，懒得跟猪一样。如果你对程序调试，测试工作很感兴趣，GDB也得学的很好，如果不是GDB也是必修课。这是开发的第一步，注意我并没有提过一句Linux系统API的内容，这个阶段也不要关心这个。你要做的就是积累经验，在Linux平台的开发经验。我推荐的书如下：C语言程序设计，谭浩强的也可以。C语言，白皮书当然更好。C++推荐C++ Primer Plus，Java我不喜欢，就不推荐了。工具方面推荐VIM的官方手册，GCC中文文档，GDB中文文档，GNU开源软件开发指导（电子书），汇编语言程序设计（让你对库，链接，内嵌汇编，编译器优化选项有初步了解，不必深度）。

       如果你这个阶段过不了就不必往下做了，这是底线，最基础的基础，否则离开，不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的，程序是走不远的，不可能像Bash，VIM这些神品一样。所以做不好干脆离开。

       接下来进入Linux系统编程，不二选择，APUE，UNIX环境高级编程，一遍一遍的看，看遍都嫌少，如果你可以在大学将这本书翻烂，里面的内容都实践过，有作品，你口头表达能力够强，你可以在面试时说服所有的考官。（可能有点夸张，但APUE绝对是圣经一般的读物，即使是Windows程序员也从其中汲取养分，Google创始人的案头书籍，扎尔伯克的床头读物。）

       这本书看完后你会对Linux系统编程有相当的了解，知道Linux与Windows平台间开发的差异在哪？它们的优缺点在哪？我的总结如下：做Windows平台开发，很苦，微软的系统API总在扩容，想使用最新潮，最高效的功能，最适合当前流行系统的功能你必须时刻学习。Linux不是，Linux系统的核心API就来个，记忆力好完全可以背下来。而且经久不变，为什么不变，因为要同UNIX兼容，符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点，当然图形是Linux的软肋，但我站在一个开发者的角度，我无所谓，因为命令行我也可以适应，如果有更好的图形界面我就当作恩赐吧。另外，Windows闭源，系统做了什么你更本不知道，永远被微软牵着鼻子跑，想想如果微软说Win8不支持QQ，那腾讯不得哭死。而Linux完全开源，你不喜欢，可以自己改，只要你技术够。另外，Windows虽然使用的人多，但使用场合单一，专注与桌面。而Linux在各个方面都有发展，尤其在云计算，服务器软件，嵌入式领域，企业级应用上有广大前景，而且兼容性一流，由于支持POSIX可以无缝的运行在UNIX系统之上，不管是苹果的Mac还是IBM的AS系列，都是完全支持的。另外，Linux的开发环境支持也绝对是一流的，不管是C/C++，Java，Bash，Python，PHP，Javascript，。。。。。。就连C#也支持。而微软除Visual Stdio套件以外，都不怎么友好，不是吗？

       如果你看完APUE的感触有很多，希望验证你的某些想法或经验，推荐UNIX程序设计艺术，世界顶级黑客将同你分享他的看法。

       现在是时候做分流了。 大体上我分为四个方向：网络，图形，嵌入式，设备驱动。

       如果选择网络，再细分，我对其他的不是他熟悉，只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的，也是底层的。需要很多的经验，看很多的书，做很多的项目。

       我的看法是以下面的顺序来看书：

       APUE再深读 – 尤其是进程，线程，IPC，套接字

       多核程序设计 - Pthread一定得吃透了，你很NB

       UNIX网络编程 – 卷一，卷二

       TCP/IP网络详解 – 卷一 再看上面两本书时就该看了

       5.TCP/IP 网络详解 – 卷二 我觉得看到卷二就差不多了，当然卷三看了更好，努力，争取看了

       6.Lighttpd源代码 - 这个服务器也很有名了

       7.Nginx源代码 – 相较于Apache，Nginx的源码较少，如果能看个大致，很NB。看源代码主要是要学习里面的套接字编程及并发控制，想想都激动。如果你有这些本事，可以试着往暴雪投简历，为他们写服务器后台，想一想全球的魔兽都运行在你的服务器软件上。

       Linux内核 TCP/IP协议栈 – 深入了解TCP/IP的实现

       如果你还喜欢驱动程序设计，可以看看更底层的协议，如链路层的，写什么路由器，网卡，网络设备的驱动及嵌入式系统软件应该也不成问题了。

       当然一般的网络公司，就算百度级别的也该毫不犹豫的雇用你。只是看后面这些书需要时间与经验，所以岁以前办到吧！跳槽到给你未来的地方！

       图形方向，我觉得图形方向也是很有前途的，以下几个方面。

       Opengl的工业及游戏开发，国外较成熟。

       影视动画特效，如皮克斯，也是国外较成熟。

       GPU计算技术，可以应用在浏览器网页渲染上，GPU计算资源利用上，由于开源的原因，有很多的文档程序可以参考。如果能进火狐开发，或google做浏览器开发，应该会很好 。

       嵌入式方向：嵌入式方向没说的，Linux很重要。

       掌握多个架构，不仅X的，ARM的，单片机什么的也必须得懂。硬件不懂我预见你会死在半路上，我也想走嵌入式方向，但我觉得就学校教授嵌入式的方法，我连学电子的那帮学生都竞争不过。奉劝大家，一定得懂硬件再去做，如果走到嵌入式应用开发，只能祝你好运，不要碰上像Nokia，Hp这样的公司，否则你会很惨的。

       驱动程序设计：软件开发周期是很长的，硬件不同，很快。每个月诞生那么多的新硬件，如何让他们在Linux上工作起来，这是你的工作。由于Linux的兼容性很好，如果不是太低层的驱动，基本C语言就可以搞定，系统架构的影响不大，因为有系统支持，你可能做些许更改就可以在ARM上使用PC的硬件了，所以做硬件驱动开发不像嵌入式，对硬件知识的要求很高。可以从事的方向也很多，如家电啊，特别是如索尼，日立，希捷，富士康这样的厂子，很稀缺的。

       LDD – Linux驱动程序设计与内核编程的基础读物

       深入理解Linux内核 – 进阶的

       Linux源代码 – 永无止境的

       当然你还的看个方面的书，如网络啊什么的。