1.基于gitlab+k8s实现CI/CD
2.Gitlab CICD实践（Docker+Jenkins+Nginx）
3.持续集成工具有哪些
4.gitlabci/cd的源码执行流程是怎么样的?
5.gitlab 配置前端 cicd实践--环境准备
6.CI工具选型分析
基于gitlab+k8s实现CI/CD
项目简介：采用Container、Gitlab、源码Gitlab Runner(k8s)、源码SonarQube、源码Harbor、源码Jmeter、源码富远软件 源码Maven、源码Java构建CI/CD管道，源码实现自动化编译打包、源码单元测试、源码源码扫描、源码上传制品、源码Docker容器部署与自动化测试，源码显著提升开发效率、源码软件质量和安全性。源码
CI/CD流程：从代码提交开始，自动启动流水线进行编译、测试、代码质量检查、容器化部署，减少手动操作，加速迭代与部署。
镜像构建：在container环境下，使用nerdctl+buildkitd方案构建镜像，具体步骤参考相关文档。
Runner镜像：构建gitlab-runner-agent镜像，实现镜像构建和k8s资源操作，dockerfile内容需详细配置。
部署与优化：部署gitlab-runner，根据实际情况优化runner配置，确保高效运行。
流水线构建：构建maven、sonar-scanner、jmeter镜像，实现自动化构建。
模板库更新：补充gitlab项目中的模板库内容，提高代码复用性。
仓库地址：项目代码可访问gitee.com/cuiliang/...或github.com/cuiliang...
权限配置：在gitlab项目中设置权限，确保安全可控。
密钥配置：新建SONAR_QUBE_TOEKN、HARBOR_PASSWORD等变量，用于流水线任务，保护敏感信息。
邮件配置：设置邮件通知，及时获取任务执行情况。
流水线配置：在根目录创建.gitlab-ci.yml文件，定义流水线步骤，pynq 源码实现自动化流程。
结果验证：查看pod信息，验证部署效果，与以往相比，全程使用k8s runner，效率提升。
更多信息与关注：公众号《崔亮的博客》持续更新，更多运维开发文章欢迎访问cuiliangblog.cn。
Gitlab CICD实践（Docker+Jenkins+Nginx）
首先，准备一台服务器，这里使用的是阿里云的centos系统。
在服务器上安装git并配置密钥，连按enter键。
执行cd /root/.ssh、ls命令，可以看到生成了id_rsa(私钥)和id_rsa.pub(公钥)。
将公钥复制到gitlab的SSH Keys中，验证是否可以拉取gitlab上的代码。
如果可以正常拉取，则表示配置成功。
接下来，安装docker。具体安装教程请参考：CentOS Docker 安装。
Docker Compose是一个用于定义和运行多容器Docker应用程序的工具。它通过一个单独的文件来配置应用程序的服务，并定义这些服务之间的关系。使用Docker Compose可以轻松地在不同的环境中部署和管理复杂的多容器应用程序。
安装Nginx和Jenkins，并创建文件目录。
创建配置文件docker-compose.yml和nginx.conf。
开放阿里云端口：、、。
执行docker启动命令systemctl start docker。
进入到对应目录cd /docker/compose。
执行命令docker-compose up -d。
使用docker ps -a查看容器状态。
在浏览器中输入自己的服务器IP:，可以看到jenkins页面。
查看Jenkins密码，可以使用docker ps查看Jenkins的CONTAINER ID。
使用docker exec -it ad /bin/bash进入容器内。
使用cat /var/jenkins_home/secrets/initialAdminPassword查看Jenkins密码。
输入密码后进入主页，点击安装推荐的插件。
安装完成后设置用户名密码。vad 源码
实例配置，保存，进入到Jenkins首页。
点击Manage Jenkins=>Plugins。
点击Installed plugins，搜索框输入local。
如果已经安装，执行重启：url输入/teamcity/download/#section=windows
4. Travis CI
Travis 是一款流行的 CI 工具，可免费用于开源项目。在托管时，不必依赖任何平台。此 CI 工具为许多构建配置和语言提供支持，如 Node，PHP，Python，Java，Perl 等。
特点：
Travis 使用虚拟机构建应用程序可通过 Slack，HipChat，电子邮件等通知允许运行并行测试支持 Linux、Mac 以及 iOS易于配置，无需安装强大的 API 和命令行工具下载链接：
/travis-ci/travis-ci
5. GoCD
GoCD 是一个开源的持续集成服务器。它可轻松模拟和可视化复杂的工作流程。此 CI 工具允许持续交付，并为构建 CD Pipeline 提供直观的界面。
特点：
支持并行和顺序执行，可以轻松配置依赖随时部署任何版本使用 Value Stream Map 实时可视化端到端工作流程安全地部署到生产环境支持用户身份验证和授权保持配置有序有大量的插件增强功能活跃的社区帮助和支持下载链接：
/software/bamboo
7. Gitlab CI
GitLab CI 是 GitLab 的一部分。它是一个提供 API 的 Web 应用程序，可将其状态存储在数据库中。GitLab CI 可以管理项目并提供友好的用户界面，并充分利用 GitLab 所有功能。
特点：
GitLab Container Registry 是安全的 Docker 镜像注册表GitLab 提供了一种方便的方法来更改 issue 或 merge request 的元数据，而无需在注释字段中添加斜杠命令为大多数功能提供 API，允许开发人员进行更深入的集成通过发现开发过程中的改进领域，帮助开发人员将他们的想法投入生产可以通过机密问题保护您的信息安全GitLab 中的内部项目允许促进内部存储库的内部 sourcing下载链接：
/installation/
8. CircleCI
Circle CI 是一个灵活的 CI 工具，可在任何环境中运行，如跨平台移动应用程序、Python API 服务器或 Docker 集群，该工具可减少错误并提高应用程序的质量。
特点：
允许选择构建环境支持多语言及平台，如Linux，包括C ，Javascript，NET，PHP，Python 和 Ruby支持 Docker，darkstar 源码可以配置自定义环境触发较新的构建时，自动取消排队或正在运行的构建跨多容器分割和平衡测试，以减少总体构建时间禁止非管理员修改关键项目配置通过发送无错误的应用程序提高 Android 和 iOS 商店评级最佳缓存和并行性能，实现高性能与 VCS 工具集成下载链接：/
9. Codeship
Codeship 是一个功能强大的 CI 工具，可自动化开发和部署工作流程。Codeship 通过简化到 repository 的 push 来触发自动化工作流程。
特点：
可完全控制 CI 和 CD 系统的设计。集中的团队管理和仪表板轻松访问调试版本和 SSH，有助于从 CI 环境进行调试可完全定制和优化 CI 和 CD 工作流程允许加密外部缓存的 Docker 镜像允许为您的组织和团队成员设置团队和权限有两个版本1)Basic 和 2)Pro下载链接：/
. Buildbot
Buildbot 是一个软件开发 CI，可以自动完成编译/测试周期。它被广泛用于许多软件项目，用以验证代码更改。它提供跨平台 Job 的分布式并行执行。
特点：
为不同体系结构的多个测试主机提供支持。报告主机的内核崩溃维护单源 repository自动化构建每个提交都在集成机器上的主线上构建自动部署开源下载链接：/Strider-CD/strider
. AutoRABIT
AutoRABIT 是一个端到端的持续交付套件，可以加快开发过程。它简化了完整的发布流程，并可以帮助任何规模的组织实现持续集成。
特点：
专门设计用于在 Salesforce Platform 上部署支持基于 多种元数据类型的更改，实现精简和快速部署从版本控制系统获取更改并自动部署到 Sandbox 中直接从 Sandbox 自动向版本控制系统提交更改下载链接：
/tag/autorabit-download/
. FinalBuilder
FinalBuilder 是 VSoft 的构建工具。使用 FinalBuilder，无需编辑 XML 或编写脚本。在使用 Windows 调度程序调度构建脚本时，可以定义和调试构建脚本，或者与 Jenkins，Continua CI 等集成。
特点：
以逻辑结构化的图形界面呈现构建过程使用 try 和 catch 操作处理本地错误与 Windows 调度服务紧密集成，支持定时构建支持十几个版本控制系统提供脚本支持构建过程中所有操作的输出都将定向到构建日志下载链接：
/downloads/finalbuilde
. Wercker
Wercker 是一个 CI 工具，可自动构建和部署容器。它可以创建可以通过命令行界面执行的自动化管道。
特点：
与 GitHub 和 Bitbucket 完全集成使用 Wercker CLI 进行更快的本地迭代同时执行构建以保持团队的机动运行并行测试以减少团队的等待时间集成了 多种外部工具通过产品和电子邮件接收系统通知下载链接：/
. Buildkite
Buildkite 代理是一个可靠的跨平台构建工具。此 CI 工具可以在础架构上轻松地运行自动构建。它主要用于运行构建 Job，报告 Job 的状态代码并输出日志。
特点：
可在各种操作系统和体系结构上运行可以从任何版本控制系统运行代码允许在计算机上运行任意数量的构建代理可与 Slack，HipChat，Flowdock，Campfire 等工具集成永远不会读取源代码或密钥提供稳定的基础设施下载链接：/
. Semaphore
Semaphore 是一个持续集成工具，只需按一下按钮即可测试和部署代码。它支持多种语言、框架并可与 GitHub 集成，还可以执行自动测试和部署。
特点：
配置简单允许自动并行测试市场上最快的 CI 之一可以轻松覆盖不同大小的项目数量与 GitHub 和 Bitbucket 无缝集成下载链接：
. CruiseControl
CruiseControl 既是 CI 工具又是一个可扩展的框架。它用于构建自定义连续的构建。它有许多用于各种源代码控制的插件，包括针对电子邮件和即时消息的imagenet源码构建技术。
特点：
与许多不同的源代码控制系统集成，如 vss，csv，svn，git，hg，perforce，clearcase，filesystem 等允许在单个服务器上构建多个项目与其他外部工具集成，如 NAnt，NDepend，NUnit，MSBuild，MBUnit 和 Visual Studio支持远程管理下载链接：
/bitrise-io/bitrise#install-and-setup
. UrbanCode
IBM UrbanCode 是一个 CI 应用程序。它将强大的可见性，可追溯性和审计功能整合到一个软件包中。
特点：
通过自动化，可重复的部署流程提高软件交付频率减少部署失败简化多渠道应用程序的部署，无论是在本地还是在云中，都可以部署到所有环境企业级安全性和可扩展性混合云环境建模拖放自动化下载链接：
/ms-en/marketplace/application-release-automation
gitlabci/cd的执行流程是怎么样的?
在应用开发中，数据库变更管理往往是一个复杂且关键的环节。将数据库操作整合到持续集成（CI）与持续部署（CD）流程中，可以显著提升软件交付效率和质量。 要实现这一目标，需要关注以下核心要素： SQL审查与变更执行 在数据库变更工作流程中，有两个关键步骤：SQL审查与变更执行。确保SQL语句既安全又有效是首要任务。通常，开发团队负责审查SQL的架构正确性，而数据库管理员（DBAs）则关注其执行的正确性。 引入DevOps理念，旨在通过促进开发与运维团队间的协作，解决团队间的沟通与操作问题。在没有专职DBA的团队中，通过赋予开发人员预审SQL的权限，可以有效减少发布时的延迟。这一做法不仅有利于团队协作，还能增强开发团队对数据库变更的控制。 VCS集成与自动化部署 为让开发团队能够自行执行SQL审查，集成VCS（版本控制系统）是关键步骤。借助自动化工具，开发团队能够在提交代码更改时，自动触发SQL审查流程。这样不仅提升了审查效率，还能确保代码质量。 在SQL变更执行方面，采用自动化部署流程，能够显著减少手动操作的错误概率。通过集成零停机更改技术，特别是在大型数据集的数据库上，能够确保变更过程对业务运营的影响降至最低。 整合VCS与自动化发布流程 将SQL审查与VCS集成，为开发团队提供了一个直观且高效的工作流程。通过触发SQL审查工具，当开发人员提交代码更改时，审查流程自动启动。这一步骤不仅确保了SQL语句的正确性，还为后续的部署流程铺平了道路。 借鉴应用程序代码的CI/CD流程，SQL变更推出工具应当与VCS紧密集成，实现从审查到部署的自动化。当SQL脚本通过审查并合并到目标分支后，自动触发发布流程。此流程通常涉及将SQL脚本推送到特定的部署工具（如Bytebase），并允许DBA在执行之前进行最后的完整性检查。 整合后的数据库CI/CD工作流程，不仅提升了团队协作效率，还确保了变更过程的可控性和可追溯性。通过自动化与集成化，实现了一个高效、安全且高效的数据库变更管理流程。gitlab 配置前端 cicd实践--环境准备
本文讨论使用极狐GitLab配置前端CICD实践中的环境准备步骤，以实现自动打包与部署，提高开发效率并减少人为错误。
首先，确保已使用极狐GitLab工具和平台。此工具支持CICD流程自动化，为开发者提供强大的协作与管理功能。
为实现环境隔离与高效部署，每个开发团队成员需将代码打包并发布至专属环境。手动操作这一流程效率低下，易引入错误。因此，CICD自动打包发布成为提升效率的关键。
环境准备分为以下关键步骤：
1. 开通极狐GitLab账号并确保拥有设置权限。这是CICD流程的基础，需确保账号有权限管理项目。
2. 配置一台发布服务器（例如：CentOS或其他操作系统）。极狐GitLab自身不提供发布服务器，需要用户自行准备。
3. 设置GitLab Runner。通过参考极狐GitLab开发者社区提供的文档，完成Runner的配置。Runner负责执行CI/CD流程中的自动化任务。
4. 编写`.gitlab-ci.yml`文件。此文件定义了自动化任务的规则和流程，包括构建、测试和部署等步骤。通过编写此文件，实现从源代码到部署的全流程自动化。
通过遵循上述步骤，团队可以实现高效、稳定的CICD流程，减少人为错误，提升软件开发与部署的效率。极狐GitLab提供的CICD功能，为现代软件开发提供了强大的支持与便利。
CI工具选型分析
持续集成工具选型分析指出，选择合适的工具对团队效率至关重要。关键因素包括易用性、安装简易性、云服务支持、容器兼容性以及开源社区支持。以下是主要工具的优劣势对比：
Jenkins，虽然历史悠久，但需依赖附加组件和插件以适应现代架构；CircleCI成本较低，配置简单，但本地部署困难且Clojure社区相对较小；TeamCity基于Java，Kubernetes部署镜像大；GitLab CI支持Kubernetes，但非GitLab源码管理工具不适用；Buddy本地部署按用户付费，价格昂贵；TravisCI使用Ruby，部署选项有限；GoCD虽开源，支持Kubernetes但不适用Java应用；Drone轻量级，Go语言编写，适合Kubernetes，但文档不完善；Spinnaker功能强大，但本地部署复杂；Buildbot用Python编写，性能一般，社区支持较少。
对于大部分团队，CircleCI或TravisCI足够满足需求。然而，追求高效和敏捷的开发者可能更倾向于Drone.io，它易于安装、配置，支持云和本地部署，且性能优于Python/Ruby编写的选项，具有云原生应用的特性。Jenkins则因其灵活性和社区支持，尽管在Kubernetes支持上不如其他新工具，仍是普遍选择。
工程效能 CI/CD 之流水线引擎的建设实践
经过近3年的建设打磨，美团流水线引擎完成了服务端的基建统一，每日支撑近十万次的流水线执行量，系统成功率保持在.%以上。本文主要介绍在自研引擎建设层面遇到的挑战以及解决方案。
持续交付这个概念最早在年敏捷大会上被提出，经过多年的发展，目前已成为很多技术团队提升研发效能的必经之路。通过建设部署流水线，打通从代码开发到功能交付的整个环节，以自动化的方式完成构建、测试、集成、发布等一系列行为，最终实现向用户持续高效地交付价值。
流水线引擎作为支撑部署流水线的底座，它的好坏直接影响着部署流水线建设的水平。业界通常的做法是通过Jenkins、GitlabCI等开源工具（或公有云产品）进行搭建，这是一条能帮助业务快速落地持续交付的道路，美团早期也是采用搭建Jenkins的方式来快速支撑业务。
但随着越来越多业务开始做持续交付的建设，这种“短平快”方式的弊端逐渐显现。比如，工具建设没有统一的标准，各业务都需要去了解整个工具链的细节，建设成本高、水平参差不齐，很少有业务能搭建完整的部署流水线。同时，业务每天的构建量都在快速增长，逐渐超过Jenkins等开源工具所能承受的极限，在交付高峰期任务严重排队、服务不可用现象频出，严重影响着业务交付的顺畅度。
美团在流水线引擎的建设层面大概经历了几个阶段。在年以前，主要围绕Jenkins进行优化，年开始正式立项打造自研的流水线引擎，大致的历程如下：
经过3年左右的建设打磨，流水线引擎完成了服务端的基建统一，涵盖到店、到家、大众点评、美团优选、美团平台、自动配送车、基础研发平台等几乎所有的业务，支持Java、C++、NodeJS、Golang等多种语言。在性能和稳定性方面，引擎每日支撑近十万次的流水线执行量（作业调度峰值每小时达上万次），系统成功率保持在**.%**以上（排除业务代码自身原因和第三方工具的问题）。
下面我们主要介绍下我们在自研引擎建设上遇到的挑战以及对应的解决方案。
主要挑战包括：
调度效率瓶颈：对调度时间相对敏感，流水线大部分是短时作业（作业持续数十秒到分钟不等），如果调度时间过长，业务能明显感知到流水线执行变慢了。我们需要保证作业调度时间在一个可控的范围内，避免出现调度瓶颈。
资源分配问题：对于作业系统来说，作业数通常都是大于资源数的（真实部署情况，资源不是无限的），作业积压是系统设计时必须考虑的问题。如何在有限的资源下，尽可能提高作业的吞吐能力，同时降低在资源不足情况时造成对核心业务场景的影响。
工具差异化问题：公司内不同业务的差异化大，涉及的质效类工具众多，如何设计一个合适的插件化架构，满足不同工具的接入需求。
解决方案：
1）拆分调度决策与资源分配，解决调度效率瓶颈：从调度效率瓶颈的分析，采取调度决策与资源分配分离的模式，作业调度、资源分配都具备水平扩展能力，利于作业调度的独立演进。
2）引入资源池管理模式，实现资源的灵活分配：通过引入资源池的概念来屏蔽不同资源方式的差异，建立作业与资源池的匹配关系，通过标签的方式建立作业与资源池的匹配关系，动态调整资源池大小。
3）引入组件的分层设计，满足工具差异化需求：提供作业维度最基本的操作接口，不同工具可以根据接口形式实现定制化的组件开发，满足多样化的接入场景。
整体架构与核心设计点包括：
作业调度设计、资源池划分设计、组件分层设计，以及相应的扩展基础能力、引入适配器等。
目前支持多种接入方式，平台提供数百个组件，覆盖研发过程所涉及的各个基础工具，已成功应用于几乎所有的业务领域。
后续规划将聚焦于持续优化与创新，以满足日益增长的业务需求和技术挑战。
Jenkins集成GitLab的正确姿势，实现Git代码提交触发CI/CD
为了实现Jenkins与GitLab之间的集成，以便在Git代码提交时触发CI/CD流程，我们需遵循以下步骤。首先，安装GitLab插件。
在配置Jenkins服务器时，创建GitLab凭证，并将其填充到“Manage Jenkins->System->enable authentication for '/project' end-point”中。此配置为Jenkins job提供了访问GitLab的凭证，在Jenkinsfile中使用该凭证。
创建Jenkins job，选择源代码管理为Git，填写GitLab上源码仓库地址。设置构建触发器为“Build when a change is pushed to GitLab”，并获取GitLab webhook URL。在高级设置中，允许特定分支的构建，并生成用于防止他人触发Jenkins的回调URL的token。
当遇到高版本Jenkins的错误时，可修改配置以关闭防跨站点请求伪造（CSRF）保护。在容器中，编辑Jenkins.sh脚本，在执行java命令前添加参数-Dhudson.security.csrf.GlobalCrumbIssuerConfiguration.DISABLE_CSRF_PROTECTION=true。
配置GitLab webhook以接收代码提交通知。在GitLab repo的Settings-Integrations中，填写生成的URL和Secret Token，点击“Add webhook”。检查Jenkins是否有自动构建记录。
为了在GitLab上查看Jenkins job的执行状态，需要在上述步骤的基础上进行额外配置。确保Jenkins与GitLab之间的集成完全运行并正常接收代码提交事件。参考文档以获取详细说明。
