CI/CD
- 1.什么是CI/CD？
- （1）CICD 是持续集成和持续交付/部署简称。
- （2）CI 持续集成
- （3）CD 持续交付
- （4）CD 持续部署
- 2.持续集成流程
- （1）环境初始化
- （2）安装Gitlab
- （1）创建组群
- （2）创建项目
- （3）创建用户
- （4）将用户添加到组中
- （5）使用自己创建的账户进行管理
- （6）源码上传到Gitlab仓库
- （3）Jenkins安装
- （1）安装JDK
- （2）拉取代码
- （3）Maven 安装和配置
- （4）Tomcat 安装和配置
- （5）Jenkins 构建 Maven 项目
- （1）自由风格项目构建
- （2）把项目部署到远程的 Tomcat 里面
- 3.Pipeline 流水线项目构建
- 5.Git hook自动触发构建
- 安装 GitlabHook 插件：
- Jenkins 设置自动构建
- Gitlab 配置 webhook
- 解决方法：
1.什么是CI/CD？
通俗来说就是启动一个服务，能够监听代码变化，然后自动执行构建、测试、打包、发布等流程；
（1）CICD 是持续集成和持续交付/部署简称。
指在研发过程中自动执行一系列脚本来降低开发引入bug的概率，在新代码从开发到部署的过程中，尽量减少人工的介入。这一策略加快了代码提交到功能上线的速度，保证新的功能能够第一时间部署到生产环境并被使用。
（2）CI 持续集成
指在开发人员频繁地提交新代码，都会自动执行构建、测试。根据测试结果，我们可以确定新代码能否合并到主分支。
假设现在有个应用的代码存储在仓库上，每天开发人员都会提交很多次新代码，针对每次提交，我们可以创建一系列脚本进行自动测试，降低往应用里引入错误的概率。
持续集成过程中很重视自动化测试验证结果，以保障所有的提交在合并主线之后的质量问题，如果构建或测试的失败，可以快速地反馈到相关负责人，以尽快解决达到一个更稳定的版本。
（3）CD 持续交付
指将完成CI的最新代码部署到类生产环境进行功能验证，以确保新增的代码在生产环境中是可用的。
（4）CD 持续部署
指在持续交付的基础上，通过自动化部署的手段将软件功能频繁的部署到生产环境中。
2.持续集成流程
（1）环境初始化
systemctl disable --now firewalld
setenforce 0
vim /etc/selinux/config
disabled
修改主机名
hostnamctl set-hostname gitlab
bash
hostnamectl set-hostname jenkins
bash
hostnamectl set-hostname tomcat
bash
（2）安装Gitlab
修改配置文件vim /etc/gitlab/gitlab.rb
访问
修改语言
（1）创建组群
点击页面左上方的【GitLab】图标，点击 【新建群组】
【群组名称】、【群组URL】、【群组描述】都设置成 devops_group
【可见性级别】设置成 私有
其他都保持默认值，点击 【创建群组】
（2）创建项目
点击 【新建项目】
【项目URL】群组选项下拉选择 devops_group
【项目名称】设置成 web_demo
【项目描述】设置成 web_demo
【可见等级】设置成 私有
点击 【创建项目】
（3）创建用户
点击页面上方的【扳手】图标进入“管理区域”
点击 【新建用户】
【姓名】设置成 zhangsan
【用户名】设置成 zhangsan
【电子邮箱】设置成 zhangsan@xy101.com
这里密码暂不设置，其他都保持默认值，先点击 【创建用户】
注：Access level：Regular（表示的是普通用户，只能访问属于他的组和项目）；Admin（表示的是管理员，可以访问所有组和项目）
创建好用户后再点击右上角的【Edit】，可在这里设置密码，如 zhangsan@123
（4）将用户添加到组中
点击页面上方的【群组】下拉选择 devops_group
点击左边菜单【成员】
【添加成员到 devops_group】选择 zhangsan，角色权限选择 Owner
点击 【添加到群组】
（5）使用自己创建的账户进行管理
退出当前账户，使用自己创建的账户 zhangsan 登录（zhangsan/zhangsan@123）
第一次登录会被强制要求修改密码（zhangsan/zhangsan@123），可与旧密码相同，再重新登录
（6）源码上传到Gitlab仓库
（3）Jenkins安装
（1）安装JDK
vim /etc/profile
export JAVA_HOME=/usr/local/jdk-17.0.9
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo --no-check-certificate
rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io-2023.key
yum install epel-release -y
yum install jenkins -y
替换插件更新源
sed -i 's#https://updates.jenkins.io/update-center.json#https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json#g' /var/lib/jenkins/hudson.model.UpdateCenter.xml
sed -i 's#https://updates.jenkins.io/download#https://mirrors.tuna.tsinghua.edu.cn/jenkins#g' /var/lib/jenkins/updates/default.json
sed -i 's#https://www.google.com#https://www.baidu.com#g' /var/lib/jenkins/updates/default.json
systemctl restart jenkins
创建第一个管理员用户，如 zhangsan/zhangsan@123
修改语言
Manage Jenkins -> Manage Plugins -> 点击 Availale -> 安装以下几个插件
Localization: Chinese
Git
（2）拉取代码
点击用户名下拉选择凭据 -> Jenkins 全局 -> 添加凭据
类型选择 "Username with password" ，输入 Gitlab 的用户名和密码（zhangsan/zhangsan@123），描述输入 gitlab-auth-password
点击 "确定"。
创建一个FreeStyle项目：新建Item -> 任务名称（test01） FreeStyle Project -> 确定
源码管理：选择 Git，Repository URL：http://192.168.80.10:82/devops_group/web_demo.git（可从 Gitlab 使用 HTTP 克隆），
Credentials 下拉选择 gitlab-auth-password，点击 保存。
点击 Bulid Now 开始构建，查看控制台输出可以看到构建成功，构建后的包会生成在服务器的 /var/lib/jenkins/workspace/test01 目录中。
（3）Maven 安装和配置
Maven 是一个主要用于 Java 项目的自动化构建工具。Maven 还可以用来构建和管理用 C#、Ruby、Scala 和其他语言开发的项目。
在 Jenkins 服务器上安装 Maven 来编译和打包项目
cd /opt
tar -zxvf apache-maven-3.6.2-bin.tar.gz
mv apache-maven-3.6.2 /usr/local/maven
vim /etc/profile
export MAVEN_HOME=/usr/local/maven
export PATH=${MAVEN_HOME}/bin:${JAVA_HOME}/bin:$PATH
source /etc/profile
mvn -v
#修改 Maven 的 settings.xml
mkdir /usr/local/maven/repo #创建本地仓库目录
vim /usr/local/maven/conf/settings.xml
54 --> #本地仓库改为 /usr/local/maven/repo
<localRepository>/usr/local/maven/repo</localRepository>
153 --> #添加阿里云私服地址
<mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>
</mirrors>
Manage Jenkins -> Global Tool Configuration
-> JDK
点击 新增JDK，别名输入 jdk17，取消勾选 Install automatically，JAVA_HOME输入 /usr/local/jdk-17.0.9
点击 新增JDK，别名输入 jdk1.8，取消勾选 Install automatically，JAVA_HOME输入 /usr/local/jdk1.8.0_391
-> Maven
点击 新增Maven，Name输入 maven3，取消勾选 Install automatically，MAVEN_HOME驶入 /usr/local/maven
点击 "应用"和"保存"。
#添加 Jenkins 全局变量，让 Jenkins 能够识别 JDK 和 Maven 环境的命令
Manage Jenkins -> Configure System -> 全局属性，勾选 Environment variables
键值对列表添加：键 JAVA_HOME ，值 /usr/local/jdk1.8.0_391
键 MAVEN_HOME ，值 /usr/local/maven
键 PATH+EXTRA ，值 $MAVEN_HOME/bin
测试 Maven 是否配置成功
点击项目 test01 -> 设置 -> 构建 -> 增加构建步骤 -> Execute Shell
输入 mvn clean package #清空原有的构建元素（插件、依赖包等target文件），再进行打包
点击 保存
再次构建，如果可以把项目打成 war 包，代表 maven 环境配置成功。
（4）Tomcat 安装和配置
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_391
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
source /etc/profile
配置 Tomcat 用户角色权限
默认情况下 Tomcat 是没有配置用户角色权限的
验证方法：可浏览器访问 http://192.168.80.12:8080 ，点击 Managing Tomcat 下的 manager webapp ，发现返回 403 页面。
但是后续 Jenkins 部署项目到 Tomcat 服务器，需要用到 Tomcat 的用户进行远程部署，所以修改 tomcat 以下配置，添加用户及权限
vim /usr/local/tomcat/conf/tomcat-users.xml
43 --> #添加 tomcat 用户角色权限，指定用户和密码都是 tomcat ，并授予权限
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<user username="tomcat" password="tomcat" roles="manager-gui,manager-script,tomcat,admin-gui,admin-script"/>
</tomcat-users>
vim /usr/local/tomcat/webapps/manager/META-INF/context.xml
<!-- #注释掉 Valve 配置
<Valve className="org.apache.catalina.valves.RemoteAddrValve"
allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />
-->
/usr/local/tomcat/bin/shutdown.sh
/usr/local/tomcat/bin/startup.sh
（5）Jenkins 构建 Maven 项目
（1）自由风格项目构建
项目的集成过程：拉取代码 -> 编译 -> 打包 -> 部署
#拉取代码
新建item -> 任务名称（web_demo_freestyle） FreeStyle Project -> 确定
源码管理：选择 Git，Repository URL：git@192.168.80.10:devops_group/web_demo.git
Credentials 下拉选择 gitlab-auth-ssh，点击 保存
点击 Build Now，尝试构建项目
#编译打包
配置 —> 构建 -> 添加构建步骤 -> Execute Shell，输入以下命令
echo "开始编译和打包"
mvn clean package
echo "编译和打包结束"
点击 Build Now，尝试构建项目
（2）把项目部署到远程的 Tomcat 里面
1）安装 Deploy to container 插件
Jenkins 本身无法实现远程部署到 Tomcat 的功能，需要安装 Deploy to container 插件实现：
Manage Jenkins -> 管理插件-可选插件 -> 搜索 Deploy to container 插件选中直接安装即可
2）添加构建后操作
配置 —> 构建后操作 -> 增加构建后操作步骤 -> Deploy war/ear to a container
WAR/EAR files 输入 target/*.war
Containers —> Add Container —> Tomcat 9.x Remote -> Credentials，点击添加 -> Jenkins
用户名 输入 tomcat，密码 输入 tomcat，描述 输入 tomcat-auth，点击添加
Credentials 下拉选择 tomcat-auth
Tomcat URL 输入 http://192.168.80.12:8080
点击保存
点击 Build Now，尝试构建项目
3）部署成功后，刷新 http://192.168.80.12:8080/manager/html 页面，可以发现应用程序中多出一个项目，点击新项目进去访问
3.Pipeline 流水线项目构建
Pipeline 脚本是由 Groovy 语言实现的，但是我们没必要单独去学习 Groovy
Pipeline 支持两种语法：Declarative（声明式）和 Scripted Pipeline（脚本式）语法
安装 Pipeline 插件（推荐的插件已默认安装）
Manage Jenkins -> Manage Plugins -> 可选插件 –> 安装 Pipeline 和 Pipeline Stage View
Pipeline 语法快速入门
1）Scripted 脚本式 Pipeline
新建item -> 任务名称（web_demo_pipeline） Pipeline -> 确定
流水线 -> 定义 选择 Pipeline script -> 选择 Scripted Pipeline
生成内容如下：
node {
def mvnHome
stage('Preparation') { // for display purposes
// Get some code from a GitHub repository
git 'https://github.com/jglick/simple-maven-project-with-tests.git'
// Get the Maven tool.
// ** NOTE: This 'M3' Maven tool must be configured
// ** in the global configuration.
mvnHome = tool 'M3'
}
stage('Build') {
// Run the maven build
withEnv(["MVN_HOME=$mvnHome"]) {
if (isUnix()) {
sh '"$MVN_HOME/bin/mvn" -Dmaven.test.failure.ignore clean package'
} else {
bat(/"%MVN_HOME%\bin\mvn" -Dmaven.test.failure.ignore clean package/)
}
}
}
stage('Results') {
junit '**/target/surefire-reports/TEST-*.xml'
archiveArtifacts 'target/*.jar'
}
}
●Node：节点，一个 Node 代表一个 Jenkins 节点，Master 或者 Agent 节点，是执行 Step 的具体运行环境，后续讲到 Jenkins 的 Master-Slave 架构的时候用到。
●Stage：阶段，一个 Pipeline 可以划分为若干个 Stage，每个 Stage 代表一组操作，比如：Build、Test、Deploy，Stage 是一个逻辑分组的概念。
●Step：步骤，Step 是最基本的操作单元，可以是打印一句话，也可以是构建一个 Docker 镜像，由各类 Jenkins 插件提供， 比如命令：sh 'make'，就相当于我们平时 shell 终端中执行 make 命令一样。
编写一个简单的脚本式 Pipeline
node {
def mvnHome
stage('拉取代码') {
echo '拉取代码'
}
stage('编译构建') {
echo '编译构建'
}
stage('项目部署') {
echo '项目部署'
}
}
Declarative 声明式 Pipeline
流水线 -> 选择 HelloWorld 模板
生成内容如下：
pipeline {
agent any
stages { #stages：代表整个流水线的所有执行阶段。通常stages只有1个，里面包含多个stage
stage('Hello') { #stage：代表流水线中的某个阶段，可能出现n个。一般分为拉取代码，编译构建，部署等阶段
steps { #steps：代表一个阶段内需要执行的逻辑。steps里面是shell脚本，git拉取代码，ssh远程发布等任意内容
echo 'Hello World'
}
}
}
}
编写一个简单声明式Pipeline
pipeline {
agent any
stages {
stage('拉取代码') {
steps {
echo '拉取代码'
}
}
stage('编译构建') {
steps {
echo '编译构建'
}
}
stage('项目部署') {
steps {
echo '项目部署'
}
}
}
}
点击保存
点击 Build Now，查看 Console Output 可以看到整个构建过程
#使用代码生成器生成流水线脚本：
流水线 -> 流水线语法 -> 片段生成器
#生成一个 pull stage
选择 checkout: Check out from version control
SCM 选择 Git，Repository URL：git@192.168.80.10:devops_group/web_demo.git
Credentials 下拉选择 gitlab-auth-ssh
指定分支 */master
点击 生成流水线脚本
把生成的脚本复制到流水线中后，点击保存，尝试构建；
#生成一个构建 stage
选择 sh：Shell Script
Shell Script 输入 mvn clean package
点击 生成流水线脚本
把生成的脚本复制到流水线中后，点击保存，尝试构建；
#生成一个部署 stage
选择 deploy: Deploy war/ear to a container
WAR files 输入 targer/*.war
Containers —> Add Container —> Tomcat 8.x Remote -> Credentials 下拉选择 tomcat-auth
Tomcat URL 输入 http://192.168.80.12:8080
点击 生成流水线脚本
把生成的脚本复制到流水线中后，点击保存，尝试构建部署。
5.Git hook自动触发构建
我们利用Gitlab的webhook实现代码push到仓库，立即触发项目自动构建。
webhook原理：
Gitlab变更 --发送构建请求--> Jenkins
安装 GitlabHook 插件：
Manage Jenkins -> Manage Plugins -> 可选插件 –> 安装 GitLab 和 Generic Webhook Trigger
Jenkins 设置自动构建
web_demo_pipeline 项目下点击配置 -> 构建触发器 -> 取消其它勾选项，勾选 Build when a change is pushed to GitLab. GitLab webhook URL: http://192.168.80.11:8080/project/web_demo_pipeline #等会需要把生成的webhook URL配置到Gitlab中
其它保持默认值，点击保存
Gitlab 配置 webhook
1）开启 webhook 功能
使用 root 账户登录到后台，点击 管理中心 -> 点击左边菜单 设置 -> 选择子菜单 网络 -> 点击 外发请求 展开
勾选 "Allow requests to the local network from web hooks and services" 让网络钩子允许请求本地网络
点击 Save changes
2）在项目添加 webhook
点击 项目 -> 点击左边菜单 设置 -> 选择子菜单 集成
URL 输入 http://192.168.80.11:8080/project/web_demo_pipeline
Trigger 勾选 Push events，其它可根据使用场景自行选择
点击 Add webhook
Webhooks 下方即会出现保存的 webhook，但此时若点击 Test -> 选择 Push events 测试连接，会报错
解决方法：
在 Jenkins 中，Manage Jenkins -> Configure System -> Gitlab -> 取消勾选 Enable authentication for '/project' end-point
点击保存
再回到 Gitlab，重新测试，会返回 Hook executed successfully: HTTP 200，同时在 Jenkins 也会触发项目构建。
cd /root/web_demo
vim src/main/webapp/index.jsp
......
#添加 查询用户 #添加
git add .
git commit -m "查询用户"
git push -u origin master
当推送代码到 Gitlab 成功，则会触发项目构建。