环境信息

• Python3.10

Python 中操作 json 相关格式，主要使用模块 json

Python 数据类型转换为 json 格式

python 数据类型转换为 json ，主要使用方法 dumps()

>>> adict = {'a': 1, 'b': 'st'}
>>> json.dumps(adict)
'{"a": 1, "b": "st"}'

>>> alist = [1,2,3,4]
>>> json.dumps(alist)
'[1, 2, 3, 4]'

json 格式转换为 Python 数据类型

>>> ajson = '[1, 2, 3, 4]'
>>> type(ajson)
<class 'str'>

>>> json.load(ajson)
Traceback (most recent call last):
  File "<console>", line 1, in <module>
  File "/usr/local/lib/python3.10/json/__init__.py", line 293, in load
    return loads(fp.read(),
AttributeError: 'str' object has no attribute 'read'

>>> json.loads(ajson)
[1, 2, 3, 4]


>>> bjson = '{"a": 1, "b": "st"}'
>>> type(bjson)
<class 'str'>
>>> json.loads(bjson)
{'a': 1, 'b': 'st'}

环境信息

• Python3.10

Python 执行 shell 命令

subprocess 模块

subprocess.check_output() 执行一个外部命令并以Python字符串的形式获取执行结果 ^[1]

import subprocess
out_bytes = subprocess.check_output(['netstat','-a'])

如果你需要文本形式返回，加一个解码步骤即可

out_text = out_bytes.decode('utf-8')

如果被执行的命令以非零码返回，就会抛出异常。 下面的例子捕获到错误并获取返回码：

try:
    out_bytes = subprocess.check_output(['cmd','arg1','arg2'])
except subprocess.CalledProcessError as e:
    out_bytes = e.output       # Output generated before error
    code      = e.returncode   # Return code

默认情况下，check_output() 仅仅返回输入到标准输出的值。 如果你需要同时收集标准输出和错误输出，使用 stderr 参数：

out_bytes = subprocess.check_output(['cmd','arg1','arg2'],
                                    stderr=subprocess.STDOUT)

环境信息

• Docker 19.03.15
• Mysql 5.7

配置步骤

下载镜像

docker pull mysql:5.7.31

启动容器

启动容器前先在本地创建 Mysql 数据目录以用来持久化 Mysql 数据，如果需要配置文件，可以在本地创建好配置文件挂载到容器的 /etc/mysql/my.cnf，无需配置文件的话，则只需要将持久化的本地数据目录挂载到容器默认的数据目录 /var/lib/mysql，本示例中 Mysql 本地持久化数据目录为 /opt/docker_mysql_home/data/。使用以下命令启动容器

docker run -d --name mysql -v /opt/docker_mysql_home/data/:/var/lib/mysql/ -p 3306:3306 \
              -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7.31

-e MYSQL_ROOT_PASSWORD=123456 通过环境变量配置 Mysql 初始化后的密码

容器启动后，通过以下命令连接数据库

mysql -h 127.0.0.1 -uroot -p

环境信息

• PyCharm 2022.1 (Professional Edition)

常见配置

快速插入时间

通过配置 Live Template 实现快速插入时间

1. 打开 File > Setting > Editor: Live Templates

2. 选中常用的语言，比如 Python，点击右上角的 +，添加 Live Template
Abbreviation 输入快捷输入的名称，比如 currentTime
Description 输入描述信息
   Template Text 输入 $time$
   

3. 点击 Edit Variables 配置命令及格式
   

4. Define 选择 Everywhere，Apply让配置生效

5. 编辑时输入 currentTime,可以直接插入当前时间
   

配置 git 仓库

1. 打开 File -> Settings -> Version Control -> Git，在 Path to Git executable 处选择 git 的安装位置。配置完成之后，点击【Test】按钮，如果成功，则会显示 Git 版本信息
   

2. 点击 VCS -> Get from Version Control，输入 Git 仓库的地址和本地目录。
   

环境信息

• centos 7
• Python3.10
• boto3 1.23.2

  (pip3 install boto3)

环境信息

• Centos-7 3.10.0-1160
• Docker Engine 19.03.15
• Kubernetes 1.21.2

本文档中涉及服务器的操作，都是在 Kubernetes 集群的 Master 节点上进行。如果在其他服务器启动 Halyard 容器，需要确保容器中可以访问到 Kubernetes 集群的 API Server

安装部署步骤

Install Halyard on Docker and Choose Cloud Providers - Kubernetes

宿主机准备容器数据目录

宿主机创建 local Halyard config directory ^[1]

mkdir /root/spinnaker_data
mkdir /root/spinnaker_data/.kube
mkdir /root/spinnaker_data/.hal

Spinnaker 的部署配置会写入容器目录 /home/spinnaker/.hal，将此配置映射到宿主机，可保证配置持久化。

拷贝 Kubernetes 集群管理配置文件到 /root/spinnaker_data/.kube/config ^[2]

cp /etc/kubernetes/admin.conf /root/spinnaker_data/.kube/config
chmod 777 /root/spinnaker_data/.kube/config

环境信息

• Kubernetes 1.24
• cert-manager v1.7.1

随着 HTTPS 不断普及，越来越多的网站都在从 HTTP 升级到 HTTPS，使用 HTTPS 就需要向权威机构申请证书，需要付出一定的成本，如果需求数量多，也是一笔不小的开支。cert-manager 是 Kubernetes 上的全能证书管理工具，如果对安全级别和证书功能要求不高，可以利用 cert-manager 基于 ACME 协议与 Let’s Encrypt 来签发免费证书并自动续期，实现永久免费使用证书。

cert-manager 工作原理

cert-manager 部署到 Kubernetes 集群后，它会 watch 它所支持的 CRD 资源，我们通过创建 CRD 资源来指示 cert-manager 为我们签发证书并自动续期: ^[1]

解释下几个关键的资源:

• Issuer/ClusterIssuer: 用于指示 cert-manager 用什么方式签发证书，本文主要讲解签发免费证书的 ACME 方式。ClusterIssuer 与 Issuer 的唯一区别就是 Issuer 只能用来签发自己所在 namespace 下的证书，ClusterIssuer 可以签发任意 namespace 下的证书。
• Certificate: 用于告诉 cert-manager 我们想要什么域名的证书以及签发证书所需要的一些配置，包括对 Issuer/ClusterIssuer 的引用。

环境信息

• Kubernetes 1.24

ConfigMap 是 Kubernetes 用来向应用 Pod 中注入配置数据的方法。^[1]

使用 ConfigMap 数据定义容器环境变量

使用单个 ConfigMap 中的数据定义容器环境变量

1. 在 ConfigMap 中将环境变量定义为键值对:

   kubectl create configmap special-config --from-literal=special.how=very

2. 将 ConfigMap 中定义的 special.how 赋值给 Pod 规约中的 SPECIAL_LEVEL_KEY 环境变量。

   apiVersion: v1 kind: Pod metadata: name: dapi-test-pod spec: containers: - name: test-container image: registry.k8s.io/busybox command: [ "/bin/sh", "-c", "env" ] env: # 定义环境变量 - name: SPECIAL_LEVEL_KEY valueFrom: configMapKeyRef: # ConfigMap 包含你要赋给 SPECIAL_LEVEL_KEY 的值 name: special-config # 指定与取值相关的键名 key: special.how restartPolicy: Never

   现在，Pod 的输出包含环境变量 SPECIAL_LEVEL_KEY=very。

环境信息

• Centos7 5.4.212-1
• Docker 20.10.18
• containerd.io-1.6.8
• kubectl-1.25.0
• kubeadm-1.25.0
• kubelet-1.25.0
• kube-flannel

常见配置文件说明

TCP 协议抓包分析

TCP 通信过程中 seq 和 ACK 值说明

• TCP 连接通信过程中，client 和 server 端各自维护自己的 seq。后面一个数据包的 seq 是前面一个数据包的 seq 加上前面一个数据包的大小。表示发送的字节位置。

  假如当前连接中，之前一个包 seq = 100，其发送数据包大小为 0，则当前要发送的数据包的 seq = 0

  假如当前连接中，之前一个包 seq = 100，其发送数据包大小为 20，则当前要发送的数据包的 seq = 120

• TCP 连接通信过程中，client 和 server 端要发送给对方的包的 ACK 的值为：收到的包的 seq + 收到的包的 Len，此值告知发送方，接收方希望接收到的下一个包的序列号。

  假如接收方接收到了 seq = 100 ，Len = 0 的包，接收方需要发送的 ACK = 100 + 1

  假如接收方接收到了 seq = 100 ，Len = 20 的包，接收方需要发送的 ACK = 100 + 20

参考链接

TCP 实战抓包分析

wireshark抓包分析——TCP/IP协议

wiresark 显示过滤器使用方法

Wireshark 提供了两种过滤器

• 捕获过滤器：在抓包之前就设定好过滤条件，然后只抓取符合条件的数据包。
• 显示过滤器：在已捕获的数据包集合中设置过滤条件，隐藏不想显示的数据包，只显示符合条件的数据包。

这两种过滤器所使用的语法是完全不同的，捕捉网卡数据的其实并不是 Wireshark，而是 WinPcap，要按 WinPcap 的规则来，显示过滤器就是 Wireshark 对已捕捉的数据进行筛选。

显示过滤器中常用的关系计算符号

显示过滤器中常用的逻辑计算符号

常用示例

针对 IP 过滤

• 对源地址进行过滤
  ip.src == 192.168.0.1
• 对目的地址进行过滤
  ip.dst == 192.168.0.1
• 对源地址或者目的地址进行过滤
  ip.addr == 192.168.0.1
• 如果想排除以上的数据包，只需要将其用括号囊括，然后使用 ! 即可
  !(ip.addr == 192.168.0.1)

针对协议过滤

针对某种协议的数据包，表达式很简单仅仅需要把协议的名字（必须小写）输入即可

常见协议：
tcp
udp
arp
icmp
http
smtp
ftp
dns
msnms
ip
ssl
oicq
bootp

针对端口过滤

• 捕获某一端口的数据包（以 tcp 协议为例）
  tcp.port == 80
• 捕获多端口的数据包，可以使用 and 来连接，下面是捕获高于某端口的表达式（以 udp 协议为例）
  udp.port >= 2048

针对 http 请求的一些过滤实例

• 过滤出请求地址中包含 user 的请求，不包括域名
  http.request.uri contains "User"
• 精确过滤域名
  http.host==baidu.com
• 模糊过滤域名
  http.host contains "baidu"
• 过滤请求的 content_type 类型
  http.content_type =="text/html"
  -过滤 http 请求方法
  http.request.method=="POST"
• 过滤 tcp 端口
  tcp.port==80
http && tcp.port==80 or tcp.port==5566
• 过滤 http 响应状态码
  http.response.code==302
• 过滤含有指定 cookie 的 http 数据包
  http.cookie contains "userid"

环境信息

• Spinnaker 1.29.0
• Kubernetes 1.24.7

Spinnaker 引用 Kubernetes 中的 Namespace

Kubernetes 中的 Namespace，对应 Spinnaker 中的 Application，当 在 Kubernetes 中创建 Namespace ，并在此 Namespace 创建资源后，Spinnaker 会自动读取到此 Namespace，并显示在 Applications 中。

Pipelines 中引用 Docker Registry 类型的触发器

在 Pipelines 中配置 Docker Registry 类型的触发器，并在后面的 Stage 中自动引用。

1. 在要配置的 Pipeline 的 Configuration 部分，配置 Automated Triggers，选择 type 为 Docker Registry
   

   • Registry Name - 为 Halyard 中配置的 Docker Registry 的认证信息 的名称
   • Organization - 对应 Docker Registry （如 Harbor） 中的 Projects

2. Stage 中使用以下方式引用镜像

   image: '${trigger.artifacts[0].reference}'

   ${trigger} 为镜像名称，当一个镜像名下有多个不同标签的镜像时，${trigger.artifacts[0] 表示第一个镜像，依此类推。${trigger.artifacts[0].reference} 值为第一个镜像的完整镜像名加标签。
   

环境信息

• Centos 7
• Php 7.2

常用选项

常用命令

拷贝时包含隐藏文件一起

cp -rf dir1/* dir2/

使用此格式拷贝时，假如 dir1 下面包含隐藏文件，拷贝时隐藏文件不会被拷贝过去

$ tree -a
.
├── dir1
│    ├── test1
│    └── .test2
└── dir2

2 directories, 2 files

如上所示的目录结构，执行命令 cp -rf dir1/* dir2/，观察目录结构:

$ tree -a
.
├── dir1
│    ├── test1
│    └── .test2
└── dir2
    └── test1

2 directories, 3 files

看见，dir/.test 未被拷贝，如果拷贝时希望同时保护隐藏文件，可以使用 . 代替 *

$ tree -a
.
├── dir1
│    ├── test1
│    └── .test2
└── dir2

2 directories, 2 files

$ cp -rf dir1/. dir2/

$ tree -a
.
├── dir1
│    ├── test1
│    └── .test2
└── dir2
    ├── test1
    └── .test2

2 directories, 4 files

版本信息

• Centos-7 3.10.0-1160
• Docker Engine 19.03.15
• jenkinsci/blueocean Jenkins 2.346.3

安装步骤

下载镜像

官方镜像仓库 中搜索 jenkinsci/blueocean，下载最新镜像

docker pull jenkinsci/blueocean

启动 jenkins 容器

创建数据目录

mkdir /data/JenkinsData_blueocean
chmod 777 /data/JenkinsData_blueocean

启动 jenkins 容器

docker run -d -p 8080:8080 --name jenkins \
          -v /var/run/docker.sock:/var/run/docker.sock  \
          -v /data/JenkinsData_blueocean/:/var/jenkins_home/ \
          -u root \
          jenkinsci/blueocean

• -v /var/run/docker.sock:/var/run/docker.sock - 在需要使用 Jenkins 构建 Docker 镜像时，Jenkins 容器中的 docker 客户端需要连接到宿主机的 Docker server
• -v /data/JenkinsData_blueocean/:/var/jenkins_home/ - 数据持久化到宿主机目录
• -u root - 容器中使用 root 用户运行，要使用 Jenkins 构建 Docker 镜像时，默认的 jenkins 用户无权限访问 /var/run/docker.sock

环境信息

• Centos 7 kernel 5.4
• Apollo 2.0.1
• Mysql 5.7
• Java 1.8

安装部署

分布式部署

部署服务器信息说明

其中 172.31.88.1、172.31.82.2 为 pro 环境的高可用节点。172.31.83.3 为 uat 环境的单节点。

apollo-portal 和 ApolloPortalDB 部署在 pro 环境，uat 环境共用 apollo-portal 和 ApolloPortalDB。

环境信息

• Centos 7 kernel 5.4
• Mysql Server 5.7

Mysql Server 安装步骤

yum 方式安装

安装 MySQL 5.7 的 yum 源

yum localinstall -y http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

如果因为源冲突，类似如下错误

Processing Conflict: mysql80-community-release-el7-2.noarch conflicts mysql57-community-release

可以卸载旧的 yum 源安装包，重新安装

$ rpm -qa | grep mysql
mysql80-community-release-el7-2.noarch

$ yum remove mysql80-community-release-el7-2

$ yum localinstall -y http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

检查 yum 源中的 mysql-community-server 信息

$ yum info mysql-community-server
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: download.cf.centos.org
 * elrepo: reflector.westga.edu
 * epel: coresite.mm.fcix.net
 * extras: download.cf.centos.org
 * updates: download.cf.centos.org
Available Packages
Name        : mysql-community-server
Arch        : x86_64
Version     : 5.7.40
Release     : 1.el7
Size        : 178 M
Repo        : mysql57-community/x86_64
Summary     : A very fast and reliable SQL database server

环境信息

• Centos 7
• docker-ce-19.03.15
• harbor v2.6.1

安装步骤

官网安装参考链接

下载安装包

wget https://github.com/goharbor/harbor/releases/download/v2.6.1/harbor-offline-installer-v2.6.1.tgz
tar -xf harbor-offline-installer-v2.6.1.tgz
cd harbor

准备证书

将申请好的证书上传到服务器，将 harbor.crt 转换为 harbor.cert

openssl x509 -inform PEM -in harbor.crt -out harbor.cert 

将转换好的证书和私钥拷贝到 Docker 的证书目录 /etc/docker/certs.d/yourdomain.com/

cp yourdomain.com.cert /etc/docker/certs.d/yourdomain.com/
cp yourdomain.com.key /etc/docker/certs.d/yourdomain.com/
cp ca.crt /etc/docker/certs.d/yourdomain.com/

重启 Docker

systemctl restart docker

配置 Harbor 安装配置文件

执行 install.sh 命令安装 Harbor 时，会使用配置文件 harbor.yml（需要拷贝安装包中的 harbor.yml.tmpl 为 harbor.yml）。

修改配置中的 hostname 选项，配置访问 Harbor 的域名。此为必须修改的参数。

修改配置中的 https.certificate 和 https.private_key，配置证书（harbor.crt）和私钥的路径，使用 HTTPS 时必须配置。

修改配置中的 data_volume，指定持久化数据卷的路径。默认为 data_volume: /data

环境信息

• Jenkins jenkinsci/blueocean:2.346.3
• GitLab Community Edition 13.9.6
• Docker 19.03.15

本文档记录 GitLab 上面的代码更新时，使用 Jenkins 自动构建 Docker 镜像的过程。

配置过程

使用 docker 启动 Jenkins 容器

docker run -d -p 8080:8080 --name jenkins \
          -v /var/run/docker.sock:/var/run/docker.sock  \
          -v /data/JenkinsData_blueocean/:/var/jenkins_home/ \
          -u root \
          jenkinsci/blueocean

Jenkins 配置

以下分别记录使用 freestyle 和 Pipeline 类型的构建镜像的配置过程

创建 freestyle 类型的 Item 构建镜像

在 源码管理（Source Code Management） 中配置 git 地址，并配置认证

默认情况下，在构建时，Jenkins 会先从配置的 Git 地址拉取代码到 Jenkins 目录： /var/jenkins_home/workspace/${PROJECT_NAME}

在 构建（Build） 中 Add build step ，选择构建类型为 Execute shell，此处构建的示例项目代码结构如下，其中 Dockerfile 路径为 k8s/server/Dockerfile

.:
index.html	k8s

./k8s:
server

./k8s/server:
Dockerfile

使用如下 shell 脚本

#!/bin/sh

DATA=`date +%Y%m%d%H%M`

DIR='.'

LOG=${DIR}/docker_build_result.log

DOCKER_REGISTRY='harbor.a.com'

DOCKER_REGISTRY_PROJECT='test'

PROJECT='test_project'
ENV='uat'

docker build -t ${PROJECT}-${ENV}-${Branch}:${DATA} -f k8s/server/Dockerfile ${DIR} | tee ${LOG}

docker tag ${PROJECT}-${ENV}-${Branch}:${DATA} ${DOCKER_REGISTRY}/${DOCKER_REGISTRY_PROJECT}/${PROJECT}-${ENV}-${Branch}:${DATA}

docker login -u admin -p Harbor12345 ${DOCKER_REGISTRY}

docker push ${DOCKER_REGISTRY}/${DOCKER_REGISTRY_PROJECT}/${PROJECT}-${ENV}-${Branch}:${DATA}

RESULT=`cat ${LOG} | tail -n 1`

grep "Successfully tagged " ${LOG}

exit $?

其中的 ${Branch} 来自 参数化的构建

环境信息

• Centos7
• Kubernetes 1.21
• flannel 0.20

为观察 Kubernetes 集群中跨主机 POD 之间的网络通信数据流，本文通过 tcpdump 抓包，对数据流向进行记录观察。

本示例中的 Kubernetes 集群由以下节点组成：

Flannel 简介

Kubernetes 系统上 POD 网络的实现依赖于第三方插件，Kubernetes 只负责提供了 CNI（容器网络接口），只要符合 CNI 规则的第三方插件都可以用于为 POD 提供网络实现。而 Flannel 是由 CoreOS 主推的目前比较主流的容器网络解决方案。

Flannel 支持三种不同后端实现，分别是：

• UDP
• VXLAN
• host-gw

UDP 是 Flannel 项目最早支持的一种方式，是性能最差的方式，目前已被废弃。

用的最多的是 VXLAN 和 host-gw 模式的部署。