在 Linux 中，命令提供的 man 手册是一份非常详细的命令使用说明手册，要了解命令的使用方法及其工作原理，熟练参考 man 手册是及其必要的。

man 手册中不仅包含了命令的使用方法，还包括了命令相关的 （配置）文件说明 、 System Calls 等相关信息，下表中列出了 man 手册不同编号对应的功能

要查看命令 man 的某个部分，可以使用以下命令查看 passwd 命令的 File Formats and Conventions

man 5 passwd

环境信息 ：

• Centos 7

为源码编译安装的软件安装 man 手册

使用源码编译安装的软件默认是没有 man 手册的，使用 man 命令会报以下错误

$ man fswatch
No manual entry for fswatch

要为源码编译安装的软件安装 man 手册，可以参考以下步骤，此处示例软件为 fswatch，软件编译安装到了 /usr/local/fswatch-1.17.1/

1. 一般情况下，源码中会附带软件的使用文档，编译安装后，可能位于以下路径，fswatch 编译安装后的 man 手册位于 /usr/local/fswatch-1.17.1/share/man/man7/fswatch.7

   ls /usr/local/fswatch-1.17.1/doc ls /usr/local/fswatch-1.17.1/share/doc ls /usr/local/fswatch-1.17.1/share/man/

2. man 命令使用的文档默认来源于 /usr/share/man/

   $ ls /usr/share/man/ cs de fr hu it ko man1 man1x man2x man3p man4 man5 man6 man7 man8 man9 mann pl pt_BR ro sk tr zh_CN da es hr id ja man0p man1p man2 man3 man3x man4x man5x man6x man7x man8x man9x nl pt pt_PT ru sv zh zh_TW

   要为编译安装软件的安装 man 帮助文档，首先将 fswatch 的帮助文档复制到 man 页面的目录

   cp /usr/local/fswatch-1.17.1/share/man/man7/fswatch.7 /usr/share/man/man7/

3. 更新 man 索引

   $ mandb 1 man subdirectory contained newer manual pages. 47 manual pages were added.

   安装成功后，可以正常使用 man fswatch 查看帮助文档。

bash 快捷键

bash 常用的快捷键总结

删除类快捷键

定位类快捷键

Recall 类快捷键

bash 中执行过的命令都保存在了历史记录中，可以通过 history 命令查看。为了快速重新执行或者修改之前的命令并执行，bash 提供了以下快捷键

bash 环境变量

shell 中的环境变量大体可以分为以下几种：

• Local Variables : 当前 Shell 中的 所有的本地变量（Local Variables） ，要查看所有的 本地变量（Local Variables），可以使用以下命令：

  • set
  • declare

    $ set | more BASH=/bin/bash BASHOPTS=checkwinsize:cmdhist:complete_fullquote:expand_aliases:extglob:extquote:force_fignore:globasciiranges:histappend:interactive_comments:progcomp:promptvars:sour cepath BASH_ALIASES=() BASH_ARGC=([0]="0") BASH_ARGV=() ...

• Environment Variables ： 本地变量（Local Variables）的一部分子集（subset）被稱為 环境变量（Environment Variables） ， 环境变量（Environment Variables） 会被导入到任何从当前 Shell 启动的新的 Shell，要查看 环境变量（Environment Variables） ，使用以下命令

  • env
  • printenv

    $ env SHELL=/bin/bash SESSION_MANAGER=local/U-3TSDMAL9IVFAQ:@/tmp/.ICE-unix/3396,unix/U-3TSDMAL9IVFAQ:/tmp/.ICE-unix/3396 QT_ACCESSIBILITY=1 COLORTERM=truecolor XDG_CONFIG_DIRS=/etc/xdg/xdg-ubuntu:/etc/xdg SSH_AGENT_LAUNCHER=gnome-keyring XDG_MENU_PREFIX=gnome- GNOME_DESKTOP_SESSION_ID=this-is-deprecated GTK_IM_MODULE=fcitx LANGUAGE=en LC_ADDRESS=en_US.UTF-8 GNOME_SHELL_SESSION_MODE=ubuntu LC_NAME=en_US.UTF-8 SSH_AUTH_SOCK=/run/user/408001114/keyring/ssh XMODIFIERS=@im=fcitx DESKTOP_SESSION=ubuntu LC_MONETARY=en_US.UTF-8 GTK_MODULES=gail:atk-bridge DBUS_STARTER_BUS_TYPE=session ...

    查看单个变量

    $ echo $PATH /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/snap/bin

bash 常用环境变量 ：

bash 命令查找优先级

bash 中命令执行优先顺序如下：

• Aliases ： 由 alias 命令配置的命令别名。
• Shell 预留的关键字 ： 主要是 Shell 编程中会用到的关键字，如 do、while、case、else 等。
• Built-in Command ： shell 内嵌的命令，如 cd、echo 等
• Filesystem Command ： 环境变量 PATH 中的命令。

要查找命令所在位置，可以使用 type 和 which 命令

$ type bash
bash is /usr/bin/bash

$ which bash
/usr/bin/bash

$ type -a ls
ls is aliased to `ls --color=auto'
ls is /usr/bin/ls
ls is /bin/ls

如果要查找命令所在的所有位置，可以使用 type -a ls，如上所示，这会显示 ls 命令所在的所有位置

bash 环境变量配置优先级

Linux 系统中的多个配置文件中可以配置环境变量，其中有些会针对所有的用户和 shell 生效，有些只会针对特定的用户生效。

以下表格中列出了常用的环境变量的配置文件：

Cockpit 服务官网说明

Cockpit 安装

环境信息：

• CentOS Linux 7 (Core) 3.10.0
• cockpit-195.12

官网安装参考文档

sudo yum install cockpit

sudo systemctl enable --now cockpit.socket

Cockpit 默认监听在 9090 端口，请在防火墙放通此端口。服务启动后，在浏览器中通过 IP:9090 即可登陆。

环境信息

• centos7
• python3
• Django 4

ModuleNotFoundError: No module named ‘MySQLdb’

ModuleNotFoundError: No module named ‘MySQLdb’
…
django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module.

解决方法

pip3 install pymysql

编辑文件./python36/lib/python3.6/site-packages/django/db/backends/mysql/__init__.py, 输入以下内容

import pymysql 
pymysql.install_as_MySQLdb()

环境信息

• centos 7
• Python 3.10
• Django 4.0
• uwsgi 2.0.20
• nginx 1.20.1
• venv

  示例中虚拟环境位于 /opt/vb/, Django工程目录位于 /opt/vb/vb/ , 工程名称为vb

uwsgi 配置文件 (uwsgi.ini) 配置示例

[uwsgi]
socket = 127.0.0.1:8081
chdir = /opt/vb/vb
wsgi-file = ./vb/wsgi.py
master = true         //主进程
vhost = true          //多站模式
no-site = true        //多站模式时不设置入口模块和文件
workers = 2           //子进程数
reload-mercy = 10     
vacuum = true         //退出、重启时清理文件
max-requests = 1000   
limit-as = 512
buffer-size = 30000
pidfile = uwsgi-8081.pid
daemonize = uwsgi-8081.log
pythonpath = /opt/vb/env/lib/python3.10/site-packages/

Nginx 服务配置

全局通用配置

user nginx nginx;    

# 建议设置为 cpu 核心数或者 cpu 核心数的 2 倍，进程会包含一个 `master process`，多个 `worker process`  
# master process 负责绑定端口、调度进程等，不负责业务的处理  
# worker process 是业务进程，负责业务的处理
worker_processes auto;

# 一个 worker 进程可以打开的最大的 fd 个数，受 Linux 内核限制
# 理论值应该是系统最多打开文件数（ulimit -n）与 nginx 进程数相除
# 可通过 ulimit 设置或修改系统文件：`/etc/securit/limits.conf`
worker_rlimit_nofile 1024；

# cpu 亲和性设置 
worker_cpu_affinity    0001 0010 0100 1000;

# 工作进程调度优先级，-20 到 19 之间的值，值越小越优先调用。
# 如果系统同时运行多个任务，你可能需要提高 nginx 的工作进程的优先级 
worker_priority 0；              

# ssl 硬件加速服务器，需要硬件支持 
# ssl_engine ssl_engine device;

# nginx 是否以守护进程运行，是否让 nignx 运行于后台；调试时可为 off，使得所有信息直接输出在控制台
daemon      on | off;         

# events 模块中包含 nginx 中所有处理连接的设置。
events {
    # 每个 worker 进程允许的最多连接数, 
    # nginx 服务最大连接数：worker_processes * worker_connections (受 worker_rlimit_nofile 限制)
    worker_connections  1024;
    use epoll;
    
    # 是否允许一次性地响应多个用户请求
    multi_accept on;                    

    # 是否打开 nginx 的 accept 锁；此锁能够让多个 worker 进行轮流地、序列化地与新的客户端建立连接；
    # 而通常当一个 worker 进程的负载达到其上限的 7/8，master 就尽可能不将请求调度至 worker.
	accept_mutex on | off;              
}

# HTTP 模块控制着 nginx http 处理的所有核心特性
http {
    include       mime.types;
    default_type  application/octet-stream;

    # 是否在错误页面中显示和响应头字段中发出 nginx 版本号。
    # 安全考虑建议关闭
    server_tokens on | off | string; 
    
    # 是否启用 sendfile 内核复制模式功能。作为静态服务器可以提供最大的 IO 访问速度。
    sendfile on | off; 
    
    # 尽快发送数据，否则会在数据包达到一定大小后再发送数据。这样会减少网络通信次数，降低阻塞概率，但也会影响响应及时性。
    # 比较适合于文件下载这类的大数据通信场景。
    tcp_nodelay on|off; 
    
    # 单位s，适当降低此值可以提高响应连接数量
    keepalive_timeout  65; 
    
    # 一次长连接上允许的最大请求数
    keepalive_requests 100；       
    
    # 禁止指定浏览器使用 keepalive
    keepalive_disable msie6|none；    
    
    # 读取 http 请求首部的超时时长。如果客户端在此时间内未传输整个头，则会向客户端返回 408（请求超时）错误
    client_header_timeout 1;     
    
    # 读取 http 请求包体的超时时间。
    client_body_timeout 2;
    
    # 发送响应的超时时长。超时后连接将关闭。
    send_timeout 5;  
    
    # http 请求包体的最大值，常用于限定客户端所能够请求的最大包体，根据请求首部中的 Content-Length 来检查，以避免无用的传输。
    client_max_body_size 1m;
    
    # 限制客户端每秒传输的字节数，默认为0，表示没有限制。单位 Byte/s
    limit_rate 0;
    
    # nginx 向客户端发送响应报文时，如果大小超过了此处指定的值，则后续的发送过程开始限速，单位 Byte
    limit_rate_after 0;
    
    # 是否忽略不合法的 http 首部，默认为 on，off 意味着请求首部中出现不合规的首部将拒绝响应。
    ignore_invalid_headers on|off;
    
    # 用户访问的文件不存在时，是否将其记录到错误日志中。
    log_not_found on|off;   
    
    # nginx 使用的 dns 地址，及缓存解析结果的时间               
    resolver 8.8.8.8 [valid=time] [ipv6=on|off];
    
    # dns 解析超时时间 
    resolver_timeout 2；     
    
    # 是否打开文件缓存功能，max：用于缓存条目的最大值，
    # inactive：某缓存条目在指定时长内没有被访问过时，将自动被删除，即缓存有效期，通常默认为 60s。
    open_file_cache off;  
    open_file_cache max=N [inactive=time];    
    
    # 是否缓存文件找不到或没有权限访问等相关信息。
    open_file_cache_errors on | off; 
    
    # 多长时间检查一次缓存中的条目是否超出非活动时长。
    # 建议值：小于等于 open_file_cache inactive
    open_file_cache_valid 60;   
    
    # 在 open_file_cache inactive指 定的时长内被访问超过此处指定的次数时，才不会被删除（删除低命中率的缓存）。
    open_file_cache_min_uses 2;     
    
    # 开启内容压缩，可以有效降低客户端的访问流量和网络带宽
    gzip on | off;
    
    # 内容超过最少长度后才开启压缩，太短的内容压缩效果不佳，且会浪费系统资源。
    # 压缩长度会作为 http 响应头 Content-Length 字段返回给客户端。 建议值：64
    gzip_min_length length;
    
    # 压缩级别，默认值为 1。范围为1～9级，压缩级别越高压缩率越高，但对系统性能要求越高。建议值：4
    gzip_comp_level 1~9;
    
    # 压缩内容类型，默认为 text/html;。只压缩 html 文本，一般我们都会压缩 js、css、json 之类的，可以把这些常见的文本数据都配上。
    如：text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;
    gzip_types mime-type …;     
    
    # 自动显示目录
    autoindex on;
    
    # off ： 以人类易读的方式显示文件大小，on：以 bytes 显示文件大小
    autoindex_exact_size off;
    
    # 定义限制区域，imit_req_zone 只能放在 http {} 内，使用此限制可以在 http {} （对服务器内所有的网站生效）、server {} （对具体的一个网站生效）或 location {} （对具体的一个网址生效）
    # 此区域名称为 test，可根据需求自定义； 10m 表示此区域存储 key（$binary_remote_addr）使用的大小
    # 存储大小，一般 1m 空间大约能保存 1.6 万条 IP 地址，空间满了新数据会覆盖旧数据
    # rate=1r/m ，限制访问请求频率为每分钟 1 次，可根据需要自行设置，1r/s 是 1 秒 1 次，时间单位只能选择 s (秒)或 m (分)，最低频率限制是每分钟 1 次访问请求
    # rate=10r/m，1分钟最多访问 10 次，同时不能超过 1r/6s，即 6s 内最多访问 1 次。超过 1r/6s 返回 503
    limit_req_zone $binary_remote_addr zone=test:10m rate=1r/m;
    
    # 定义日志格式
    log_format main '{ time: $time_iso8601|'
                    'http_host:$http_host|'
                    'cdn_ip:$remote_addr|'
                    'request:$request|'
                    'request_method:$request_method|'
                    'http_user_agent:$http_user_agent|'
                    'size:$body_bytes_sent|'
                    'responsetime:$request_time|'
                    'upstreamtime:$upstream_response_time|'
                    'upstreamhost:$upstream_addr|'
                    'upstreamstatus:$upstream_status|'
                    'url:$http_host$uri|'
                    'http_x_forwarded_for:$clientRealIp|'
                    'status:$status}';
    
    # server 负责具体的 http 服务器实现
    server {
        listen 80 [default_server]  [rcvbuf=SIZE]  [sndbuf=SIZE] [ssl];
        
        # 可使用通配符*或正则表达式(~开头)，多个域名先精确匹配，再通配，再正则,'_'表示空主机头
        server_name  _  ;
        
        access_log logs/access.log main;
        error_log logs/access.err.log;
        
        # 跨域配置
        add_header Access-Control-Allow-Origin *;
        add_header Access-Control-Allow-Headers 'Origin, No-Cache, X-Requested-With, If-Modified-Since, Pragma, Last-Modified, Cache-Control, Expires, Content-Type, X-E4M-With';
        add_header Access-Control-Allow-Methods GET,POST,OPTIONS;
        add_header Access-Control-Allow-Credentials: true;
        
        location / {       
            # web 资源路径             
            root   html;          
            
            # 定义默认页面，从左往右匹配           
            index  index.html index.htm;   
            
            # 自左向右读取指定路径，找到即停止，如果都不存在，返回一个错误码
            try_files $uri $uri.html $uri/index.html =404;        
            
            # 自左向右读取指定路径，找到即停止，如果都不存在，返回一个 uri
            try_files $uri $uri.html $uri/index.html /404.html; 
        }
        
        location /i/ { 
            # 路径别名，只能用于 location 中。
            # 访问 http://a.com/i/a.html, 资源路径为：/data/www/html/a.html
            # 若是root指令，访问 http://a.com/i/a.html，资源路径为：/data/www/html/i/a.html
		    alias /data/www/html/;          
	    }
	    
	    # 对于某个请求发生错误，如果匹配到错误码，重定向到新的 url
	    error_page  404              /404.html; 
	    error_page   500 502 503 504  /50x.html;
	    
	    # 对于某个请求发生错误，如果匹配到错误码，重定向到新的 url,同时可以更改返回码
	    error_page 404 =200 /404.html;
    }
    
    # 包含其他配置文件
    include vhosts/*.conf;        
}

nftables 是一个 netfilter 项目，旨在替换现有的 {ip,ip6,arp,eb}tables 框架，为 {ip,ip6}tables 提供一个新的包过滤框架、一个新的用户空间实用程序（nft）和一个兼容层(iptables-nft)。它使用现有的钩子、链接跟踪系统、用户空间排队组件和 netfilter 日志子系统。

在 Linux 内核版本高于 3.13 时可用

它由三个主要组件组成：

• 内核实现: 内核提供了一个 netlink 配置接口以及运行时规则集评估
• libnl netlink : libnl 包含了与内核通信的基本函数
• nftables : 用户空间前端。nftables 的用户空间实用程序 nft 评估大多数规则集并传递到内核。规则存储在链中，链存储在表中。

与 iptables 不同点

• nftables 在用户空间中运行，iptables 中的每个模块都运行在内核（空间）中
• 表和链是完全可配置的。在 nftables 中，表是没有特定语义的链的容器。iptables 附带了具有预定义数量的基链的表，即使您只需要其中之一，所有链都已注册，未使用的基础链也会损害性能。
• 可以在一个规则中指定多个操作。在 iptables 中，您只能指定一个目标。这是一个长期存在的局限性，用户可以通过跳到自定义链来解决，但代价是使规则集结构稍微复杂一些。
• 每个链和规则没有内置计数器。在 nftables 中，这些是可选的，因此您可以按需启用计数器。由于 iptables 内置了一个数据包计数器，所以即使这些内置的链是空的，也会带来性能损耗
• 更好地支持动态规则集更新。在 nftables 中，如果添加新规则，则剩余的现有规则将保持不变，因为规则集以链表形式表示，这与整体式 blob 表示相反，后者在执行规则集更新时内部状态信息的维护很复杂。
• 简化的双堆栈 IPv4/IPv6 管理，通过新的 inet 系列，可让您注册同时查看 IPv4 和 IPv6 流量的基链。 因此，您不再需要依赖脚本来复制规则集。

服务名称默认为 nftables，默认配置文件为 /etc/nftables.conf ，其中已经包含一个名为 inet filter 的简单 ipv4/ipv6 防火墙列表。

#!/usr/sbin/nft -f

flush ruleset

table inet filter {
	chain input {
		type filter hook input priority 0;
	}
	chain forward {
		type filter hook forward priority 0;
	}
	chain output {
		type filter hook output priority 0;
	}
}

nftables 服务的 systemd 配置文件如下：

[Unit]
Description=nftables
Documentation=man:nft(8) http://wiki.nftables.org
Wants=network-pre.target
Before=network-pre.target shutdown.target
Conflicts=shutdown.target
DefaultDependencies=no

[Service]
Type=oneshot
RemainAfterExit=yes
StandardInput=null
ProtectSystem=full
ProtectHome=true
ExecStart=/usr/sbin/nft -f /etc/nftables.conf
ExecReload=/usr/sbin/nft -f /etc/nftables.conf
ExecStop=/usr/sbin/nft flush ruleset

[Install]
WantedBy=sysinit.target

nftables 使用的内核模块如下，加载这些模块，服务才能正常运行

# lsmod | grep nf
nf_log_syslog          20480  1
nft_chain_nat          16384  17
nf_nat                 49152  3 xt_nat,nft_chain_nat,xt_MASQUERADE
nf_conntrack_netlink    49152  0
nft_counter            16384  142
nf_reject_ipv4         16384  1 ipt_REJECT
nf_conntrack          172032  6 xt_conntrack,nf_nat,xt_state,xt_nat,nf_conntrack_netlink,xt_MASQUERADE
nf_defrag_ipv6         24576  1 nf_conntrack
nf_defrag_ipv4         16384  1 nf_conntrack
nft_compat             20480  143
nf_tables             249856  570 nft_compat,nft_counter,nft_chain_nat
nfnetlink              20480  5 nft_compat,nf_conntrack_netlink,nf_tables,ip_set

Outline 官网

Outline 是由附属于 Google 的 Jigsaw 开发的开源的 VPN 软件。它的设计目标是为了实现 VPN 的简单部署和管理以及安全。Outline 提供了强加密、用户管理工具、并支持多平台，包括 Windows, macOS, Linux, iOS, 和 Android。

Outline 主要由 2 部分组成：

• Outline Manager : 用来部署 VPN 服务器，以及管理用户、限速等
• Outline Client ： 连接 VPN 的客户端，支持多平台

本文示例基本环境信息 ：

• Ubuntu 22.04.4 LTS (Jammy Jellyfish)
• Outline Manager Version 1.15.2

Outline 环境 部署

Outline Manager 部署

Outline Manager 部署非常的简单，只需要下载可执行文件，添加可执行权限并启动即可

$ wget https://s3.amazonaws.com/outline-releases/manager/linux/stable/Outline-Manager.AppImage

$ chmod +x Outline-Manager.AppImage

$ ./Outline-Manager.AppImage 
Outline Manager is starting
libva error: vaGetDriverNameByIndex() failed with unknown libva error, driver_name = (null)
[42740:0925/174650.529715:ERROR:viz_main_impl.cc(186)] Exiting GPU process due to errors during initialization
Launching web app from outline://web_app/index.html?version=1.15.2&sentryDsn=https%3A%2F%2F9df8c810bf1b482d979da996e3e63c40%40o74047.ingest.sentry.io%2F215496
libva error: vaGetDriverNameByIndex() failed with unknown libva error, driver_name = (null)
[42774:0925/174651.006194:ERROR:viz_main_impl.cc(186)] Exiting GPU process due to errors during initialization
libva error: vaGetDriverNameByIndex() failed with unknown libva error, driver_name = (null)
[42800:0925/174651.310808:ERROR:gpu_memory_buffer_support_x11.cc(44)] dri3 extension not supported.
Checking for update
Generated new staging user ID: c5db7469-3a5b-5365-a374-7e29a6e0c71a
Update for version 1.15.2 is not available (latest version: 1.15.2, downgrade is disallowed).

• 为安全起见，Outline Manager 不支持以 root 用户执行，请以普通用户身份执行

• Outline Manager 依赖于 fuse，执行命令 sudo apt install fuse 安装

• Outline VPN Server 依赖于 Docker 和 curl，请提前安装

Outline Manager 运行后会启动 UI

Outline VPN Server 部署

Outline 环境中，VPN Server 负责具体的 VPN 节点实现。要部署 VPN Server，选择合适的服务器环境，比如使用自己的本地服务器则选择 Set up Outline anywhere，然后根据提示在具体的 VPN Server 上部署程序即可

1. 根据提示，执行以下命令，部署 VPN Server 环境程序

   # sudo bash -c "$(wget -qO- https://raw.githubusercontent.com/Jigsaw-Code/outline-server/master/src/server_manager/install_scripts/install_server.sh)" > Verifying that Docker is installed .......... OK > Verifying that Docker daemon is running ..... OK > Setting PUBLIC_HOSTNAME to external IP ...... OK > Creating persistent state dir ............... OK > Generating secret key ....................... OK > Generating TLS certificate .................. OK > Generating SHA-256 certificate fingerprint .. OK > Writing config .............................. OK > Starting Shadowbox .......................... OK > Starting Watchtower ......................... OK > Removing watchtower container ............... OK > Restarting watchtower ....................... OK > Waiting for Outline server to be healthy .... OK > Creating first user ......................... OK > Adding API URL to config .................... OK > Checking host firewall ...................... OK CONGRATULATIONS! Your Outline server is up and running. To manage your Outline server, please copy the following line (including curly brackets) into Step 2 of the Outline Manager interface: {"apiUrl":"https://66.26.90.25:50472/Q6XjXdbbVbetfAV0TK2cyw","certSha256":"67695819036A0FA4CE3C9E4AFAA0466D3C4BE4D9B04DBF7D8BA820FB379C0E4C"} If you have connection problems, it may be that your router or cloud provider blocks inbound connections, even though your machine seems to allow them. Make sure to open the following ports on your firewall, router or cloud provider: - Management port 50472, for TCP - Access key port 13279, for TCP and UDP

   根据提示 Management port 50472, for TCP、Access key port 13279, for TCP and UDP，防火墙放通对应的端口

   默认情况下，Management port 和 Access key port 使用随机端口，要使用自定义的固定端口，使用以下命令配置 VPN Server 环境

   bash install_server.sh --api-port 65530 --keys-port 65531

   如果在同一台主机上重复执行 install_server.sh，请删除持久化数据目录，默认为 /opt/outline/ ，否则可能出现重复部署后某些配置依然是旧的。

   

2. 下载客户端程序，COPY ACCESS KEY 到客户端测试连接。
   

Certbot 是 Let’s Encrypt SSL 官方推荐的 ACME 协议客户端，它是一个 Python 程序，且包含模块化插件支持。Let’s Encrypt 的根证书浏览器支持广泛，且支持泛域名。但单个证书的有效期为 90 天，以防止滥用。

安装 Certbot

官方安装步骤参考

以下步骤演示在 Python3 环境中安装 Certbot 及其相关依赖

1. 安装 certbot

   pip install certbot

2. 申请证书时，要使用 DNS 方式验证域名所有权并且 DNS 使用 Cloudflare 的情况下，可以安装 certbot-dns-cloudflare 插件实现自动验证，参考以下命令安装 certbot-dns-cloudflare，此模块需要 cloudflare 模块的支持

   pip install cloudflare pip install certbot-dns-cloudflare

   安装完成后检查相关模块和版本。其中 cloudflare 版本需要最低为 2.3.1 ^[1]

   # pip list certbot 2.10.0 certbot-dns-cloudflare 2.10.0 cloudflare 2.19.2

   以上模块安装完成后，即可使用 certbot 申请域名证书，并支持 Cloudflare DNS 的自动验证。

基于 Cloudflare DNS 的自动验证申请域名证书

参考步骤安装 certbot 及 Cloudflare DNS 插件后 即可使用 certbot 自动请求 Cloudflare DNS 创建申请证书时需要的 DNS 记录自动完成域名归属权的验证过程。

certbot 支持的 Cloudflare 相关的参数如下

Cloudflare Credentials 说明

假设有 Cloudflare 账号的 Global API Key，则 Credentials 配置文件内容参考如下

# Cloudflare API credentials used by Certbot
dns_cloudflare_email = cloudflare@example.com
dns_cloudflare_api_key = 0123456789abcdef0123456789abcdef01234

申请证书的具体命令如下，如果是第一次申请，需要根据提示填写自己的邮箱信息并同意许可协议，邮箱用于接受之后系统发送的错误或者域名证书过期等信息

certbot certonly \
  --dns-cloudflare \
  --dns-cloudflare-credentials ~/.secrets/certbot/cloudflare.ini \
  --dns-cloudflare-propagation-seconds 60 \
  -d example.com \
  -d www.example.com

如果是非交互式环境,可以使用参数 --email your-email@example.com 和 --agree-tos 自动绑定邮箱并同意许可

Shadowsocks 官网简介

基于 Python3 环境的 Shadowsocks 部署

执行以下命令之一安装 Shadowsocks (Python3 版本)

pip3 install git+https://github.com/shadowsocks/shadowsocks.git@master

pip3 install shadowsocks

配置 Shadowsocks

创建一个配置文件，比如放在 /etc/shadowsocks/config.json 目录下。配置文件的内容如下：

{
    "server": "0.0.0.0", 
    "server_port": 8388,
    "local_address": "127.0.0.1",
    "local_port": 1080,
    "password": "your_password",
    "timeout": 300,
    "method": "aes-256-cfb", 
    "fast_open": false
}

配置选项说明 ：

• server ： 服务器监听的 IP 地址，0.0.0.0 表示监听所有接口。
• server_port ： 服务器监听的端口，客户端连接到这个端口。
• password ： 用于加密流量的密码，请设置一个强密码。
• method ： 加密方法。其他加密算法请参考官网
• timeout ： 超时时间（秒）。
• fast_open ： 如果启用 TCP Fast Open，请将其设置为 true，但需要内核支持。

启动 Shadowsocks 服务

使用以下命令启动 Shadowsocks 服务，该命令会以后台进程的方式启动 Shadowsocks：

ssserver -c /etc/shadowsocks/config.json -d start

常用选项 ：

为 Shadowsocks 配置 systemd services 文件

参考以下内容，为 Shadowsocks 配置 systemd services 文件

[Unit]
Description=Shadowsocks Proxy Server
After=network.target

[Service]
ExecStart=/usr/local/bin/ssserver -c /etc/shadowsocks/config.json
Restart=on-failure

[Install]
WantedBy=multi-user.target

启用并启动 Shadowsocks 服务

sudo systemctl enable shadowsocks
sudo systemctl start shadowsocks

客户端连接

在客户端（如 Windows、macOS、iOS 或 Android）上，使用 Shadowsocks 客户端进行连接。

客户端配置：

• 服务器地址 ： 填写你服务器的公网 IP。
• 服务器端口 ：填写 config.json 中的 server_port，如 8388。
• 密码 ： 填写配置文件中的 password。
• 加密方法 ： 选择 method 中配置的加密方法，如 aes-256-cfb。

如果需要调试或查看运行日志，可以通过以下命令查看 Shadowsocks 的日志：

journalctl -u shadowsocks

ss 命令是一个查看 Linux 系统 socket 统计信息的工具，类似于 netstat，但是能显示更多的 TCP 和状态信息。

常用选项 ，可查看 man ss

环境信息

• Centos 7

automake

编译安装软件报错

error: require Automake 1.14, but have 1.13.4

Automake 版本不匹配，需要安装 Automake 1.14

$ rpm -qa | grep automake
automake-1.13.4-3.el7.noarch

以下步骤安装 automake-1.14.1

wget http://ftp.gnu.org/gnu/automake/automake-1.14.1.tar.gz
tar -xf automake-1.14.1.tar.gz
cd automake-1.14.1
./bootstrap.sh

以上步骤执行完成后，会生成 configure 可执行文件

./configure
make
make install

安装完成后，执行以下命令验证版本

$ automake --version
automake (GNU automake) 1.14.1
Copyright (C) 2013 Free Software Foundation, Inc.
License GPLv2+: GNU GPL version 2 or later <http://gnu.org/licenses/gpl-2.0.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by Tom Tromey <tromey@redhat.com>
       and Alexandre Duret-Lutz <adl@gnu.org>.

makeinfo

编译安装软件报错

makeinfo: command not found

makeinfo 命令不存在，执行以下命令安装

yum install texinfo

gcc

no acceptable C compiler found in $PATH

缺少 gcc 编译器，安装即可

yum install -y gcc

A compiler with support for C++11 language features is required

编译安装软件时报错

configure: error: *** A compiler with support for C++11 language features is required.

错误原因为 gcc 版本太低。查看当前 gcc 版本

$ gcc -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/libexec/gcc/x86_64-redhat-linux/4.8.5/lto-wrapper
Target: x86_64-redhat-linux
Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl=http://bugzilla.redhat.com/bugzilla --enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-linker-build-id --with-linker-hash-style=gnu --enable-languages=c,c++,objc,obj-c++,java,fortran,ada,go,lto --enable-plugin --enable-initfini-array --disable-libgcj --with-isl=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-x86_64-redhat-linux/isl-install --with-cloog=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-x86_64-redhat-linux/cloog-install --enable-gnu-indirect-function --with-tune=generic --with-arch_32=x86-64 --build=x86_64-redhat-linux
Thread model: posix
gcc version 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC)

安装 gcc-8.3.0

以下步骤演示安装 gcc-8.3.0 ^[1]

1. 下载安装包，官方下载地址

   wget ftp://ftp.irisa.fr/pub/mirrors/gcc.gnu.org/gcc/releases/gcc-8.3.0/gcc-8.3.0.tar.gz tar -xf gcc-8.3.0.tar.gz cd gcc-8.3.0

2. 编译安装。编译依赖 GMP 4.2+, MPFR 2.4.0+ and MPC 0.8.0+，需要先按照顺序安装这 3 个依赖。依赖安装参考： 安装 GMP，安装 MPFR，安装 MPC

   $ ./configure --prefix=/usr/local/gcc-8.3.0 --disable-multilib $ make $ make install

3. 安装完成后，需要更新系统标准库 查看当前系统使用的 gcc 库文件，可以看到版本为 libstdc++.so.6.0.19

   $ ls /usr/lib64/libstdc++.so.6 libstdc++.so.6 libstdc++.so.6.0.19 $ ls /usr/lib64/libstdc++.so.6 -l lrwxrwxrwx 1 root root 19 May 30 08:05 /usr/lib64/libstdc++.so.6 -> libstdc++.so.6.0.19

   执行以下操作，更新 libstdc++.so.6 到最新安装的版本

   $ rm -rf /usr/lib64/libstdc++.so.6 $ ln -s /usr/local/gcc-8.3.0/lib64/libstdc++.so.6.0.25 /usr/lib64/libstdc++.so.6 $ ls /usr/lib64/libstdc++.so.6 -l lrwxrwxrwx 1 root root 46 Jun 9 09:31 /usr/lib64/libstdc++.so.6 -> /usr/local/gcc-8.3.0/lib64/libstdc++.so.6.0.25

安装 GMP

安装包下载地址

wget ftp://gcc.gnu.org/pub/gcc/infrastructure/gmp-6.1.0.tar.bz2
tar -jxvf gmp-6.1.0.tar.bz2
cd gmp-6.1.0
./configure
make && make install

安装 MPFR

安装包下载地址

wget ftp://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2
tar -jxvf mpfr-3.1.4.tar.bz2
cd mpfr-3.1.4
./configure
make && make install

安装 MPC

安装包下载地址

wget ftp://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz
tar -zxvf mpc-1.0.3.tar.gz
cd mpc-1.0.3
./configure
make && make install

环境信息

• Ubuntu 24.04.1 LTS (Noble Numbat)
• nftables v1.0.9 (Old Doc Yak #3)

配置错误

Statement after terminal statement has no effect

有以下配置：

ip daddr 127.0.0.11 jump DOCKER_OUTPUT counter;

meta l4proto tcp ip daddr 127.0.0.11 tcp dport 53 dnat to 127.0.0.11:45143 counter;

加载配置时报错： Error: Statement after terminal statement has no effect

错误原因 ： nftables 规则中在 终止语句（terminal statement）（如 jump 或 dnat）后添加的语句（如 counter）没有作用，因为 jump 或 dnat 语句已经处理了数据包，不会再执行后续的语句。

在 nftables 中，终止语句（terminal statement） 是那些一旦执行后就结束了该数据包的处理，例如 jump、accept、drop、dnat、snat 等。因为这些语句会决定数据包的最终去向，所以在这些语句后面再添加如 counter 这样的语句是无效的。

解决方法 : 要正确配置计数器，你需要 将 counter 放在终止语句 之前，这样在执行 jump 或 dnat 之前，数据包会先经过计数器。

ip daddr 127.0.0.11 counter jump DOCKER_OUTPUT;

meta l4proto tcp ip daddr 127.0.0.11 tcp dport 53 counter dnat to 127.0.0.11:45143;

syntax error

一次性配置多个端口

假如要在一个规则中同时放通 HTTP 和 HTTPS （80 和 443 端口），以下是错误语句

# nft insert inet filter input handle 11 tcp dport 80,443 counter accept comment \"for nginx\"
Error: syntax error, unexpected inet, expecting rule
insert inet filter input handle 11 tcp dport 80,443 counter accept comment for nginx
       ^^^^

在 nftables 中，多个端口 在指定时不能直接用逗号分隔。对于多个端口，应该使用集合（{}）的语法来指定。以下为正确语法

# nft insert rule inet filter input handle 11 tcp dport { 80,443 } counter accept comment \"for nginx\"

注意： 使用 集合 （{}）语法时要注意其中的空格，{ 80,443 } 是正确格式，如果写成 {80,443} 则是错误格式

cmd 中添加注释报错

使用以下语句添加规则报错：

# nft insert rule inet filter input handle 11 tcp dport { 80,443 } counter accept comment "for nginx" 
Error: syntax error, unexpected string, expecting end of file or newline or semicolon
insert rule inet filter input handle 11 tcp dport { 80,443 } counter accept comment for nginx
                                                                                        ^^^^^

正确格式如下：

# nft insert rule inet filter input handle 11 tcp dport { 80,443 } counter accept comment \"for nginx\"

注意： 在 cmd 中交互式操作时，注释中使用的 双引号（""） 要使用 转义（\）

环境信息

• Centos 7.9.2009
• docker-ce-19.03.15

Docker 网络模式

Bridge 模式

bridge 模式是 docker 的默认网络模式，不使用 --network 参数，就是 bridge 模式。

当 Docker 进程启动时，会在主机上创建一个名为 docker0 的虚拟网桥，默认主机上启动的 Docker 容器会连接到这个虚拟网桥上。

容器启动时，docker 会从 docker0 网桥的子网中分配一个 IP 地址给容器中的网卡。大体流程为在主机上创建一个 `veth pair`，Docker 将 veth pair 的一端放在容器中，命名为 eth0 并配置 IP，网关，路由等信息，将 veth pair 的另一端加入 docker0 网桥。

通过这种方式，主机可以跟容器通信，容器之间也可以相互通信。

Host 模式

如果启动容器的时候使用 host 模式，那么这个容器将不会获得一个独立的 Network Namespace，而是和宿主机一样在 Root Network Namespace，容器中看到的网络方面的信息和宿主机一样，容器使用的网络资源在整个 Root Network Namespace 不能出现冲突。容器将不会虚拟出自己的网卡，配置自己的 IP 等，而是使用宿主机的 IP 和端口，主机名也是使用宿主机的。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

host 模式下的容器可以看到宿主机上的所有网卡信息，可以直接使用宿主机 IP 或主机名与外界通信，无需额外的 NAT，也无需通过 Linux bridge 进行转发或者数据包的封装，可以访问主机上的其他任一容器。

使用如下命令参数启动 host 网络模式的容器

docker run --network host --name test1 -p 80:80 -d -it centos:centos7.9.2009

host 模式的容器，没有自己的 network namespace，在 root network namespace 中。进入测试容器 test1，查看网卡、 IP 信息及端口、主机名信息，会看到和宿主机一样的信息。

$ ip link
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
    link/ether 00:0c:29:e7:c0:27 brd ff:ff:ff:ff:ff:ff
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default 
    link/ether 02:42:f2:1b:dc:ea brd ff:ff:ff:ff:ff:ff
    
$ ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:e7:c0:27 brd ff:ff:ff:ff:ff:ff
    inet 192.168.142.10/24 brd 192.168.142.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fee7:c027/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:f2:1b:dc:ea brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever    

$ [root@test1 /]# netstat -anutp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      -                   
tcp        0      0 0.0.0.0:81              0.0.0.0:*               LISTEN      124/nginx: master p 
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -                   
tcp        0     36 192.168.142.10:22       192.168.142.1:61396     ESTABLISHED -                   
tcp6       0      0 :::80                   :::*                    LISTEN      -                   
tcp6       0      0 :::81                   :::*                    LISTEN      124/nginx: master p 
tcp6       0      0 :::22                   :::*                    LISTEN      -          

host 模式的缺点

• 容器没有自己的 network namespace ，网络和宿主机或其他使用 host 模式的容器未隔离，容易出现资源冲突，比如同一个宿主机上，使用 host 模式的容器中启动的端口不能相同。

None 模式

使用 none 模式，Docker 容器拥有自己的 Network Namespace，但是，系统并不为 Docker 容器进行任何网络配置。也就是说，这个 Docker 容器没有网卡（lo 回环网卡除外）、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等。

参考以下命令创建 none 模式的容器

docker run --network none --name test-none -p 82:80 -d -it centos7:my

容器创建后，进入容器中，查看网卡和 IP 等信息，容器中默认只存在 lo 网卡，不存在其他网卡

$ ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
       
$ ip link
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00       

以下操作演示手动为容器配置网络

1. 创建 veth pair

   ip link add veth0 type veth peer name veth0_p

2. 将 veth pair 的一端 veth0 放入 docker 默认的网桥 docker0，另一端 veth0_p 放入容器中

   首先使用命令 docker inspect test-none | grep "Pid" 找到容器对应的 PID，此处为 84040，根据此 PID 将 veth 的一端放入容器的 network namespace 中

   ip link set dev veth0 master docker0 ip link set dev veth0 up ip link set veth0_p netns 84040

   在宿主机上面检查 veth0，确定其已经加入网桥 docker0，并且 veth0_p 已不在 root network namespace 中

   $ ip link 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000 link/ether 00:0c:29:e7:c0:27 brd ff:ff:ff:ff:ff:ff 3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default link/ether 02:42:f2:1b:dc:ea brd ff:ff:ff:ff:ff:ff 12: veth0@if11: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue master docker0 state LOWERLAYERDOWN mode DEFAULT group default qlen 1000 link/ether 16:7f:98:d8:9d:dc brd ff:ff:ff:ff:ff:ff link-netnsid 0

   重新进入容器，检查网卡信息，可以看到容器中已经有了网卡 veth0_p，状态为 DOWN

   $ ip -d link 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 11: veth0_p@if12: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000 link/ether be:f1:94:9f:b8:c9 brd ff:ff:ff:ff:ff:ff link-netnsid 0 promiscuity 0 veth addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535

3. 为容器中的网卡配置 IP 及网关等信息

   为了能在宿主机对容器的 network namespace 进行操作，首先需要将容器的 network namespace 暴露出来，之后可以在宿主机通过 network namespace 名称(此处为 84040，可以自定义)操作 network namespace 。Linux network namespace 参考

   $ ln -s /proc/84040/ns/net /var/run/netns/84040 $ ip netns ls 84040 (id: 0)

   通过 network namespace 名称(此处为 84040)配置容器中网卡的 IP 地址信息

   ip netns exec 84040 ip link set dev veth0_p name eth0 ip netns exec 84040 ip link set dev eth0 up ip netns exec 84040 ip add add 172.17.0.10/16 dev eth0 ip netns exec 84040 ip route add default via 172.17.0.1

   进入容器检查网络信息

   $ ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 15: eth0@if16: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether 7e:36:b3:20:a1:8c brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 172.17.0.10/16 scope global eth0 valid_lft forever preferred_lft forever $ ip route show default via 172.17.0.1 dev eth0 172.17.0.0/16 dev eth0 proto kernel scope link src 172.17.0.10

   进入容器测试网络连接

   $ ping 8.8.8.8 PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data. 64 bytes from 8.8.8.8: icmp_seq=1 ttl=127 time=37.4 ms 64 bytes from 8.8.8.8: icmp_seq=2 ttl=127 time=37.0 ms ^C --- 8.8.8.8 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1000ms rtt min/avg/max/mdev = 37.047/37.234/37.422/0.269 ms

环境信息

• Centos 7.9.2009
• docker-ce-19.03.15
• docker-20.10.9

Docker 安装

yum 安装 docker

安装 yum 源，docker官方 centos 安装文档

yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

安装 docker

yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin

yum 离线安装 docker

参考链接下载rpm安装包

wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-19.03.15-3.el7.x86_64.rpm
wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-cli-19.03.15-3.el7.x86_64.rpm
wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.4.13-3.1.el7.x86_64.rpm
wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-compose-plugin-2.3.3-3.el7.x86_64.rpm

安装 docker

yum localinstall -y containerd.io-1.4.13-3.1.el7.x86_64.rpm \
                    docker-ce-cli-19.03.15-3.el7.x86_64.rpm \
                    docker-ce-19.03.15-3.el7.x86_64.rpm \
                    docker-compose-plugin-2.3.3-3.el7.x86_64.rpm

以上 2 条命令可以使用以下 1 条命令完成

yum localinstall -y https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-19.03.15-3.el7.x86_64.rpm \
                    https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-cli-19.03.15-3.el7.x86_64.rpm \
                    https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.4.13-3.1.el7.x86_64.rpm \
                    https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-compose-plugin-2.3.3-3.el7.x86_64.rpm

启动docker

systemctl enable docker --now

iptables 的底层实现是 netfilter，netfilter 的架构是在整个网络流程(TCP/IP 协议栈)的若干位置放置一些钩子，并在每个钩子上挂载一些处理函数进行处理。

IP 层的 5 个钩子点的位置，对应就是 iptables 的 5 条内置链，分别是

• PREROUTING
• FORWARD
• INPUT
• OUTPUT
• POSTROUTING

当网卡收到一个网络报文送达协议栈时，最先经过的 netfilter 钩子是 PREROUTING，此处常见的钩子函数是 目的地址转换 (DNAT)。无论 PREROUTING 是否存在钩子处理网络数据包，下一步内核都会通过 查询本地路由表 决定这个数据包的流向

• 如果是发送给本地进程，则进入 INPUT 链传给本地进程
• 如果是发送给其他机器（或者其他 network namespace），则经过 netfilter 的 FORWARD 钩子传送出去，相当于将本地机器当作路由器

所有马上要发送到网络协议栈之外的数据包，都会经过 POSTROUTING 钩子，这里常见的处理函数是 源地址转换(SNAT) 或者 源地址伪装(Masquerade, 简称 Masq)

除了 5 条内置的链，iptables 还有 5 张表，这 5 张表主要是用来给 iptables 中的规则（rule）分类，系统中所有的 iptables 规则都被划分到不同的表集合中。5 张表分别为

• raw - iptables 是有状态的，即 iptables 对数据包有连接追踪 (connection trackong) 机制，而 raw 可以用来去除这种追踪机制
• mangle - 用于修改数据包的 IP 头信息
• nat - 用于修改数据包的源或者目的地址
• filter - 用于控制到达某条链上面的数据包是继续放行、直接丢弃(drop)、或拒绝(reject)
• security - 用于在数据包上面应用 SELinux

表是有优先级的，5 张表的优先级从高到低是: raw、mangle、nat、filter、security，iptables 不支持自定义表。不是每个链上都能挂表，iptables 表与链的对应关系如下图

iptables 表和链的工作流程图如下

iptables 命令

常用选项说明

环境信息

• Centos 7

logrotate 程序是一个日志文件管理工具。用于分割日志文件，压缩转存、删除旧的日志文件，并创建新的日志文件

logrotate 是基于 crond 来运行的，其脚本是 /etc/cron.daily/logrotate，日志轮转是系统自动完成的。
实际运行时，logrotate 会调用配置文件 /etc/logrotate.conf。
/etc/cron.daily/logrotate 文件内容如下：

#!/bin/sh

/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0

可以执行以下命令手动执行日志切割：

logrotate -f /etc/logrotate.conf

以下命令可以检测配置文件是否正确：

logrotate -d /etc/logrotate.conf

Grafana 是一款用 GO 语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。

基础概念

组织(Organization) 与用户(User)

Organization 相当于一个 Namespace，一个 Organization 完全独立于另一个 Organization，包括 datasource、dashboard 等，创建一个 Organization 就相当于打开了一个全新的视图，所有的 datasource、dashboard 等都需要重新创建。一个用户(User) 可以属于多个 Organization。

User 是 Grafana 里面的用户，用户可以有以下 角色

• admin - 管理员权限，可以执行任何操作。
• editor - p不可以创建用户、不可以新增 Datasource、可以创建 Dashboard**
• viewer - 仅可以查看 Dashboard
• read only editor - 允许用户修改 Dashboard，但是 不允许保存

数据源 Datasource

Grafana 中操作的数据集、可视化数据的来源

Dashboard

在 Dashboard 页面中，可以组织可视化数据图表。

• Panel - 在一个 Dashboard 中，Panel 是最基本的可视化单元。通过 Panel 的 Query Editor 可以为每一个 Panel 添加查询的数据源以及数据查询方式。每一个 Panel 都是独立的，可以选择一种或者多种数据源进行查询。一个 Panel 中可以有多个 Query Editor 来汇聚多个可视化数据集
• Row - 在 Dashboard 中，可以定义一个 Row，来组织和管理一组相关的 Panel

Variables

在 Dashboard 的设置页面中，有 Variables 页面，在其中可以为 Dashboard 配置变量，之后可以在 Panel 的 Query Editor 中使用这些预定义的变量。变量的值也可以是通过表达式获取的值。也可以在 Panel 的标题中使用变量

例如以下 Variables 配置

Node    label_values(kubernetes_io_hostname)

在 Dashboard 中定义了这些变量后，可以在 Panel 的 Query Editor 中使用，在 Query Editor 中使用了 Variables 中定义的变量后，在 Dashboard 的顶部下拉菜单中可以选择预定义的变量的值（需要在定义 Variables 时配置 Show on dashboard 为 Label and Value 以使在 Dashboard 顶部显示下拉菜单），Panel 中的 Query 表达式就会使用这些变量的值进行计算以及显示图表。

环境信息

• Python 3.10.12

certificate verify failed: unable to get local issuer certificate

报错信息如下：

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)
...
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1007)>

问题原因 ： 本地 CA 证书不存在

解决方法

1. 查看默认证书位置

   >>> import ssl >>> print(ssl.get_default_verify_paths()) DefaultVerifyPaths(cafile=None, capath='/usr/local/openssl/ssl/certs', openssl_cafile_env='SSL_CERT_FILE', openssl_cafile='/usr/local/openssl/ssl/cert.pem', openssl_capath_env='SSL_CERT_DIR', openssl_capath='/usr/local/openssl/ssl/certs')

   根据输出内容，可以看到 Python 使用的 openssl 位于 /usr/local/openssl/，CA 证书路径为 /usr/local/openssl/ssl/cert.pem，检查 CA 证书路径，发现 CA 证书不存在

   $ cd /usr/local/openssl/ssl/ $ ls certs ct_log_list.cnf ct_log_list.cnf.dist misc openssl.cnf openssl.cnf.dist private

2. 下载 CA 证书文件

   wget http://curl.haxx.se/ca/cacert.pem --no-check-certificate mv cacert.pem cert.pem

   下载 CA 证书文件后，重新尝试，SSl 连接正常。

can’t start new thread

环境信息

• Docker 1.13
• Python3.9

在 Docker 中运行 python 后，使用 pip 报错 RuntimeError: can't start new thread

# pip install --upgrade pip
Requirement already satisfied: pip in /usr/local/lib/python3.9/site-packages (23.0.1)
Collecting pip
  Downloading pip-23.2.1-py3-none-any.whl (2.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0.0/2.1 MB ? eta -:--:--ERROR: Exception:
Traceback (most recent call last):
  File "/usr/local/lib/python3.9/site-packages/pip/_internal/cli/base_command.py", line 160, in exc_logging_wrapper
    status = run_func(*args)
  File "/usr/local/lib/python3.9/site-packages/pip/_internal/cli/req_command.py", line 247, in wrapper
    return func(self, options, args)
  
  ...
  File "/usr/local/lib/python3.9/site-packages/pip/_internal/operations/prepare.py", line 107, in get_http_url
    from_path, content_type = download(link, temp_dir.path)
  File "/usr/local/lib/python3.9/site-packages/pip/_internal/network/download.py", line 147, in __call__
    for chunk in chunks:
  File "/usr/local/lib/python3.9/site-packages/pip/_internal/cli/progress_bars.py", line 52, in _rich_progress_bar
    with progress:
  File "/usr/local/lib/python3.9/site-packages/pip/_vendor/rich/progress.py", line 1169, in __enter__
    self.start()
  File "/usr/local/lib/python3.9/site-packages/pip/_vendor/rich/progress.py", line 1160, in start
    self.live.start(refresh=True)
  File "/usr/local/lib/python3.9/site-packages/pip/_vendor/rich/live.py", line 132, in start
    self._refresh_thread.start()
  File "/usr/local/lib/python3.9/threading.py", line 899, in start
    _start_new_thread(self._bootstrap, ())
RuntimeError: can't start new thread

[notice] A new release of pip is available: 23.0.1 -> 23.2.1
[notice] To update, run: pip install --upgrade pip

问题原因 Docker 版本太低，升级版本到 18.06 以上。参考说明

在 Ubuntu 上安装软件包主要通过使用 apt 命令来完成。apt 是高级包装工具（Advanced Package Tool）的缩写，提供了一个易用的命令行界面，用于处理软件包的安装、更新和删除等操作。

环境信息

• Ubuntu 22

apt

查看软件包信息

• 查看系统已安装的软件包

  apt list --installed

  apt list 列出系统上所有可用的软件包，包括已安装的软件包和可供安装的软件包

• 列出特定的软件包

  apt list <package-name>

• 搜索特定软件包是否已安装

  apt list --installed <package-name>

• 查看软件包的依赖关系

  apt depends <package_name>

下载软件包

• 下载软件包但不安装

  apt download <package_name>

安装软件包

• 更新软件包列表。在安装新软件包之前，最好先更新本地软件包列表，以确保你安装的是最新版本的软件包。

  sudo apt update

  此命令会从配置的源中检索新的软件包列表。

• 安装软件包。安装软件包的基本命令格式为：

  sudo apt install <package_name>

• 安装特定版本的软件包

  如果你需要安装软件包的特定版本，可以通过指定版本号来完成安装。首先，使用 apt policy 命令查找可用版本

  apt policy <package_name>

  然后，安装特定版本的软件包

  sudo apt install <package_name>=<version> sudo apt install nginx=1.18.0-0ubuntu1

• 安装推荐的软件包。

  当安装某些软件包时，APT 可能会建议安装一些推荐的软件包以增强功能。默认情况下，apt install 命令会安装推荐的软件包。 如果你不想安装推荐的软件包，可以使用 --no-install-recommends 选项

  sudo apt install --no-install-recommends <package_name>

卸载软件包

• 卸载软件包但保留配置文件

  sudo apt remove <package_name>

• 卸载软件包并删除配置文件。如果相关目录不为空，将不会删除，会输出提示

  sudo apt purge <package_name>

  或者

  sudo apt remove --purge <package_name>

• 清理未使用的依赖包

  当你卸载一个软件包时，它可能会留下一些不再需要的依赖软件包。为了清理这些不再使用的依赖，可以执行：

  sudo apt autoremove

  这个命令会检查并自动删除那些被安装为其他软件包依赖但现在不再被任何已安装软件包需要的软件包。

dpkg

列出系统上已安装的软件包

dpkg -l

查找文件所属的软件包

dpkg -S /path/to/file

APT 仓库管理

APT 通过读取配置文件（主要是 /etc/apt/sources.list 和 /etc/apt/sources.list.d/*.list）来获取软件包仓库（repository）的信息。

APT 的软件源配置文件是 /etc/apt/sources.list ，此外还可以包含 /etc/apt/sources.list.d/ 目录下的 .list 文件。这些文件定义了 APT 从哪里下载软件包和更新信息。

一个典型的 sources.list 条目格式如下：

deb [options] url distribution component1 component2 component3

• deb：表示这是一个二进制软件包的仓库，对应的 deb-src 表示源代码仓库。
• options：可选项，例如可以指定架构。
• url：仓库的 URL。
• distribution：发行版的代号，如 focal、buster 等。
• component ：仓库中的组成部分，如 main、restricted 等。

Repository 的类型

在 APT 的上下文中，软件包仓库是网络或本地的存储位置，它们存储了软件包及其元数据。主要有以下几种类型的仓库：

• Main：官方支持的免费软件。
• Universe：社区维护的免费软件。
• Restricted：官方支持的非自由软件。
• Multiverse：非自由软件，不包括官方支持。

添加新的软件源

要添加新的软件源，你可以直接编辑 sources.list 文件或在 sources.list.d/ 目录下创建一个新的 .list 文件。例如，添加一个新的 PPA（Personal Package Archive）：

sudo add-apt-repository ppa:<repository_name>

这个命令不仅会添加软件源，还会自动导入仓库的公钥，确保软件包的安全性。

删除软件源

要删除软件源，可以直接编辑 sources.list 文件或删除 sources.list.d/ 目录下相应的 .list 文件。之后，运行 sudo apt update 来更新软件包列表。