前言

这段时间折腾了好久容器搭建开发环境和家里软路由趟的一些坑。这里先记录一下使用容器搭开发环境的一些流程和问题。

开发环境一般里面会包含很多的工具和开启一些服务。 我自己的环境测试和搭建了 ubuntucentosarchlinux 。 开启了 systemd , 支持网络代理+vscode远程开发, 支持 dockerpodman ,支持k8s,开启了 sshd 。 所有的构建脚本及 Dockerfile 都放在 https://github.com/owent-utils/docker-setup 了,有需要的小伙伴可以自取。

编译podman

之前看一些文章把 podman 吹上了天,于是我就当了下小白鼠。最后的建议是除非你想去折腾这玩意,不然现阶段还是珍爱生命,远离它(BUG茫茫多,想想都是泪)。

除了一些自带的发行版以外,有些发行版(比如 Debian)还是得自己编译自己装。发行版自带的版本也相对较低,如果想用比较新的版本也是得自己编译安装。 官方给出的编译安装组件并不完整,而且 podman 内部的一些组件互相依赖的版本也很高,系统自带的组件版本也不一定能够支持,我自己总结的需要准备的列表如下:

  1. golang
  2. ostree
  3. conmon(容器监控工具)
  4. runc(容器运行工具)
  5. cni(对非host模式rootful容器的网络支持)
  6. libpod(podman 命令行工具)
  7. fuse-overlayfs(rootless容器的用户空间文件系统挂载支持)
  8. slirp4netns(rootless容器的用网络支持)

具体的流程在: https://github.com/owent-utils/docker-setup/blob/master/build-podman.sh

基本设置

拉取镜像和网络代理和自建镜像仓库

拉取 docker 镜像的命令我就不贴了。这里如果是用的docker 而不是 podman 并且网络要要走代理需要配置下。

首先 docker 服务的代理只能配环境变量,需要在 /lib/systemd/system/docker.service 里(假设用的 systemd 启动的 docker 服务)的 [Service] 段里加上

Environment="HTTP_PROXY=HTTP代理地址:端口" "HTTPS_PROXY=HTTP代理地址:端口" "NO_PROXY=代理排除列表"

然后如果有自定义镜像仓库要排除TLS证书检查的话可以在 /etc/docker/daemon.json 里配置:

{
    "graph": "数据存放路径,如: /data/docker-data",
    "storage-driver": "overlay",
    "insecure-registries" : [ "registry.fedoraproject.org", "registry.access.redhat.com", "registry.centos.org", "docker.io", "quay.io", "其他自建仓库..." ]
}

镜像构建流程

  1. 换源
  2. 很多容器官方镜像是关闭文档的,开发环境还是需要它所以打开文档安装man-db
  3. 开文档后可能要重新安装某些组件触发一次拉取文档和man-db
  4. 安装基本工具
  5. 安装编译环境
  6. 生成locale,某些发行版没有 locale.gen , 直接执行 localectl set-locale LANG=en_GB.utf8
  7. 设置时区
  8. 开启sshd服务,改服务端口,把 /etc/pam.d/* 里的 pam_loginuid.so 改成 optional 。
  9. 清理安装包缓存目录和日志

大致就是如上的流程,这里提供一下我自己构建过的几个 Dockerfile , 都在 https://github.com/owent-utils/docker-setup 这个仓库里,部分Dockerfile可能会依赖里面的脚本所以最好整个仓库clone下来就可以直接用。如果要设置开发环境代理的话可以在构建镜像的时候加上 --env SETUP_INSTALL_PROXY=HTTP代理地址--env SETUP_INSTALL_NO_PROXY=代理排除地址

在宿主机上测试( 兼容systemd )

要让容器能够启动 systemd 的话需要额外给一些权限和共享出cgroup。 然后启动命令必须是 /lib/systemd/systemd

我试了几个主要的发行版都是 /lib/systemd/systemd ,有些发行版会安装 systemd 适配 sysv 的包,然后 /sbin/init 会被软链到 /lib/systemd/systemd ,用这个也可以。

如果是 podman 的话内建了对 systemd 的支持。只要加上启动参数 --systemd true 就可以了。

如果是原版的 docker 的话,这里提供一个命令参考(参数选项来自 podman 的代码):

docker run -d --name 容器名称 --cap-add=SYS_ADMIN                                           \
        --mount type=tmpfs,target=/run,tmpfs-mode=1777,tmpfs-size=67108864                  \
        --mount type=tmpfs,target=/run/lock,tmpfs-mode=1777,tmpfs-size=67108864             \
        --mount type=tmpfs,target=/tmp,tmpfs-mode=1777                                      \
        --mount type=tmpfs,target=/var/log/journal,tmpfs-mode=1777                          \
        --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup                       \
        镜像HASH值或TAG名称 /sbin/init

网络代理和vscode和zsh

我现在主力使用vscode 远程开发插件来远程开发的。但是配置容器网络的时候碰到过很多问题,要么某些环境初始化不了,要么更新失败。

我试过加初始化代理的环境变量脚本到 $HOME/.bashrc 和加到 /etc/profile.d/xxx.sh 都不能完美解决问题。特别是使用了 zsh 之后。

最终比较完美的解决方案有两种,第一种是把代理环境变量写进 Dockerfile 里, 另一种是 sshd 的配置( /etc/ssh/sshd_config ) 里开启 PermitUserEnvironment yes 然后把环境变量写进 $HOME/.ssh/environment 里。(记得要 chmod 600 $HOME/.ssh/environment

其他

这段时间还折腾了下 nftables ,用起来很爽,但是也是踩了一些坑。不过这个组件比 podman 靠谱多了,只是功能上还不能完全替代 iptables + ebtables 而已。 我也是尝试用了好多种发行版docker里跑软路由,后面再来填坑吧。