前言
这段时间折腾了好久容器搭建开发环境和家里软路由趟的一些坑。这里先记录一下使用容器搭开发环境的一些流程和问题。
开发环境一般里面会包含很多的工具和开启一些服务。 我自己的环境测试和搭建了 ubuntu 、 centos 、 archlinux 。 开启了 systemd , 支持网络代理+vscode远程开发, 支持 docker 和 podman ,支持k8s,开启了 sshd 。 所有的构建脚本及 Dockerfile 都放在 https://github.com/owent-utils/docker-setup 了,有需要的小伙伴可以自取。
编译podman
之前看一些文章把 podman 吹上了天,于是我就当了下小白鼠。最后的建议是除非你想去折腾这玩意,不然现阶段还是珍爱生命,远离它(BUG茫茫多,想想都是泪)。
除了一些自带的发行版以外,有些发行版(比如 Debian)还是得自己编译自己装。发行版自带的版本也相对较低,如果想用比较新的版本也是得自己编译安装。 官方给出的编译安装组件并不完整,而且 podman 内部的一些组件互相依赖的版本也很高,系统自带的组件版本也不一定能够支持,我自己总结的需要准备的列表如下:
- golang
- ostree
- conmon(容器监控工具)
- runc(容器运行工具)
- cni(对非host模式rootful容器的网络支持)
- libpod(podman 命令行工具)
- fuse-overlayfs(rootless容器的用户空间文件系统挂载支持)
- slirp4netns(rootless容器的用网络支持)
具体的流程在: https://github.com/owent-utils/docker-setup/blob/master/build-podman.sh
基本设置
拉取镜像和网络代理和自建镜像仓库
拉取 docker 镜像的命令我就不贴了。这里如果是用的docker 而不是 podman 并且网络要要走代理需要配置下。
首先 docker 服务的代理只能配环境变量,需要在 /lib/systemd/system/docker.service
里(假设用的 systemd 启动的 docker 服务)的 [Service]
段里加上
Environment="HTTP_PROXY=HTTP代理地址:端口" "HTTPS_PROXY=HTTP代理地址:端口" "NO_PROXY=代理排除列表"
然后如果有自定义镜像仓库要排除TLS证书检查的话可以在 /etc/docker/daemon.json
里配置:
{
"graph": "数据存放路径,如: /data/docker-data",
"storage-driver": "overlay",
"insecure-registries" : [ "registry.fedoraproject.org", "registry.access.redhat.com", "registry.centos.org", "docker.io", "quay.io", "其他自建仓库..." ]
}
镜像构建流程
- 换源
- 很多容器官方镜像是关闭文档的,开发环境还是需要它所以打开文档安装man-db
- 开文档后可能要重新安装某些组件触发一次拉取文档和man-db
- 安装基本工具
- 安装编译环境
- 生成locale,某些发行版没有
locale.gen
, 直接执行localectl set-locale LANG=en_GB.utf8
吧 - 设置时区
- 开启sshd服务,改服务端口,把
/etc/pam.d/*
里的pam_loginuid.so
改成 optional 。 - 清理安装包缓存目录和日志
大致就是如上的流程,这里提供一下我自己构建过的几个 Dockerfile
, 都在 https://github.com/owent-utils/docker-setup 这个仓库里,部分Dockerfile可能会依赖里面的脚本所以最好整个仓库clone下来就可以直接用。如果要设置开发环境代理的话可以在构建镜像的时候加上 --env SETUP_INSTALL_PROXY=HTTP代理地址
和 --env SETUP_INSTALL_NO_PROXY=代理排除地址
。
- Ubuntu: https://github.com/owent-utils/docker-setup/blob/master/ubuntu.devtools.Dockerfile
- Debian: https://github.com/owent-utils/docker-setup/blob/master/debian.devtools.Dockerfile
- CentOS 7: https://github.com/owent-utils/docker-setup/blob/master/centos7.devtools.Dockerfile
- CentOS 8: https://github.com/owent-utils/docker-setup/blob/master/centos8.devtools.Dockerfile
- Archlinux: https://github.com/owent-utils/docker-setup/blob/master/arch.devtools.Dockerfile
在宿主机上测试( 兼容systemd )
要让容器能够启动 systemd 的话需要额外给一些权限和共享出cgroup。 然后启动命令必须是 /lib/systemd/systemd
。
我试了几个主要的发行版都是
/lib/systemd/systemd
,有些发行版会安装 systemd 适配 sysv 的包,然后/sbin/init
会被软链到/lib/systemd/systemd
,用这个也可以。
如果是 podman 的话内建了对 systemd 的支持。只要加上启动参数 --systemd true
就可以了。
如果是原版的 docker 的话,这里提供一个命令参考(参数选项来自 podman 的代码):
docker run -d --name 容器名称 --cap-add=SYS_ADMIN \
--mount type=tmpfs,target=/run,tmpfs-mode=1777,tmpfs-size=67108864 \
--mount type=tmpfs,target=/run/lock,tmpfs-mode=1777,tmpfs-size=67108864 \
--mount type=tmpfs,target=/tmp,tmpfs-mode=1777 \
--mount type=tmpfs,target=/var/log/journal,tmpfs-mode=1777 \
--mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup \
镜像HASH值或TAG名称 /sbin/init
网络代理和vscode和zsh
我现在主力使用vscode 远程开发插件来远程开发的。但是配置容器网络的时候碰到过很多问题,要么某些环境初始化不了,要么更新失败。
我试过加初始化代理的环境变量脚本到 $HOME/.bashrc
和加到 /etc/profile.d/xxx.sh
都不能完美解决问题。特别是使用了 zsh
之后。
最终比较完美的解决方案有两种,第一种是把代理环境变量写进 Dockerfile 里, 另一种是 sshd 的配置( /etc/ssh/sshd_config
) 里开启 PermitUserEnvironment yes
然后把环境变量写进 $HOME/.ssh/environment
里。(记得要 chmod 600 $HOME/.ssh/environment
)
其他
这段时间还折腾了下 nftables
,用起来很爽,但是也是踩了一些坑。不过这个组件比 podman 靠谱多了,只是功能上还不能完全替代 iptables
+ ebtables
而已。
我也是尝试用了好多种发行版docker里跑软路由,后面再来填坑吧。