linux cgroups详细介绍

从 2.6.24 版本开始，linux 内核提供了一个叫做 cgroups（控制组）的特性。cgroups 就是 control groups 的缩写，用来对一组进程所占用的资源做限制、统计、隔离。也是目前轻量级虚拟化技术 lxc （linux container）的基础之一。每一组进程就是一个控制组，也就是一个 cgroup。cgroups 分为几个子系统，每个子系统代表一种设施或者说是资源控制器，用来调度某一类资源的使用，如 cpu 时钟、内存、块设备 等。在实现上，cgroups 并没有增加新的系统调用，而是表现为一个 cgroup 文件系统，可以把一个或多个子系统挂载到某个目录。如
 

就将 cpu 子系统挂载在了 /sys/fs/cgroup/cpu 。也可以在一个目录上挂载多个子系统，甚至全部挂载到一个目录也是可以的，不过我觉得，把每个子系统都挂载在不同目录会有更好的灵活性。用 mount|awk '$5=="cgroup" {print $0}' 可以看到当前挂载的控制组。用 cat /proc/cgroups 可以看到当前所有控制组的状态。下面这个脚本，可以把全部子系统各种挂载到各自的目录上去。
 

看看那些目录里都有些啥，比如 ls 一下 /sys/fs/cgroup/cpu。
 

其中 “cpu.” 开头的就是这个子系统里特有的东西。其他的那些是每个子系统所对应目录里都有的。这些文件就是用来读取资源使用信息和进行资源限制的。要创建一个控制组，就在需要的子系统里创建一个目录即可。如 mkdir /sys/fs/cgroup/cpu/foo 就创建了一个 /foo 的控制组。在新建的目录里就会出现同样一套文件。在这个目录里，也一样可以继续通过创建目录来创建 cgroup。也就是说，cgroup 是可以和目录结构一样有层次的。对与每个子系统挂载点点目录，就相当于根目录。每一条不同的路径就代表了一个不同的 cgroup。在不同的子系统里，路径相同就代表了同一个控制组。如，在 cpu、memory 中都有 foo/bar 目录，就可以用 那 /foo/bar 来操作 cpu、memory 两个子系统。对于同一个子系统，每个进程都属于且只属于一个 cgroup，默认是在根 cgroup。层次结构方便了控制组的组织和管理，对于某些配置项来说，层次结构还和资源分配有关。另外，也可以修改某个目录的 owner ，让非 root 用户也能操作某些特定的安全组。

cgroups 的设置和信息读取是通过对那些文件的读写来进行的。例如
 

前面说，有些文件是每个目录里共有的。那些就是通用的设置。其中，tasks 和 cgroups.procs 是用来管理控制组中的进程的。要把一个进程加入到某个控制组，把 pid 写入到相应目录的 tasks 文件即可。如
 

要把进程移出控制组，把 pid 写入到根 cgroup 的 tasks 文件即可。因为每个进程都属于且只属于一个 cgroup，加入到新的 cgroup 后，原有关系也就解除了。要删除一个 cgroup，可以用 rmdir 删除相应目录。不过在删除前，必须先让其中的进程全部退出，对应子系统的资源都已经释放，否则是无法删除的。

前面都是通过文件系统访问方式来操作 cgroups 的。实际上，也有一组命令行工具。

lssubsys -am 可以查看各子系统的挂载点，还有一组“cg”开头的命令可以用来管理。其中 cgexec 可以用来直接在某些子系统中的指定控制组运行一个程序。如 cgexec -g "cpu,blkio:/foo" bash 。其他的命令和具体的参数可以通过 man 来查看。

下面是个 bash 版的 cgexec，演示了 cgroups 的用法，也可以在不确定是否安装命令行工具的情况下使用。