Linux内核中的cgroups技术详解

最新推荐文章于 2026-05-30 22:29:55 发布

原创最新推荐文章于 2026-05-30 22:29:55 发布 · 306 阅读

104 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#linux #系统内核 #嵌入式

Linux内核中的cgroups技术详解

引言

cgroups（Control Groups）是Linux内核中用于限制、记录和隔离进程组资源使用的机制。它为容器技术、资源管理和服务质量保证提供了基础。cgroups允许管理员精细地控制系统资源的分配，确保关键任务获得足够的资源，同时防止单个进程过度消耗系统资源。本文将深入探讨Linux内核中的cgroups技术，包括其设计原理、实现机制、应用场景等。

cgroups的基本概念

1. 什么是cgroups

cgroups是Linux内核中的一种机制，用于限制、记录和隔离进程组的资源使用（如CPU、内存、磁盘I/O、网络等）。cgroups可以将进程组织成层次化的树状结构，每个节点可以设置不同的资源限制。

2. cgroups的历史

2006年：Google工程师Paul Menage和Rohit Seth开始开发cgroups
Linux 2.6.24：cgroups首次引入Linux内核
Linux 2.6.29：cgroups成为内核的正式部分
Linux 3.x：cgroups功能不断扩展和完善
Linux 4.5：cgroups v2（统一层次结构）引入

3. cgroups的优势

资源限制：限制进程组的资源使用
资源监控：监控进程组的资源使用情况
资源隔离：隔离不同进程组的资源
优先级管理：设置进程组的资源使用优先级
自动化管理：通过文件系统接口进行管理

cgroups的架构

1. cgroups的组件

子系统（Subsystems）：也称为控制器（Controllers），负责管理特定类型的资源
层级（Hierarchy）：进程组的树状结构
控制组（Control Group）：层级中的节点，包含一组进程和相关的资源限制
任务（Task）：进程或线程

2. cgroups的子系统

cpu：限制CPU使用
cpuacct：统计CPU使用情况
cpuset：分配特定的CPU和内存节点
memory：限制内存使用
devices：控制设备访问
freezer：挂起或恢复进程组
net_cls：标记网络数据包
blkio：限制块设备I/O
net_prio：设置网络流量优先级
hugetlb：限制大页使用
pids：限制进程数量

3. cgroups的层级结构

cgroups的层级结构是一个树状结构，每个层级可以附加一个或多个子系统。进程可以属于多个层级，但在每个层级中只能属于一个控制组。

hierarchy1 (cpu, cpuacct)
├── group1
│   ├── process1
│   └── process2
└── group2
    └── process3

hierarchy2 (memory)
├── groupA
│   ├── process1
│   └── process3
└── groupB
    └── process2

cgroups的实现

1. cgroups的文件系统接口

cgroups通过虚拟文件系统（cgroupfs）提供用户空间接口，默认挂载在/sys/fs/cgroup目录。

# 查看cgroups挂载点
mount | grep cgroup

# 查看可用的子系统
ls /sys/fs/cgroup/

2. cgroups的基本操作

创建控制组

# 在cpu子系统中创建控制组
sudo mkdir /sys/fs/cgroup/cpu/mygroup

# 设置CPU限制
sudo echo 50000 > /sys/fs/cgroup/cpu/mygroup/cpu.cfs_quota_us
sudo echo 100000 > /sys/fs/cgroup/cpu/mygroup/cpu.cfs_period_us

将进程加入控制组

# 将进程加入控制组
sudo echo <pid> > /sys/fs/cgroup/cpu/mygroup/cgroup.procs

# 运行进程时指定控制组
sudo cgexec -g cpu:mygroup command

查看控制组状态

# 查看控制组中的进程
cat /sys/fs/cgroup/cpu/mygroup/cgroup.procs

# 查看CPU使用情况
cat /sys/fs/cgroup/cpuacct/mygroup/cpuacct.usage

3. cgroups的内核实现

cgroups的内核实现主要包括以下部分：

cgroup核心：管理层级和控制组
子系统：实现特定资源的管理
文件系统接口：提供用户空间访问

cgroup核心数据结构

// 控制组结构体
struct cgroup {
    struct cgroup_subsys_state *subsys[CGROUP_SUBSYS_COUNT];
    struct list_head children;
    struct cgroup *parent;
    struct dentry *dentry;
    // 其他字段...
};

// 子系统状态结构体
struct cgroup_subsys_state {
    struct cgroup *cgroup;
    // 子系统特定数据...
};

// 子系统结构体
struct cgroup_subsys {
    struct cgroup_subsys_state *(*create)(struct cgroup *cgrp);
    void (*destroy)(struct cgroup *cgrp);
    int (*can_attach)(struct cgroup *cgrp, struct task_struct *tsk);
    void (*attach)(struct cgroup *cgrp, struct task_struct *tsk);
    // 其他方法...
};

cgroups的应用场景

1. 容器技术

cgroups是容器技术的核心组件之一，它为容器提供资源隔离和限制。

Docker：使用cgroups限制容器的CPU、内存、磁盘I/O等资源
Kubernetes：通过cgroups管理Pod的资源使用
LXC：使用cgroups实现容器的资源隔离

2. 系统资源管理

cgroups可以用于系统资源的管理和优化。

限制后台任务：限制后台任务的CPU和内存使用
保证关键服务：为关键服务预留足够的资源
资源使用监控：监控系统各部分的资源使用情况

3. 服务质量保证

cgroups可以用于提供服务质量保证（QoS）。

网络QoS：使用net_cls和net_prio子系统设置网络流量优先级
存储QoS：使用blkio子系统限制磁盘I/O
计算QoS：使用cpu子系统限制CPU使用

4. 安全隔离

cgroups可以与其他安全机制结合，提供更强的隔离。

与SELinux结合：提供更全面的安全隔离
与命名空间结合：提供进程和网络隔离
限制资源使用：防止DoS攻击

cgroups的工具生态

1. 核心工具

cgroup-tools：cgroups的命令行工具
- cgcreate：创建控制组
- cgdelete：删除控制组
- cgexec：在控制组中执行命令
- cgclassify：将进程加入控制组
libcgroup：cgroups的库，提供编程接口

2. 监控工具

cgroup-monitor：监控cgroups的资源使用
cgtop：类似top的cgroups监控工具
systemd-cgtop：systemd提供的cgroups监控工具

3. 管理工具

systemd：通过systemd.slice管理cgroups
lxc-cgroup：LXC的cgroups管理工具
docker stats：Docker的资源使用监控

cgroups的性能优化

1. 层级结构优化

合理组织层级：根据资源管理需求组织层级结构
减少层级深度：避免过深的层级结构
共享层级：将相关的子系统放在同一层级

2. 资源限制优化

合理设置限制：根据实际需求设置资源限制
避免过度限制：避免设置过于严格的资源限制
动态调整：根据负载动态调整资源限制

3. 监控优化

定期监控：定期监控资源使用情况
设置告警：当资源使用超过阈值时告警
分析趋势：分析资源使用趋势，提前调整

cgroups的安全

1. cgroups的安全机制

权限控制：通过文件系统权限控制对cgroups的访问
资源限制：限制进程的资源使用，防止DoS攻击
隔离：隔离不同进程组的资源

2. cgroups的安全最佳实践

最小权限：只授予必要的cgroups访问权限
合理设置限制：设置合理的资源限制，防止资源滥用
监控：监控cgroups的使用情况，及时发现异常
结合其他安全机制：与SELinux、AppArmor等安全机制结合

cgroups v2

1. cgroups v2的新特性

统一层次结构：所有子系统共享同一层级结构
简化的接口：更简洁的文件系统接口
改进的资源管理：更细粒度的资源管理
更好的隔离：更强的资源隔离能力

2. cgroups v2的使用

# 挂载cgroups v2
mount -t cgroup2 none /sys/fs/cgroup

# 创建控制组
mkdir /sys/fs/cgroup/mygroup

# 设置资源限制
echo "max 1G" > /sys/fs/cgroup/mygroup/memory.max
echo "50000" > /sys/fs/cgroup/mygroup/cpu.max

# 将进程加入控制组
echo <pid> > /sys/fs/cgroup/mygroup/cgroup.procs

3. cgroups v2与v1的兼容性

向后兼容：cgroups v2支持与v1共存
迁移路径：提供从v1到v2的迁移路径
默认版本：新系统默认使用v2

实际案例分析

案例：使用cgroups限制容器资源

问题：需要限制Docker容器的CPU和内存使用

分析：

使用cgroups的cpu和memory子系统
设置合理的资源限制
监控容器的资源使用情况

解决方案：

# 运行容器时设置资源限制
docker run --cpus=0.5 --memory=512m nginx

# 查看容器的cgroups配置
docker inspect <container_id> | grep -A 20 "Cgroup"

# 监控容器的资源使用
docker stats <container_id>

案例：使用cgroups保证关键服务的资源

问题：需要保证数据库服务的CPU和内存资源

分析：

创建专门的控制组
设置资源限制和优先级
将数据库进程加入控制组

解决方案：

# 创建控制组
sudo cgcreate -g cpu,memory:database

# 设置CPU限制（保证50%的CPU时间）
sudo cgset -r cpu.cfs_quota_us=50000 database
sudo cgset -r cpu.cfs_period_us=100000 database

# 设置内存限制
sudo cgset -r memory.limit_in_bytes=2G database

# 将数据库进程加入控制组
sudo cgclassify -g cpu,memory:database $(pgrep postgres)

# 查看控制组状态
sudo cgget -g cpu,memory:database

案例：使用cgroups监控系统资源使用

问题：需要监控系统各部分的资源使用情况

分析：

创建控制组层次结构
监控各控制组的资源使用
分析资源使用趋势

解决方案：

# 创建控制组层次结构
sudo cgcreate -g cpuacct,memory:system
sudo cgcreate -g cpuacct,memory:system/web
sudo cgcreate -g cpuacct,memory:system/database
sudo cgcreate -g cpuacct,memory:system/background

# 将进程加入相应的控制组
sudo cgclassify -g cpuacct,memory:system/web $(pgrep nginx)
sudo cgclassify -g cpuacct,memory:system/database $(pgrep postgres)
sudo cgclassify -g cpuacct,memory:system/background $(pgrep cron)

# 监控资源使用
while true; do
    echo "=== Web Server ==="
    cat /sys/fs/cgroup/cpuacct/system/web/cpuacct.usage
    cat /sys/fs/cgroup/memory/system/web/memory.usage_in_bytes
    echo "=== Database ==="
    cat /sys/fs/cgroup/cpuacct/system/database/cpuacct.usage
    cat /sys/fs/cgroup/memory/system/database/memory.usage_in_bytes
    echo "=== Background ==="
    cat /sys/fs/cgroup/cpuacct/system/background/cpuacct.usage
    cat /sys/fs/cgroup/memory/system/background/memory.usage_in_bytes
    sleep 1
 done