周末接收到监控系统报警,多个机器出现磁盘空间不足的现象。
到主机上查看,发现是fluetd container 产生的log文件达到了100G+,tail -f看了下log文件发现log级别为info
查询官方文档发现fluentd默认日志等级为info https://docs.fluentd.org/deployment/logging,在info级别下,集群中容器越多生成的log越大,所以需要将日志等级提高。
文档中写道只要将下面的配置写入到配置文件即可
<system>
log_level 日志等级
</system>
所以将其中systemd.conf使用configmap挂载,再进行部署即可
configmap.yml
kind: ConfigMap
apiVersion: v1
metadata:
name: fluentd-config
namespace: logging
data:
systemd.conf: |
# AUTOMATICALLY GENERATED
# DO NOT EDIT THIS FILE DIRECTLY, USE /templates/conf/systemd.conf.erb
<system>
log_level error
</system>
# Logs from systemd-journal for interesting services.
<source>
@type systemd
@id in_systemd_kubelet
matches [{ "_SYSTEMD_UNIT": "kubelet.service" }]
<storage>

本文介绍了如何处理k8s环境下fluentd容器产生的日志文件过大问题,通过调整fluentd的日志级别从info提升,减少日志生成量。通过创建configmap并挂载到fluentd的daemonset yaml中,成功解决了磁盘空间不足的问题。

8491

被折叠的 条评论
为什么被折叠?



