vmware/kube-fluentd-operator

Kube-fluentd-operator 镜像文档

镜像概述

Kube-fluentd-operator 是由VMware开发的工具，旨在简化Kubernetes环境中Fluentd的配置与管理。该镜像提供了一种声明式方式来配置Fluentd，实现容器日志的自动化收集、处理和转发，适用于Kubernetes集群的日志管理场景。

• 项目地址：https://github.com/vmware/kube-fluentd-operator
• 发布说明：https://github.com/vmware/kube-fluentd-operator/releases

核心功能与特性

1. 自动化Fluentd配置
   通过Kubernetes自定义资源（CRD）声明式定义Fluentd配置，无需手动编写复杂的Fluentd配置文件。

2. Kubernetes原生集成
   与Kubernetes资源（如Pod、Namespace、ConfigMap）深度集成，支持基于标签选择器筛选日志源。

3. 灵活的日志处理能力
   支持日志过滤、转换、结构化处理，可配置多种输出目标（如Elasticsearch、Loki、S3等）。

4. 动态配置更新
   配置变更后自动热加载，无需重启Fluentd实例，确保日志收集服务不中断。

5. 多租户支持
   支持按Namespace隔离日志配置，满足多团队、多环境的日志管理需求。

使用场景

• Kubernetes集群日志集中管理：统一收集集群内所有容器、Pod的日志，实现日志标准化与集中存储。
• 多环境日志聚合：在开发、测试、生产环境中部署相同的日志配置，确保日志处理逻辑一致。
• 日志转发至第三方平台：将处理后的日志转发到ELK Stack、Grafana Loki、AWS CloudWatch等监控或存储平台。
• 合规性日志审计：通过配置特定规则，实现敏感操作日志的过滤与留存，满足合规审计要求。

使用方法与配置说明

前置条件

• Kubernetes集群（版本1.16+）
• kubectl命令行工具
• Helm（可选，用于简化部署）

部署步骤

1. 安装CRD

bash
kubectl apply -f https://raw.githubusercontent.com/vmware/kube-fluentd-operator/master/config/crd/bases/fluentdoperator.vmware.com_fluentdconfigs.yaml

2. 部署Operator

通过kubectl直接部署：

bash
kubectl apply -f https://raw.githubusercontent.com/vmware/kube-fluentd-operator/master/config/manager/manager.yaml

或使用Helm（推荐）：

bash
helm repo add kube-fluentd-operator https://vmware.github.io/kube-fluentd-operator/helm-charts
helm install kube-fluentd-operator kube-fluentd-operator/kube-fluentd-operator --namespace kube-fluentd-operator --create-namespace

配置示例

创建FluentdConfig自定义资源

以下示例配置将收集所有Namespace的容器日志，并转发至Elasticsearch：

yaml
apiVersion: fluentdoperator.vmware.com/v1alpha1
kind: FluentdConfig
metadata:
  name: example-fluentd-config
  namespace: kube-fluentd-operator
spec:
  sources:
    - type: tail
      path: /var/log/containers/*.log
      posFile: /var/log/fluentd-containers.log.pos
      tag: kube.*
      parser:
        type: docker
        timeKey: time
        timeFormat: "%Y-%m-%dT%H:%M:%S.%NZ"
  filters:
    - type: kubernetes
      kubeURL: https://kubernetes.default.svc:443
      kubeCAFile: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
      kubeTokenFile: /var/run/secrets/kubernetes.io/serviceaccount/token
      mergeLog: true
      keepLog: false
  outputs:
    - type: elasticsearch
      host: elasticsearch-master
      port: 9200
      logstashFormat: true
      logstashPrefix: kube-logs
      indexName: kube-logs

应用配置：

bash
kubectl apply -f example-fluentd-config.yaml

环境变量配置

验证部署

检查Operator Pod状态：

bash
kubectl get pods -n kube-fluentd-operator

查看Fluentd配置是否生效：

bash
kubectl logs -n kube-fluentd-operator <operator-pod-name>

注意事项

• 确保集群节点有足够的资源（CPU/内存）运行Fluentd实例。
• 对于大规模集群，建议配置日志采样或过滤规则，避免日志量过大导致性能问题。
• 定期更新镜像至最新版本，以获取最新功能和安全修复。