logo
tt's Note
  • 运维
    • 数据库
    • linux
    • vpn
    • 日志
    • 中间件
    • 服务
    • 监控
    • shell
    • windows
    • 语言
    • 云服务
    • 其他
  • 开发
    • 工具
  • 软件
    • 浏览器
    • 多端
    • win
    • mac
    • 网站
  • 项目
    • 效率工具
    • 兴趣
  • 脚本
    • jenkins
    日志概览
    ELK日志系统
    clickhouse日志系统
    clickvisual
    filebeat
    loki
    rsyslog
    轻量化收集与消费
    上一页rsyslog

    #轻量化收集与消费

    #收集端

    #Filebeat

    filebeat.config:
      modules:
        path: ${path.config}/modules.d/*.yml
        reload.enabled: false
    
    processors:
      - add_cloud_metadata: ~
    
    filebeat.inputs:
      - type: filestream
        paths:
          - /data/logs/*.log
        fields:
          vpc: test
          saltid: test
        fields_under_root: true
    
    
    output.redis:
      hosts: ["127.0.0.1:6379"]
      password: "password"
      key: "filebeat"
      db: 15
      timeout: 5
    
      required_acks: 1
      compression: gzip
      max_message_bytes: 1000000
    

    #Vector

    Tip

    这里的密码之前需要加一个冒号,是官方的规范

    [sources.test]
    type = "redis"
    key = "filebeat"
    url = "redis://:password@127.0.0.1:6379/15"
    decoding.codec = "json"