如何在 fluidd csv 格式化程序中关闭字段值周围的引号以禁用分隔符？

有志者，事竟成！如果你在学习Golang，那么本文《如何在 fluidd csv 格式化程序中关闭字段值周围的引号以禁用分隔符？》，就很适合你！文章讲解的知识点主要包括，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

我使用 fluentd 从 golang 应用程序收集 csv 格式的日志。

这是 fluiddconf 文件

<source>
    @type  forward
    @id    app_logs
    @label @mainstream
    port  24224
</source>



<label @mainstream>
   <match **>
      @type file
      @id   v6_logs
    <format>
      @type csv
      fields log_version,day_time,event_id,request_id,app_id,app_version,account_id,country_id,server_name,remote_ip,process_id,thread_id,item_id,message,parameters
      force_quotes false
    </format>
      path         /fluentd/log/app.log
      append       true
  </match>
</label>

我使用 fluent golang 客户端从应用程序中写入日志 https://github.com/fluence/fluent-logger-golang

logger, _ := fluent.new(fluent.config{fluentport: 24224, fluenthost: "fluentd"})
defer logger.close()
tag := "web"
var data = map[string]interface{}{
    "log_version": 6,
    "day_time":    time.now().utc().string(),
    "event_id":    1700,
    "request_id":  "54321",
    "account_id":  12345,
    "server_name": hostname,
    "process_id":  os.getpid(),
    "message":     "test message(param1; param2)",
    "parameters":  "value1, value2",
}

error := logger.post(tag, data)

输出结果如下。

6,2020-09-23 23:48:44.5731073 +0000 UTC,1700,54321,,,123467,,cabf36399a5c,,1,,,Test Message(param1; param2),"value1,value2"

如何删除“value1,value2”周围的引号（使其作为单独的字段出现）。

解决方案

我通过按照此处的说明 https://docs.fluentd.org/v/0.12/developer/plugin-development 在 ruby​​ 中编写自定义 csv 格式化程序插件并将文件放入 路径 /etc/flutter/plugin/

require 'fluent/plugin/formatter'
        
   module fluent::plugin
   class mycsvformatter < formatter
       # register mycsvformatter as 'my_csv'.
       fluent::plugin.register_formatter('my_csv', self)
       config_param :csv_fields, :array, value_type: :string

       # this method does further processing. configuration parameters can be
       # accessed either via `conf` hash or member variables.
       def configure(conf)
         super
       end

       # this is the method that formats the data output.
      def format(tag, time, record)
         values = []

         # look up each required field and collect them from the record
         @csv_fields.each do |field|
            if field == "parameters"
                parametervalues = []
                parametervalues = record[field].split(",").map(&:strip)
                values.push(*parametervalues)
                next
            end

            v = record[field]
            values << v.to_s
          end

         # output by joining the fields with a comma
         values.join(',') + "\n"
      end
    end
   end

更新了 fluentd conf 文件以使用像这样的自定义格式

<label @mainstream>
   <match **>
      @type file
      @id   v6_logs
    <format>
      @type my_csv
      csv_fields log_version,day_time,event_id,request_id,app_id,app_version,account_id,country_id,server_name,remote_ip,process_id,thread_id,item_id,message,parameters
    </format>
      path         /fluentd/log/app.log
      append       true
  </match>
</label>

这会产生所需的输出

6,2020-09-24 06:27:52.1826684 +0000 UTC,1700,54321,,,123467,,hostname,,1,,,Test Message(param1; param2),value1,value2

本篇关于《如何在 fluidd csv 格式化程序中关闭字段值周围的引号以禁用分隔符？》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！