Linux系统下Flume使用指南（flumelinux）

Flume是一个基于分布式的，有限的、可靠的、高吞吐的，流式数据传输框架，能够收集、合并、路由和传递日志数据。它可以被用于搭建企业级数据管道，可以实现从收集数据到存储数据的实时处理。在Linux系统下，Flume可以方便用户对大量实时日志数据进行管理和采集。本文将简要介绍Linux系统下使用Flume的方法。

1.准备工作

首先，在Linux系统下安装Flume，并准备好需要监控的日志资源。如果要监控某个可写入文件的日志源，可以使用tail指令来查看文件的实时变化。同时，还要根据需要配置Flume的全局配置文件，以及下游的保存设备的地址和端口等信息。

2.启动Flume

可以借助以下Flume命令在Linux环境下启动flume：

bin/flume-ng agent –c conf –f conf/flume-conf.properties –n a1 

上述命令的功能是指定configuration files的位置，并指定Flume agent的name为a1，进而启动agent a1。

3.Flume监控文件内容

可以使用下面的配置令agent a1连接一个名为“tail”的source，并监控指定的文件：

a1.sources.tail.type = exec
a1.sources.tail.command = tail -F /var/log/syslog

这里的a1.sources.tail表示设置agent a1的源，而a1.sources.tail.type表示设置其类型，这里设置为exec表示添加一个可执行程序。a1.sources.tail.comand表示指定可执行程序的命令，此处设置为使用tail指令来监控/var/log/syslog文件。

4.通过Flume传输数据

以上已经介绍了如何监控日志，接下来可以添加sink，将监控到的数据进行处理并发送出去：

a1.sinks.k1.type = org.apache.hadoop.hive.jdbc.HiveDriver
a1.sinks.k1.channel = c1
a1.sinks.k1.hive.metastore.uris = jdbc:hive2://hive:10000/default
a1.sinks.k1.hive.db = default
a1.sinks.k1.hive.database = default

这里的a1.sinks.k1表示设置agent a1的sink，通过a1.sinks.k1.type指定sink的类型，这里表示为HiveDriver，能够将数据写入Hive中。a1.sinks.k1.channel指定channel的名称，a1.sinks.k1.hive.metastore.uris指定Hive的metastore的地址，a1.sinks.k1.hive.db指定数据库的名称，本例中采用默认数据库default。

5.结束Flume传输

最后，通过以下命令停止Flume传输程序：

# bin/flume-ng stop a1 

上述命令指定停止agent a1，结束Flume传输。

到此为止，Linux系统下对日志数据进行采集和管理的整个过程就全部完成了。通过Flume，用户可以方便地从实时日志数据中收集和传输必要的信息，实现企业级数据管道搭建，为其他Hadoop等数据处理起到很大的帮助。