创建配置文件
创建配置文件netcatListen.conf,监听端口并输出到日志
[root@master ~]# mkdir /usr/local/src/flume/job
[root@master ~]# vi /usr/local/src/flume/job/netcatListen.conf
# 基本组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 配置source监听源
a1.sources.r1.type = netcat # 端口类型
a1.sources.r1.bind = localhost # 绑定主机名或ip地址
a1.sources.r1.port = 44444 # 监听的端口号
# 配置sink接收器
a1.sinks.k1.type = logger # 输出到日志
# 配置channel
a1.channels.c1.type = memory # 使用内存通道
a1.channels.c1.capacity = 1000 # 存储在通道中的最大event数量
a1.channels.c1.transactionCapacity = 100 # 一个事务中的最大事件数
# 将源和接收器绑定到通道
a1.sources.r1.channels = c1 # 指定agent a1的source(源)s1的通道为c1
a1.sinks.k1.channel = c1 # 指定agent a1的sink(槽)k1的通道为c1,注意sink(槽)只能有一个通道,所以连接时为channel
启动
第一种写法:
[root@master flume]# bin/flume-ng agent --conf conf/ --name a1 --conf-file job/netcatListen.conf -D flume.logger=INFO,console
第二种写法:
[root@master flume]# bin/flume-ng agent -c conf/ -n a1 –f job/netcatListen.conf -D flume.logger=INFO,console
参数详解
--conf/-c:表示配置文件存储在conf/目录
--name/-n:表示给agent起名为a1
--conf-file/-f:flume本次启动读取的配置文件是在job文件夹下的netcatListen.conf文件。
-Dflume.root.logger=INFO,console :-D表示flume运行时动态修改flume.logger参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
另外启动一个窗口 监听端口:nc localhost 44444 再向此窗口中输入数据,则在另一个端口中即可看到打印输出该数据
下载netcat,用于监听端口
yum install -y netcat
下载net-tools,用于查看端口号使用情况
yum install -y net-tools
下载telnet,用于向端口号发送消息
yum install -y telnet