Flume 从 RabbitMQ 收集数据保存到 Hadoop(Windows 环境)

之前公司使用 ELK 保存日志,将日志发送到 RabbitMQ,然后再用 Logstash 收集日志到 ElasticSearch。

这里使用 Flume 将日志保存到 Hadoop,日志源正好可以重用之前 RabbitMQ 中的日志,只需要在 Exchange 中新增一个 binding 就行了。

1. 下载 Flume 和 安装 rabbitmq-flume-plugin 插件

下载 apache-flume-1.8.0-bin.tar.gz 后解压到 D:\flume\flume-1.8.0 目录。