Flume实现Spooling Directory Source 案例
原创
wx62be9d88ce294博主文章分类：大数据 ©著作权
文章标签 java hbase 数据 指定目录 假脱机 文章分类 Hadoop 大数据
©著作权归作者所有：来自51CTO博客作者wx62be9d88ce294的原创作品，请联系作者获取转载授权，否则将追究法律责任
此源可以通过将要摄取的文件放入磁盘上的”假脱机”目录中来摄取数据。 此源将监视新文件的指定目录，并将在出现新文件时从新文件中解析事件。 事 件解析逻辑可插拔… 在一个给定的文件被完全读入通道后，它被重命名以指示 完成（或可选地删除）
- 先停掉 node1 上的 flume（ctrl+c）
- 将 node1 上的 option拷贝 option_sdir，并修改：
[root@node1 ~][root@node1 ~]a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /root/log a1.sources.r1.fileHeader = true
- 启动 node1 上的 flume
flume-ng agent -n a1 --conf-file option_sdir -Dflume.root.logger=INFO,console
启动后抛出以下异常： java.lang.IllegalStateException: Directory does not exist: /root/log 这是因为目录没有创建，创建目录后再次启动，则解决了。
- 复制一个 node1 连接的 xshell 终端，/root/log 目录下拷贝文本文件
[root@node1 ~]
- 然后在启动 flume 的终端中查看信息
21/11/20 14:52:07 INFO avro.ReliableSpoolingFileEventReader: Last read took us just up to a file boundary. Rolling to the next file, if there is one.21/11/20 14:52:07 INFO avro.ReliableSpoolingFileEventReader: Preparing to move file /root/log/wc.txt to /root/log/wc.txt.neusoft21/11/20 15:01:37 INFO avro.ReliableSpoolingFileEventReader: Last read took us just up to a file boundary. Rolling to the next file, if there is one.21/11/20 15:01:37 INFO avro.ReliableSpoolingFileEventReader: Preparing to move file /root/log/log.txt to /root/log/log.txt.neusoft21/11/20 15:01:41 INFO sink.LoggerSink: Event: { headers:{file=/root/log/log.txt} body: 68 65 6C 6C 6F 20 6E 65 75 73 6F 66 74 hello neusoft }21/11/20 15:01:41 INFO sink.LoggerSink: Event: { headers:{file=/root/log/log.txt} body: 68 65 6C 6C 6F 20 79 71 71 hello yqq }
- 赞
- 收藏
- 评论
- *举报
上一篇：二分法算法查找的实现
下一篇：文本文件和二进制文件
Original: https://blog.51cto.com/u_15704423/5435418
Author: wx62be9d88ce294
Title: Flume实现Spooling Directory Source 案例
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/516844/
转载文章受原作者版权保护。转载请注明原作者出处！