【Storm】06.Storm功能实现之词频统计
词频统计
完整源码
需求:
读取指定目录的数据,并实现单词计数功能
实现方案:
- Spout来读取指定目录的数据,作为后续Bolt处理的input
- 使用一个Bolt把input的数据,切割开,我们按照逗号进行分割
- 使用一个Bolt来进行最终的单词次数统计操作
- 输出
完整源码
读取指定目录的数据,并实现单词计数功能
核心接口(interface),负责将数据发送到topology中去处理。
Storm会跟踪Spout发出去的tuple的DAG
ack/fail
tuple:message id (每一次发出去的tuple都有一个messageid,保证如果错误的话messageId可以回传)
ack/fail/nextTuple 是在同一个线程中执行的,所以不用考虑线程安全