flume中几种常见的source、channel、sink_1. flume的source、channel、sink有哪些-程序员宅基地
技术标签： flume
一、source
1、avro source
侦听Avro端口并从外部Avro客户端流接收事件。 当与另一个（上一跳）Flume代理上的内置Avro Sink配对时，它可以创建分层集合拓扑。
| channels | – | |
| type | – | The component type name, needs to be avro |
| bind | – | hostname or IP address to listen on |
| port | – | Port # to bind to |
使用场景：分层的数据收集。
使用flume将Nginx日志文件上传到hdfs上，要求hdfs上的目录使用日期归档
Flume:
agent的配置 source channel sink
flume的部署模式：
两层模式：
第一层：Flume agent 与每台nginx部署在一起
exec source + memory channel/file channel + avro sink
第二层：（收集汇集层）
avro source + memory channel + hdfs sink
flume agent启动过程：
先启动第二层flume agent avro 服务端
先打印日志到控制台，检查是否报错：
bin/flume-ng agent --name a2 --conf conf/ --conf-file conf/agents/flume_a2.conf -Dflume.root.logger=INFO,console
查看端口：
netstat -tlnup | grep prot再启动第一层 flume agent
其中第一层的conf-file如下：
a1.conf
# exec source + memory channel + avro sink
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/datas/nginx/user_logs/access.log
# Describe the sink avro sink
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = rainbow.com.cn
a1.sinks.k1.port = 4545
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# combine Source channel sink
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1a2.conf
# avro source + memory channel + hdfs sink
# Name the components on this agent
a2.sources = r1
a2.sinks = k1
a2.channels = c1
# Describe/configure the source
a2.sources.r1.type = avro
a2.sources.r1.channels = c1
a2.sources.r1.bind = rainbow.com.cn
a2.sources.r1.port = 4545
# hdfs sink
a2.sinks.k1.type = hdfs
a2.sinks.k1.channel = c1
a2.sinks.k1.hdfs.path = /nginx_logs/events/%y-%m-%d/
a2.sinks.k1.hdfs.filePrefix = events-
# hfds上文件目录创建的频率
#a2.sinks.k1.hdfs.round = true
#a2.sinks.k1.hdfs.roundValue = 10
#a2.sinks.k1.hdfs.roundUnit = minute
# hfds上目录使用了时间转换符 %y-%m-%d
a2.sinks.k1.hdfs.智能推荐
最新大猿人中控充值系统 免授权学习版 支持公众号H5、分销等功能_猿人充值系统 3.2 漏洞-程序员宅基地
文章浏览阅读1.5k次。简介：最新大猿人中控充值系统 免授权破解版 支持公众号H5、分销等功能功能简介：大猿人中控系统目前是市面上用的最多的电话费充值中控系统，支持代理分销、公众号H5、API接口对接等功能，也是目前最完善的一款中控系统，前端全开源，已破解免授权！配置环境：php7.3 + Redis搭建教程：1、首先吧大猿人中控系统压缩包上传到服务器内进行解压，然后吧数据库文件导入数据库内2、修改/application/database.php 文件进行配置链接数据库。_猿人充值系统 3.2 漏洞
创建异形窗口[3]-程序员宅基地
文章浏览阅读81次。为什么80%的码农都做不了架构师？>>> ..._gtk3 异形窗口
C语言：验证下列矩阵是否为魔方阵。魔方阵是每一行、每一列、主副对角线上的元素之和都是相等的矩阵。-程序员宅基地
文章浏览阅读2.6k次。#include <stdio.h>#include <string.h>#include <string.h>int main(void){ int a[5][5] = {17,24,1,8,15, 23,5,7,14,16, 4,6,13,20,22, 10,12,19,21,3, 11,18,25._验证下列矩阵是否为魔方阵。魔方阵是每一行、每一列、主副对角线上的元素之和都是
Django疫情返乡人员管理系统-11411，计算机毕业设计开题选题+程序定制+论文书写+答辩ppt书写-原创（题目+编号）的定制程序-程序员宅基地
文章浏览阅读51次。免费领取项目源码，请关注赞收藏并私信博主，谢谢-本课题研究的疫情返乡人员管理系统，主要功能模块包括：防疫须知、疫情用品、返乡报备、用户反馈管理等，主要是主要采取Mysql作为后台数据的主要存储单元，运用软件工程原理和开发方法，采用Python的Django技术构建的，实现了系统的全部功能。本次报告，首先分析了研究的背景、作用、意义，为研究工作的合理性打下了基础。
oracle序列中cache和nocache-程序员宅基地
文章浏览阅读1.1k次。首先我这篇博客的内容是我不知道oracle里的 cache 是什么，结果越查越多。。。“序列的cache通常为 20，但在需要依据序列值判断创建的先后顺序时必须是 NOCACHE”，关于这句话，是公司的数据库规范里提到的一句话，但是我感觉nocache会导致的问题好像还不少，所以我很纠结，但是除了根据序列值判断创建的先后顺序外，还有其他的靠谱的方式来判断先后顺序吗？难道入库时间不可以吗..._数据库中的nocache是什么意思
C语言那些事之字符串操作_c语言编辑多行源代码中的字符串-程序员宅基地
文章浏览阅读193次。一、字符串多行书写有时为了书写阅读方便，需要将一大串的字符串写成多行举例源码 MyUart_Printf("moduleConfigParams=>\r\n"\ "\tuartBaudrate:%s\r\n"\ "\tuartStopbit:%s\r\n"\ "\tparityType:%s\r\n"\ "\trfC..._c语言编辑多行源代码中的字符串
随便推点
HDU 1587 Flowers 解题报告_2019 flowers acm-程序员宅基地
文章浏览阅读1.3k次。动态规划 完全背包_2019 flowers acm
沉云架路，边缘先锋—中国联通5G边缘先锋团队2020年交付纪实-程序员宅基地
文章浏览阅读956次。前言 2020年5G MEC由探索走向商用，作为运营商中部署MEC的先行者，中国联通实现了MEC从示范项目到商业化落地的转变，全国MEC节点建设已初具规模，云网一体化转型效果显著。..._成立5g虚拟支撑团队
Web性能优化：图片优化-程序员宅基地
文章浏览阅读71次。HTTP Archieve有个统计，图片内容已经占到了互联网内容总量的62%，也就是说超过一半的流量和时间都用来下载图片。从性能优化的角度看，图片也绝对是优化的热点和重点之一，Google PageSpeed或者Yahoo的14条性能优化规则无不把图片优化作为重要的优化手段，本文覆盖了Web图片优化的方方面面，从基本的图片格式选择、到尚未被广泛支持的响应式图片均有所提及。Google Web ..._jpegoptim optipng pngquant gifsicle
openGauss 向量化引擎-程序员宅基地
文章浏览阅读249次，点赞4次，收藏4次。openGauss提供向量化引擎，通常用在OLAP数据仓库类系统。主要是因为分析型系统通常是数据处理密集型，基本上都是采用顺序方式来访问表中大部分的数据，然后再进行计算，最后将计算结果输出给用户。
云锁linux宝塔安装,【最新版】宝塔面板下为Nginx自编译云锁Web防护模块教程-程序员宅基地
文章浏览阅读639次。相信很多站长在使用宝塔面板的同时也会安装云锁用于加固服务器安全性，不过有时因为Nginx版本过高等问题导致安装云锁时无法自动安装Web防护模块，所以还需要我们在Linux系统下额外将云锁Web防护模块编译进Nginx才可以。之前也转载过一篇一、上传云锁Web防护模块压缩包并解压Ps：其实宝塔添加模块功能里可以通过配置shell脚本实现这些前置准备，但我还是喜欢用手动的方式上传，这样使步骤看起来更直..._宝塔 云锁自编译 测试
Android 笔记：Error:A problem occurred configuring project ':app'.-程序员宅基地
文章浏览阅读8.4k次。原文作者：雪飘碧鸳 在github上导入项目，或其他地方导入Android Studio，出现Error:A problem occurred configuring project ‘:app’.的错误。其实这种错误有很多种原因，需要对每种情况进行不同的处理才行，这里说的一种情况是JNI的情况，即该项目使用到C/C++库，此时需要引入NDK才行，先看下错误提示Gradle ‘trunk’ ..._error:a problem occurred configuring project ':app'.