技术标签: # Flink Flink配置文件 大数据和数据仓库 Flink常用配置
安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。
# jobManager 的IP地址
jobmanager.rpc.address: localhost
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 1
# 程序默认并行计算的个数
parallelism.default: 1
# 文件系统来源
# fs.default-scheme
# 可以选择 'NONE' 或者 'zookeeper'.
# high-availability: zookeeper
# 文件系统路径,让 Flink 在高可用性设置中持久保存元数据
# high-availability.storageDir: hdfs:///flink/ha/
# zookeeper 集群中仲裁者的机器 ip 和 port 端口号
# high-availability.zookeeper.quorum: localhost:2181
# 默认是 open,如果 zookeeper security 启用了该值会更改成 creator
# high-availability.zookeeper.client.acl: open
# 用于存储和检查点状态
# state.backend: filesystem
# 存储检查点的数据文件和元数据的默认目录
# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints
# savepoints 的默认目标目录(可选)
# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints
# 用于启用/禁用增量 checkpoints 的标志
# state.backend.incremental: false
# 基于 Web 的运行时监视器侦听的地址.
#jobmanager.web.address: 0.0.0.0
# Web 的运行时监视器端口
rest.port: 8081
# 是否从基于 Web 的 jobmanager 启用作业提交
# jobmanager.web.submit.enable: false
# io.tmp.dirs: /tmp
# 是否应在 TaskManager 启动时预先分配 TaskManager 管理的内存
# taskmanager.memory.preallocate: false
# 类加载解析顺序,是先检查用户代码 jar(“child-first”)还是应用程序类路径(“parent-first”)。 默认设置指示首先从用户代码 jar 加载类
# classloader.resolve-order: child-first
# 用于网络缓冲区的 JVM 内存的分数。 这决定了 TaskManager 可以同时拥有多少流数据交换通道以及通道缓冲的程度。 如果作业被拒绝或者您收到系统没有足够缓冲区的警告,请增加此值或下面的最小/最大值。 另请注意,“taskmanager.network.memory.min”和“taskmanager.network.memory.max”可能会覆盖此分数
# taskmanager.network.memory.fraction: 0.1
# taskmanager.network.memory.min: 67108864
# taskmanager.network.memory.max: 1073741824
# 指示是否从 Kerberos ticket 缓存中读取
# security.kerberos.login.use-ticket-cache: true
# 包含用户凭据的 Kerberos 密钥表文件的绝对路径
# security.kerberos.login.keytab: /path/to/kerberos/keytab
# 与 keytab 关联的 Kerberos 主体名称
# security.kerberos.login.principal: flink-user
# 以逗号分隔的登录上下文列表,用于提供 Kerberos 凭据(例如,`Client,KafkaClient`使用凭证进行 ZooKeeper 身份验证和 Kafka 身份验证)
# security.kerberos.login.contexts: Client,KafkaClient
# 覆盖以下配置以提供自定义 ZK 服务名称
# zookeeper.sasl.service-name: zookeeper
# 该配置必须匹配 "security.kerberos.login.contexts" 中的列表(含有一个)
# zookeeper.sasl.login-context-name: Client
# 你可以通过 bin/historyserver.sh (start|stop) 命令启动和关闭 HistoryServer
# 将已完成的作业上传到的目录
# jobmanager.archive.fs.dir: hdfs:///completed-jobs/
# 基于 Web 的 HistoryServer 的地址
# historyserver.web.address: 0.0.0.0
# 基于 Web 的 HistoryServer 的端口号
# historyserver.web.port: 8082
# 以逗号分隔的目录列表,用于监视已完成的作业
# historyserver.archive.fs.dir: hdfs:///completed-jobs/
# 刷新受监控目录的时间间隔(以毫秒为单位)
# historyserver.archive.fs.refresh-interval: 10000
host:port
localhost:8081
每个worker节点的IP/Hostname
localhost
# 每个 tick 的毫秒数
tickTime=2000
# 初始同步阶段可以采用的 tick 数
initLimit=10
# 在发送请求和获取确认之间可以传递的 tick 数
syncLimit=5
# 存储快照的目录
# dataDir=/tmp/zookeeper
# 客户端将连接的端口
clientPort=2181
# ZooKeeper quorum peers
server.1=localhost:2888:3888
# server.2=host:peer-port:leader-port
Flink 在不同平台下运行的日志文件
log4j-cli.properties
log4j-console.properties
log4j-yarn-session.properties
log4j.properties
logback-console.xml
logback-yarn.xml
logback.xml
execution:
# 'batch' or 'streaming' execution
type: streaming
# allow 'event-time' or only 'processing-time' in sources
time-characteristic: event-time
# interval in ms for emitting periodic watermarks
periodic-watermarks-interval: 200
# 'changelog' or 'table' presentation of results
result-mode: changelog
# parallelism of the program
parallelism: 1
# maximum parallelism
max-parallelism: 128
# minimum idle state retention in ms
min-idle-state-retention: 0
# maximum idle state retention in ms
max-idle-state-retention: 0
deployment:
# general cluster communication timeout in ms
response-timeout: 5000
# (optional) address from cluster to gateway
gateway-address: ""
# (optional) port from cluster to gateway
gateway-port: 0
文章浏览阅读447次。Dubbo学习_dubbo文档
文章浏览阅读7.2k次,点赞4次,收藏36次。1 导入pom.xml文件注意:这一步选择的是Open选项,而不是Import Project。注意:此处选择的是tmall_ssm项目目录下的pom.xml文件,而不是选择tmall_ssm项目目录。注意:选择Open as Project。2 同步Maven包IDEA会自动下载pom.xml文件中所依赖的jar包。下载目录为家目录/.m2/repository/。出现上图所示的标识后,表示所有的jar包已经同步完成,可以通过tomcat运行项目了。..._从github下载的ssm项目源码怎么在idea中运行
文章浏览阅读2.3k次,点赞2次,收藏18次。序号缩写中文英文1ABS防抱死制动系统Anti-lock Braking System2EVAP蒸发排放系统Evaporative Emission System3EGR废气再循环Exhaust Gas Recirculation4ESIM蒸发系统完整性监测Evapor System Integraty Monitor5EPB电子驻车制动系统Electrical Park Brake6EBD电子制动力分配Electro..._汽车专业术语缩写
文章浏览阅读280次。菜鸟程序员寻找人教我会很虚心学习的希望有人愿意教我
文章浏览阅读2.2k次,点赞2次,收藏3次。v2.error: OpenCV(4.7.0) D:\a\opencv-python\opencv-python\opencv\modules\imgproc\src\color.cpp:182: error: (-215:Assertion failed) !_src.empty() in function 'cv::cvtColor'_cv2.error: opencv(4.7.0) /io/opencv/modules/imgproc/src/color.cpp:182: error
文章浏览阅读9.3k次。mobi格式之所以流行,主要是源于亚马逊官网的电子书格式以及Kindle,但由于存在较多缺陷逐渐被azw3格式替代,mobi格式的文件无法直接用电脑打开,需要阅读器才能打开阅读。今天小编就为大家推荐3个在Windows电脑上最好用的mobi阅读器。第一款: neat reader neat reader是一款跨平台阅读器,可以支持azw3/azw/mobi/epub/pdf/txt等常见文档格式,也同时支持在Windows/Mac/Android/iOS系统上使用。 neat reader阅读..
文章浏览阅读729次。国外开源的PACS服务器罗朝辉(http://www.cnblogs.com/kesalin/)本文遵循“署名-非商业用途-保持一致”创作公用协议 名称:Dcm4che评级:★★★★★开源许可:GPL LGPL MPL功能: 影像处理,影像归档,影像管理,影像传输,Worklist支持标准:DICOM,HL7,IHE,MPPS,WADO语言:英语客户端: 桌面,基于web平台:跨平台编程语..._clearcanvas开源pacs系统
文章浏览阅读3.4k次。字节跳动的前端一直是大热之选,薪资和技术都是国内的最前沿。本文将为大家简单介绍一下字节技术岗的职级体系和相应的技术要求。并给大家分享一套高质量面试题:「由字节资深前端大佬整理的100道高频..._字节跳动前端面试题
文章浏览阅读709次。使用Emmet必须先安装插件,我用atom 安装插件翻墙什么的我就不写了 在这里我推荐两个学习emmet语法的网页 日常链接嘻嘻 前人总结的emmet语法使用,有动态图演示,新手推荐 官方语法_html 神器
文章浏览阅读700次。在学习Zigbee之前,需要了解与单片机学习的方法不同之处以及难点所在。学习Zigbee需要掌握协议栈和网络等相关知识,任务量较大。Zigbee的资料相对较少,初学者学习起来比较费劲,学习效果不理想。学习过程中需要利用软件和硬件工具,提高学习效率。Zigbee是一种无线通信方式,用于构建无线局域网,可以用于家居、工业、矿产、农业、医疗等领域。相比蓝牙和WIFI,Zigbee可以组建大规模网络,功耗低,但通信速率较小。Zigbee和以太网组网技术有所不同,用途、拓扑结构和通信特性等方面存在差异。Zigbee的_zigbee背景
文章浏览阅读1.4w次,点赞18次,收藏100次。一般来说GET是获取数据,POST是提交数据的。但是因为GET和POST都是HTTP的方法,HTTP又是是基于TCP/IP的关于数据在万维网中如何让通讯的协议。从本质上讲,GET和POST都是HTTP请求,都是TCP链接,是无区别的。但是HTTP协议既然有了这两个方法,就是为了在特定的情况下区分应用。1、GET是获取数据,POST是提交数据的。GET方法通常用于请求服务器发送某个资源,而且应该是安全的和幂等的。仅仅是获取资源信息,就像数据库查询一样,不会修改和增加数据,不会影响资源的状态。POST_http post get
文章浏览阅读2.6k次,点赞3次,收藏28次。第1关:启动 MongoDB本关任务:根据编程要求启动 MongoDB 服务。第2关:启动 MongoDB 多实例本关任务:根据第一关单实例(服务)的启动教程,按照编程要求,启动两组实例(服务)。第3关:退出客户端和关闭 MongoDB 服务本关任务:关闭端口为27017的 MongoDB 服务。标题..._本关任务:根据编程要求启动 mongodb 服务。