1 var, val和def三个关键字之间的区别? var immutable variable val mutable variable def function defined keyword 2.object 和 class 的区别? object 单例 无构造器 成员变量和method都是static 可以直接访问main...
1 var, val和def三个关键字之间的区别? var immutable variable val mutable variable def function defined keyword 2.object 和 class 的区别? object 单例 无构造器 成员变量和method都是static 可以直接访问main...
里面有 Spark 的部署方式,spark core、spark sql、spark streaming 等组件的各种面试题,包括但不限于宽窄依赖、缓存、数据广播、shuffle以及数据倾斜的查看和解决方式等等 对于大数据(离线、在线)面试的同学还是...
一、简答题 1.Spark master使用zookeeper进行HA的,有哪些元数据保存在Zookeeper? 答:spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置,包括Worker,Driver和Application...
1、MRV1有哪些不足 1) 可扩展性(对于变化的应付能力) a) JobTracker内存中保存用户作业的信息 b) JobTracker使用的是粗粒度的锁 2) 可靠性和可用性 a) JobTracker失效会多事集群中所有的运行作业,用户需手动...
ZooKeeper 高频面试题。
Spark面试题全解-2019最新版面试题 史上最全Spark面试题
Flume系列: 1.Channel Selectors有几种类型,它们的区别是什么? 答:有两种。Replicating Channel Selector(默认的)和Multiplexing Channel Selector。 (1)Replicating Channel Selector会将source过来的...
大厂面试的基本流程 17 字节跳动 17 阿里 17 腾讯 18 网易游戏 18 面试前需要准备: 18 面试中可以借鉴的套路 19 用简历争取到更多的面试机会 19 自我介绍时,立即全面抛出技术栈和亮点 20 先介绍项目背景,打消...
在 0.11.0 之前,Kafka 通过 Producer 端和 Server 端的相关配置可以做到,也就是,但是在一些情况下,可能会导致数据重复,比如:网络请求延迟等导致的重试操作,在发送请求重试时 Server 端并不知道这条请求是否...
Java基础 1. 面向对象的三个基本特征? 面向对象的三个基本特征是:封装、继承、多态 继承:让某个类型的对象获得另一个类型的对象的属性的方法;继承就是子类继承父类的特征和行为,使得子类对象(实例)具有父类的实例和...
Redis (Remote Dictionary Server)远程字典服务器,是用C语言开发的一个开源的高性能键值 对( key-value )内存数据库。它是一种 NoSQL 数据存储。常见的缓存问题分析
1、kafka是什么?可以用来做什么?...流计算集成(与StreamCompute、E-MapReduce、Spark、Storm等流计算引擎集成) 2、为什么kafka安装需要依赖Zookeeper? 集群管理、节点的管理、admin管理工具、配
微服务架构是一种架构模式或者说是一种架构风格,它提倡将单一应用程序划分成一组小的服务,每个服务运行在其独立的自己的进程中,服务之间互相协调、互相配合,为用户提供最终价值。...每个服务都围绕着具体业务进行...
一、基本说明 ...当然了,大家都不是做底层的分布式系统,比如分布式存储系统,hadoop hdfs,分布式计算系统,hadoop mapreduce,spark,分布式流式计算系统,storm。 分布式业务系统,把原来...
Kafka高吞吐量介绍:1.producer端消息优化2.磁盘顺序读写3.零拷贝技术4.End-to-end消息压缩Kafka支持多种压缩算法。例如Gzip snappy和lz4和zstd.同时kafka支持end-to-end的压缩方式,消息在生产端杯压缩,broker端...
在分布式系统要满足CAP原则,一个提供数据服务的存储系统无法同时满足:数据一致性、数据可用性、分区耐受性。C数据一致性:所有应用程序都能访问到相同的数据。A数据可用性:任何时候,任何应用程序都可以读写访问...
上篇 一、基础篇 网络基础 TCP三次握手 1、OSI与TCP/IP 模型 2、常见网络服务分层 3、TCP与UDP区别及场景 4、TCP滑动窗口,拥塞控制 5、TCP粘包原因和解决方法 ... 6、C