kafka文件存储机制_逆风飞翔的小叔的博客-程序员资料_kafka文件存储机制

技术标签: kafka  

前言

我们知道,生产者发送给kafka的数据肯定是需要存储的,存储意味着数据落盘,但是这个数据存储的结构是怎样的呢?

不妨先来了解下kafka文件存储机制

  • Topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是Producer生产的数据;
  • Producer生产的数据会被不断追加到该log文件末端,为防止log文件过大导致数据定位效率低下,Kafka采取了分片和索引机制,将每个partition分为多个segment;
  • 每个segment包括:“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下,该文件夹的命名规则为:topic名称+分区序号,例如:first-0;

总体的文件结构如下图所示:

对上面的文件结构再做几点补充说明:

  • 一个partition分为多个segment
  • .log 日志文件  .index 偏移量索
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/congge_study/article/details/123310936

智能推荐

脑与认知科学3 脑神经影像下_一个不愿透露姓名的孩子的博客-程序员资料

脑与认知科学3 脑神经影像下Diffusion MRIfunctional MRItask-fMRIrs-fMRI这一讲继续介绍脑神经影像的常用方法。上一讲提到了MRI,这一讲介绍MRI更细致的一些应用。Diffusion MRIDiffusion MRI同样是利用MRI的机器,但在扫描的时候我们要试图扫描水分子的运动。因为自由的水分子与位于神经元中的水分子运动行为会有很大差别,自由水分子在三维空间中几乎是处于自由扩散(free diffusion)状态的;而神经纤维中的水分子只能按纤维的走向扩散。

Anglular8的@ViewChild的变化_春风又一季的博客-程序员资料

配置ViewChild / ContentChild查询的时间使用此功能时,必须提供静态标志以定义何时需要解析ViewChild和ContentChild实例。使用此功能时,必须提供静态标志以定义何时需要解析ViewChild和ContentChild实例。// Ensure Change Detection runs before accessing the [email protected]

思杰服务器需要显卡性能,【长期更新】Citrix日常问题支持以及各类KB大全_闫沐喜的博客-程序员资料

本文章页面收集的是关于Citrix一些常见问题KB以及一些问题处理的连接!2020年06月16更新产品生命周期Citrix软件技术支持服务周期,参考以下链接的内容:https://hfly.cc/70XH0v最近软件更新服务器虚拟化平台Citrix 服务器虚拟化硬件兼容性列表兼容性列表地址:https://hfly.cc/JezfACitrix 服务器虚拟化驱动版本 Citrix Hypervi...

Push failed fatal: unable to access ‘https://github.The requested URL returned error: 403_sunrj_go的博客-程序员资料

**Push failed fatal: unable to access 'https://github.The requested URL returned error: 403**Github 禁用了TLS v1.0 and v1.1,必须更新Windows的git凭证管理器,才行。https://github.com/Microsoft/Git-Credential-Manager-for-Windows/releases/tag/v1.14.0点击下载安装 GCMW-1.14.0.exe

Ubuntu重装NVIDIA显卡驱动_伍颜的博客-程序员资料_ubuntu 显卡驱动重装

我的电脑比较奇怪,只要关机,显卡驱动就失效,必须重新安装,特写一篇博客,记录重装过程。1 、禁用 nouveau安装好依赖包后需要禁用 nouveau,只有在禁用掉 nouveau 后才能顺利安装 NVIDIA 显卡驱动,禁用方法就是在 /etc/modprobe.d/blacklist-nouveau.conf 文件中添加一条禁用命令,首先需要打开该文件,通过以下命令打开:sudo...

解决vmware桥接网络无法上网的问题_ywops的博客-程序员资料

今天想要配置一台vmware虚拟机使用桥接模式上外网,怎么配置都无法成功。总是出现以下错误:error:connection activation failed: ip configuration could not be reserved最后发现,原来是vmware软件设置的问题。vmware不会自动识别实际使用的那一块网卡,必须手动指定才行。...

随便推点

Gmail对比Outlook哪个更好_China_Ajax的博客-程序员资料_hotmail

随着 Slack、WhatsApp 和 Skype 等实时通信应用程序的普及,您可能会惊讶地发现电子邮件仍然是工作中的主要通信工具 - 并且在全球拥有 39 亿用户,这种情况不太可能随时改变很快。主导该领域的是 Gmail 和 Outlook——这两个世界上最受欢迎的电子邮件提供商。尽管两者之间有很多相似之处,但 Microsoft Outlook 更像是一个电子邮件客户端,而 Gmail 本质上是网络邮

@Value获取不到值_zzy_阳阳的博客-程序员资料

@Value有两种获取application.properties值得方法: 一、PlaceHolder方式:格式${...}@Componentpublic class GetValue { @Value("${book.name}") private String name; public String getName() { return name

恢复报错ora-01180_kuaile_yuanzi的博客-程序员资料_ora-01180

https://blog.csdn.net/weixin_34029949/article/details/85997154最近在验证、测试备份有效性时,遇到了“ORA-01180: can not create datafile 1”这个错误,顺便结合metalink的官方文档“RMAN restore fails with ORA-01180: can not create datafile...

知名互联网公司校招中常见的算法题_dengya2093的博客-程序员资料

本次Chat,主要从知名互联网公司在面试中喜欢提问的算法入手,给大家详细阐述讲解面试中的高频率算法题。涉及到的算法题主要包括:排序和查找、链表、二叉树、队列、堆栈、字符串以及数组等方面。如果你想在来年的校园招聘中拿下一线互联网的Offer,那么本次Chat将助你玩转算法面试~面试,是大家从学校走向社会的第一步。大型互联网公司的校园招聘,从形式上说,面试一般分为2-3轮技术面试+1轮H...

java中用jedis报错_使用Jedis在高并发报错 (java.net.SocketException: Connection reset by peer: socket write error)..._袁均林的博客-程序员资料

使用Jedis在高并发报错 (java.net.SocketException: Connection reset by peer: socket write error)1.报错信息java.lang.reflect.InvocationTargetException: nullat sun.reflect.GeneratedMethodAccessor15.invoke(Unknown Sou...

【DSP】TMS320F28035 IQmath配置_Kindavid的博客-程序员资料

添加.lib和.h文件到工程修改cmd文件:将IQmath.cmd里的段写进原cmd文件里,提示内存不够的话,需要将内存进行响应调整。

推荐文章

热门文章

相关标签