说明:所有介绍和操作基于ELK 8.8.2版本。
“ELK”是三个开源项目的首字母缩写:Elasticsearch、Logstash 和 Kibana。Elasticsearch是一个搜索和分析引擎,Logstash是服务器端数据处理管道,能够同时从多个来源采集数据、转换数据,然后将数据发送到Elasticsearch 等“存储库”,Kibana 则可以让用户在Elasticsearch中使用图形和图表对数据进行可视化。
Logstash作为数据采集的客户端,资源占用较高,于是又添加了Beats家族,通过各种更加轻量的Beat来采集数据。ELK 3个字母已经无法涵盖新加入的Beats,ELK就改名为ELK Stack,随着ELK Stack的更新升级,又升级为Elastic Stack。
Elasticsearch作为 Elastic Stack 的核心,它是一个分布式的 RESTful 搜索和分析引擎,可用来集中存储数据,以便对形形色色、规模不一的数据进行搜索、索引和分析。
可以使用 Elasticsearch 做什么?对数字、文本、地理位置、结构化数据、非结构化数据等众多数据类型的存储、索引、查询、分析,以下是Elastic Stack 所构建解决方案的完整列表。
使用 Kibana 对Elasticsearch中的数据进行管理,以实现数据的搜索、可观测性、安全和分析,就像Kibana首页所示:Search、Observability、Security、Analytics。
Logstash作用是集中、转换和存储数据,它是服务器端数据处理管道,能够从多个来源采集数据、转换数据,然后将数据发送到“存储库”中。
Logstash最常见的作用是输入、筛选、格式化输出数据。Logstash能够动态地采集、转换和传输数据,不受格式或复杂度的影响,然后利用Grok从非结构化数据中派生出结构,从IP地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。
Beats集合了多种单一用途数据采集器,它们从成百上千或成千上万台机器和系统向 Logstash或Elasticsearch发送数据。
为了便于理解,文章中还将Elastic Stack称为众所周知的ELK。
1.操作系统环境说明
系统版本:银河麒麟v10 SP2服务器版
IP、192.168.80.50
2、ELK版本:v8.8.2
3、部署方式:docker部署,docker软件的安装这里不再介绍
下载elasticsearch镜像
[root@kylin ~]# docker pull docker.elastic.co/elasticsearch/elasticsearch:8.8.2
创建docker网络elastic,并查看创建的网络
[root@kylin ~]# docker network create elastic
[root@kylin ~]# docker network ls | grep elastic
创建elasticsearch容器,名称elastic,映射端口9200和9300,加入网络elastic,为了将kibana和elasticsearch部署在一起测试,使用single-node模式
[root@kylin ~]# docker run -itd --name elastic --net elastic -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:8.8.2
查看创建的容器
[root@kylin ~]# docker ps
查看容器分配的IP为172.18.0.2
[root@kylin ~]# docker inspect -f '{ {range .NetworkSettings.Networks}}{ {.IPAddress}}{ {end}}' elastic
下一篇文章介绍Kibana部署。
文章浏览阅读75次。作者 |杨智钦单位 |北京航空航天大学来源|将门创投在本文中,我们提出了一种新的即插即用的联邦学习模块,FedFed,其能够以特征蒸馏的方式来解决联邦场景下的数据异构问题。FedFed首次探索了对数据中部分特征的提取与分享,大量的实验显示,FedFed能够显著地提升联邦学习在异构数据场景下的性能和收敛速度。论文标题:FedFed: Feature Distillation against..._about [neurips 2023] "fedfed: feature distillation against data heterogeneit
文章浏览阅读3k次,点赞2次,收藏3次。《Ray Tracing in One Weekend》目录 第一部分:学习总结问题二:用C++输出第一张图片 第二部分:原文截图《Ray Tracing in One Weekend》目录_c++如何输出图片
文章浏览阅读8k次,点赞7次,收藏9次。spring-cloud-kubernetes-config是spring-cloud-kubernetes框架下的一个库,用于将kubernetes的configmap作为配置文件,提供给springboot应用_spring-cloud-starter-kubernetes-config maven
文章浏览阅读307次。传送门题意: n个有高度的点和m条边,边只能从高点到低点走,求最小树形图??题解: 最小生成树。 朱刘算法求最小树形图只能得70分,考虑更高效的算法。首先对图分层,发现低层节点对高层答案没有影响,考虑先处理高层的边。现在假设已经处理了高层的所有边,对于本层的边,其实就是一颗最小生成树。因为高层连向本层的边看做双向边没有任何影响。那么直接把边按照层数排序,第二关键字用权值排序即可。#includ
文章浏览阅读1.3k次。python GUI开发中PySide2、PySide6及PyQt间区别,python版本要求,官方文档支持等_pyside
文章浏览阅读3.3k次,点赞4次,收藏19次。Hough变换思想(参数空间变换):在原始图像坐标系下的一个点对应了参数坐标系中的一条直线,同样参数坐标系的一条直线对应了原始坐标系下的一个点,然后,原始坐标系下呈现直线的所有点,它们的斜率和截距是相同的,所以它们在参数坐标系下对应于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后,看参数坐标系下有没有聚集点,这样的聚集点就对应了原始坐标系下的直线。在实际应用中,y=kx+b形式..._opencv python hough_multi_scale
文章浏览阅读10w+次,点赞565次,收藏2.9k次。vs2019安装和使用教程(详细)_vs2019
文章浏览阅读2.5k次,点赞2次,收藏2次。《JAVA程序设计》作业一、选择题编译HelloWorld.java的正确命令是:java HelloWorld.class B)java HelloWorld.java C)javac HelloWorld.java正确运行HelloWorld.java的正确命令是:java HelloWorld B)javac HelloWorld.java C)javac HelloWorld.class下面程序代码,使用多行注释正确的是:A) // int k=9;// int j=8_which of the following are correct? _____ a. string[] list = new string{
文章浏览阅读812次。注:本文转自赛灵思中文社区论坛,源文链接在此。本文原作者为XILINX工程师。以下为个人译文,仅供参考,如有疏漏之处,还请不吝赐教。本篇博文提供了一份视频列表,用于展示 (UG1209) 中的教程。这些视频是使用 Vivado Design Suite 2019.1 版和赛灵思软件开发套件 (SDK) 创建的。其中所含示例均为针对 Zynq UltraScale+ MPSoC ZCU102 Rev1 评估板的示例。视频 1 演示了如何使用 ZCU102 评估板来运行应用。虽然大部分视频都使_zynq ultrascale+ mpsoc 嵌入式设计方法指南
文章浏览阅读284次。拉格朗日插值法_y_j_gi
文章浏览阅读263次。_hfile.format.version
文章浏览阅读896次。本栏目(Algorithms)下MIT算法导论专题是个人对网易公开课MIT算法导论的学习心得与笔记。所有内容均来自MIT公开课Introduction to Algorithms中Charles E. Leiserson和Erik Demaine老师的讲解。(http://v.163.com/special/opencourse/algorithms.html)第五节-------线性时间_linear time sorting