ElasticSearch之ES8新特性及集群安装_elasticsearch8 新特性-程序员宅基地

技术标签: ElasticSearch  新特性  ElasticSearch8  集群安装  

2022年2月11日,Elasticsearch 发布了全新的8.0正式版本,新版本中通过改进Elasticsearch的矢量搜索功能、对现代自然语言处理模型(NLP)的原生支持、不断简化的数据上线过程,以及精简的安全防护体验,在速度、扩展幅度、相关性和简便性方面迎来了一个全新的时代。

1. Elasticsearch8 新特性

从2019年4月Elasticsearch7.0版本的发布,到2022年2月Elasticsearch8.0版本发布,基于不断优化开发设计理念,Elasticsearch 发布了一系列的小版本。这些小版本在以下方面取得了长足的进步并同时引入一些全新的功能:

  • 减少内存堆使用,完全支持 ARM 架构,引入全新的方式以使用更少的存储空间,从而让每个节点托管更多的数据
  • 降低查询开销,在大规模部署中成效尤为明显
  • 提高日期直方图和搜索聚合的速度,增强了页面缓存的性能,并创建了一个新的pre-filter搜索短语
  • Elasticsearch7.3 Elasticsearch7.4 版中,引入了对矢量相似函数的支持

在最新发布的Elasticsearch8.0版本中,也同样增加和完善了很多新的功能

  • 增加对自然语言处理 (NLP) 模型的原生支持,让矢量搜索功能更容易实现,让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果
  • 直接在Elasticsearch中执行命名实体识别、情感分析、文本分类等,而无需使用额外 的组件或进行编码
  • Elasticsearch8.0基于Lucene 9.0开发的,那些利用现代NLP的搜索体验,都可以借 助(新增的)对近似最近邻搜索的原生支持,快速且大规模地实现。通过ANN,可以快速并高效地将基于矢量的查询与基于矢量的文档语料库(无论是小语料库、大语料库 还是巨型语料库)进行比较
  • 可以直接在Elasticsearch中使用 PyTorch Machine Learning 模型(如 BERT),并在Elasticsearch 中原生使用这些模型执行推理

2. Elasticsearch8安装及使用

2.1 JDK说明

Elasticsearch8最新版本依赖Java JDK17,所以在安装 ES 软件前,需要下载使用 Java JDK17但不使用也没关系

Elasticsearch 官方地址:https://www.elastic.co/cn/

Elasticsearch下载地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch

对于Java开发人员,更熟悉的开发版本应该是 JDK1.8,突然需要升级到 JDK17,其实本身会感觉有点不适应,甚至会有点排斥,担心升级后会对现有的程序代码造成影响。

其实,对于JDK1.8,最新版本的 JDK17 增加了很多的语法特性。对于大多数项目而言,想要利用这些新的特性,是需要修改代码的,但性能除外。

也就是说,升级 JDK 版本,现有代码即使不进行修改,也不会出现兼容问题,但性能会得到极大的提升,并且高吞吐量垃圾回收器比低延迟垃圾回收器更快,更重要的是它可以免费商用。

对于升级版本而言,如果你依然有顾虑,一个好的消息就是可以下载含有适配 JDKES 版本,上面提到的内容基本上就不用考虑。

2.2 安装软件

安装Elasticsearch采用Linux集群配置,准备三台Linux虚拟机,用于安装 Elasticsearch8 集群。

2.2.1 集群规划

启动集群后,每台虚拟机的进程如下:

主机名 linux1 linux2 linux2
进程名 es-node-1 es-node-2 es-node-3

给三台虚拟机搭建Elasticsearch集群,集群中-节点名称依次为:es-node-1es-node-2es-node-3

2.2.2 安装步骤

2.2.2.1 上传压缩包

将压缩包elasticsearch-8.1.0-linux-x86_64.tar.gz上传到虚拟机中

在这里插入图片描述

2.2.2.2 解压安装包

解压缩文件到自定义路径,本人解压路径为:/opt/module,解压后,软件路径为:/opt/module/elasticsearch-8.1.0

# 切换目录 
cd software 
# 解压缩 
tar -zxvf elasticsearch-8.1.0-linux-x86_64.tar.gz -C /opt/module 

解压后的Elasticsearch的目录结构如下

在这里插入图片描述

目录 含义
bin 可执行脚本目录
config 配置目录
jdk 内置 JDK 目录
lib 类库
logs 日志目录
modules 模块目录
plugins 插件目录

注意:当前安装 ES 版本为 8.1.0,自带 JDK,所以当前 Linux 虚拟机节点无需配置 Java 环境

2.2.2.3 创建Linux新用户/数据文件/证书目录

创建Linux新用户es,数据文件,证书目录,并修改Elasticsearch文件拥有者

# 新增 es 用户 
useradd es 

# 为 es 用户设置密码 
passwd es 

# 创建数据文件目录 
mkdir /opt/module/elasticsearch-8.1.0/data 

# 创建证书目录 
mkdir /opt/module/elasticsearch-8.1.0/config/certs 

#切换目录 
cd /opt/module/elasticsearch-8.1.0 

# 修改文件拥有者 
chown -R es:es /opt/module/elasticsearch-8.1.0
2.2.2.4 设置通信秘钥

在第一台服务器节点 es-node-1 设置集群多节点通信密钥

# 切换用户 
su es 

# 签发 ca 证书,过程中需按两次回车键 
bin/elasticsearch-certutil ca 

# 用 ca 证书签发节点证书,过程中需按三次回车键 
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 

# 将生成的证书文件移动到 config/certs 目录中
mv elastic-stack-ca.p12 elastic-certificates.p12 config/certs
2.2.2.5 生成HTTP证书

在第一台服务器节点 es-node-1 设置集群多节点 HTTP 证书

# 签发 Https 证书 
bin/elasticsearch-certutil http 
  • 每次要求输入时,需要输入的内容
    -在这里插入图片描述
    在这里插入图片描述

  • 指定证书路径

在这里插入图片描述

  • 无需输入密码

在这里插入图片描述

  • 设置证书失效时间

在这里插入图片描述

  • 无需每个节点配置证书

在这里插入图片描述

  • 输出连接到第一个节点的所有主机名称

在这里插入图片描述

  • 输出连接到第一个节点的所有主机 IP 地址

在这里插入图片描述

  • 不改变证书选项配置

在这里插入图片描述

  • 不给证书加密,按键输入两次回车

在这里插入图片描述

2.2.2.6 调整证书位置

解压刚生成的zip

# 解压文件 
unzip elasticsearch-ssl-http.zip 

# 移动文件 将解压后的证书文件移动到 config/certs 目录中 
mv elasticsearch/http.p12 kibana/elasticsearch-ca.pem config/certs 
2.2.2.7 修改配置文件

修改主配置文件:config/elasticsearch.yml

# 设置 ES 集群名称 
cluster.name: es-cluster  

# 设置集群中当前节点名称 
node.name: es-node-1 

# 设置数据,日志文件路径 
path.data: /opt/module/elasticsearch-8.1.0/data 
path.logs: /opt/module/elasticsearch-8.1.0/log 

# 设置网络访问节点 
network.host: linux1 

# 设置网络访问端口 
http.port: 9200 

# 初始节点 
discovery.seed_hosts: ["linux1"] 

# 安全认证 
xpack.security.enabled: true 
xpack.security.enrollment.enabled: true 
xpack.security.http.ssl: 
 enabled: true 
 keystore.path: /opt/module/elasticsearch-8.1.0/config/certs/http.p12 
 truststore.path: /opt/module/elasticsearch-8.1.0/config/certs/http.p12 
xpack.security.transport.ssl: 
 enabled: true 
 verification_mode: certificate 
 keystore.path: /opt/module/elasticsearch-8.1.0/config/certs/elastic-certificates.p12 
 truststore.path: /opt/module/elasticsearch-8.1.0/config/certs/elastic-certificates.p12 

# 此处需注意,es-node-1 为上面配置的节点名称 
cluster.initial_master_nodes: ["es-node-1"] 
http.host: [local, site] 
ingest.geoip.downloader.enabled: false 
xpack.security.http.ssl.client_authentication: none
2.2.2.8 启动ES
# 启动 ES 软件 
bin/elasticsearch 

第一次成功启动后,会显示密码,请记住,访问时需要。只有第一次才有!!!

在这里插入图片描述

注意:

​ 9300 端口为 Elasticsearch 集群间组件的通信端口

​ 9200 端口为浏览器访问的http协议RESTful端口

2.2.2.9 访问服务器节点

访问服务器节点:https://虚拟机地址:9200 。因为配置了安全协议,所以使用 https 协议进行访问,但由于证书是自己生成的,并不可靠,所以会有安全提示,选择继续即可

在这里插入图片描述

在这里插入图片描述

输入账号,密码登录,即可看到页面会有如下信息

在这里插入图片描述

2.2.2.10 修改其他节点配置

修改集群中其他节点的配置文件:config/elasticsearch.yml

linux2:证书直接拷贝,其他步骤完全相同,配置文件中修改如下内容即可

# 设置节点名称 
node.name: es-node-2 

# 设置网络访问主机 
network.host: linux2

linux3:证书直接拷贝,其他步骤完全相同,配置文件中修改如下内容即可

# 设置节点名称 
node.name: es-node-3 

# 设置网络访问主机 
network.host: linux3
2.2.2.11 依次启动服务节点

依次启动集群的三台服务器节点,不要忘记切换用户后再启动

# linux1:后台启动服务 
bin/elasticsearch -d 

# linux2: 后台启动服务 
bin/elasticsearch -d 

# linux3: 后台启动服务 
bin/elasticsearch -d

2.2.3 问题解决

2.2.3.1 JDK问题

Elasticsearch 是使用 Java开发的,Elasticsearch8.1 版本需要 JDK17 及以上版本。

默认安装包中带有 JDK 环境,如果系统配置 ES_JAVA_HOME环境变量,那么会采用系统配置的JDK。如果没有配置该环境变量,Elasticsearch会使用自带捆绑的 JDK,虽然自带的 JDK Elasticsearch软件推荐的 Java 版本,但一般建议使用系统配置的 JDK

2.2.3.2 SSL认证问题

Windows 环境中出现下面的错误信息,是因为开启了 SSL 认证,可以将SSL认证关闭

在这里插入图片描述

修改 config/elasticsearch.yml 文件,将 enabled 的值修改为 false

xpack.security.http.ssl: 
 enabled: false 
 keystore.path: certs/http.p12

启动成功后,如果访问 localhost:9200 地址后
在这里插入图片描述

弹出登录窗口,第一次启动时,因为开启了密码验证模式,在启动窗口中会显示输入账号和密码。如果没有注意到或没有找到账号密码,可以设置免密登录:

xpack.security.enabled: false 
2.2.3.3 闪退问题

双击启动窗口闪退,通过路径访问追踪错误,如果是空间不足,请修改config/jvm.options 配置文件

# 设置 JVM 初始内存为 1G。此值可以设置与-Xmx 相同,以避免每次垃圾回收完成后 JVM 重新分配内存 
# Xms represents the initial size of total heap space 
# 设置 JVM 最大可用内存为 1G 
# Xmx represents the maximum size of total heap space 
-Xms4g 
-Xmx4g 
2.2.3.4 忘记密码

启动后,如果密码忘记了,可以采用指令重置密码

# 使用 es 用户,执行指令,重置 elastic 用户密码 
bin/elasticsearch-reset-password -u elastic 

在这里插入图片描述

如果只启动单一节点,此操作可能会失败,至少启动 2 个节点,测试成功

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zxd1435513775/article/details/126915134

智能推荐

JWT(Json Web Token)实现无状态登录_无状态token登录-程序员宅基地

文章浏览阅读685次。1.1.什么是有状态?有状态服务,即服务端需要记录每次会话的客户端信息,从而识别客户端身份,根据用户身份进行请求的处理,典型的设计如tomcat中的session。例如登录:用户登录后,我们把登录者的信息保存在服务端session中,并且给用户一个cookie值,记录对应的session。然后下次请求,用户携带cookie值来,我们就能识别到对应session,从而找到用户的信息。缺点是什么?服务端保存大量数据,增加服务端压力 服务端保存用户状态,无法进行水平扩展 客户端请求依赖服务.._无状态token登录

SDUT OJ逆置正整数-程序员宅基地

文章浏览阅读293次。SDUT OnlineJudge#include<iostream>using namespace std;int main(){int a,b,c,d;cin>>a;b=a%10;c=a/10%10;d=a/100%10;int key[3];key[0]=b;key[1]=c;key[2]=d;for(int i = 0;i<3;i++){ if(key[i]!=0) { cout<<key[i.

年终奖盲区_年终奖盲区表-程序员宅基地

文章浏览阅读2.2k次。年终奖采用的平均每月的收入来评定缴税级数的,速算扣除数也按照月份计算出来,但是最终减去的也是一个月的速算扣除数。为什么这么做呢,这样的收的税更多啊,年终也是一个月的收入,凭什么减去12*速算扣除数了?这个霸道(不要脸)的说法,我们只能合理避免的这些跨级的区域了,那具体是那些区域呢?可以参考下面的表格:年终奖一列标红的一对便是盲区的上下线,发放年终奖的数额一定一定要避免这个区域,不然公司多花了钱..._年终奖盲区表

matlab 提取struct结构体中某个字段所有变量的值_matlab读取struct类型数据中的值-程序员宅基地

文章浏览阅读7.5k次,点赞5次,收藏19次。matlab结构体struct字段变量值提取_matlab读取struct类型数据中的值

Android fragment的用法_android reader fragment-程序员宅基地

文章浏览阅读4.8k次。1,什么情况下使用fragment通常用来作为一个activity的用户界面的一部分例如, 一个新闻应用可以在屏幕左侧使用一个fragment来展示一个文章的列表,然后在屏幕右侧使用另一个fragment来展示一篇文章 – 2个fragment并排显示在相同的一个activity中,并且每一个fragment拥有它自己的一套生命周期回调方法,并且处理它们自己的用户输_android reader fragment

FFT of waveIn audio signals-程序员宅基地

文章浏览阅读2.8k次。FFT of waveIn audio signalsBy Aqiruse An article on using the Fast Fourier Transform on audio signals. IntroductionThe Fast Fourier Transform (FFT) allows users to view the spectrum content of _fft of wavein audio signals

随便推点

Awesome Mac:收集的非常全面好用的Mac应用程序、软件以及工具_awesomemac-程序员宅基地

文章浏览阅读5.9k次。https://jaywcjlove.github.io/awesome-mac/ 这个仓库主要是收集非常好用的Mac应用程序、软件以及工具,主要面向开发者和设计师。有这个想法是因为我最近发了一篇较为火爆的涨粉儿微信公众号文章《工具武装的前端开发工程师》,于是建了这么一个仓库,持续更新作为补充,搜集更多好用的软件工具。请Star、Pull Request或者使劲搓它 issu_awesomemac

java前端技术---jquery基础详解_简介java中jquery技术-程序员宅基地

文章浏览阅读616次。一.jquery简介 jQuery是一个快速的,简洁的javaScript库,使用户能更方便地处理HTML documents、events、实现动画效果,并且方便地为网站提供AJAX交互 jQuery 的功能概括1、html 的元素选取2、html的元素操作3、html dom遍历和修改4、js特效和动画效果5、css操作6、html事件操作7、ajax_简介java中jquery技术

Ant Design Table换滚动条的样式_ant design ::-webkit-scrollbar-corner-程序员宅基地

文章浏览阅读1.6w次,点赞5次,收藏19次。我修改的是表格的固定列滚动而产生的滚动条引用Table的组件的css文件中加入下面的样式:.ant-table-body{ &amp;amp;::-webkit-scrollbar { height: 5px; } &amp;amp;::-webkit-scrollbar-thumb { border-radius: 5px; -webkit-box..._ant design ::-webkit-scrollbar-corner

javaWeb毕设分享 健身俱乐部会员管理系统【源码+论文】-程序员宅基地

文章浏览阅读269次。基于JSP的健身俱乐部会员管理系统项目分享:见文末!

论文开题报告怎么写?_开题报告研究难点-程序员宅基地

文章浏览阅读1.8k次,点赞2次,收藏15次。同学们,是不是又到了一年一度写开题报告的时候呀?是不是还在为不知道论文的开题报告怎么写而苦恼?Take it easy!我带着倾尽我所有开题报告写作经验总结出来的最强保姆级开题报告解说来啦,一定让你脱胎换骨,顺利拿下开题报告这个高塔,你确定还不赶快点赞收藏学起来吗?_开题报告研究难点

原生JS 与 VUE获取父级、子级、兄弟节点的方法 及一些DOM对象的获取_获取子节点的路径 vue-程序员宅基地

文章浏览阅读6k次,点赞4次,收藏17次。原生先获取对象var a = document.getElementById("dom");vue先添加ref <div class="" ref="divBox">获取对象let a = this.$refs.divBox获取父、子、兄弟节点方法var b = a.childNodes; 获取a的全部子节点 var c = a.parentNode; 获取a的父节点var d = a.nextSbiling; 获取a的下一个兄弟节点 var e = a.previ_获取子节点的路径 vue

推荐文章

热门文章

相关标签