数据质量监控工具-Apache Griffin本地安装和调试_apache griffin 如何使用-程序员宅基地

技术标签：数据质量监控工具 Apache Griffin 大数据质量分布式大数据

数据质量监控工具-Apache Griffin本地安装和调试

1 、Apache Griffin简介
Griffin起源于eBay中国，并于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
Griffin是属于模型驱动的方案，基于目标数据集合或者源数据集(基准数据)，用户可以选择不同的数据质量维度来执行目标数据质量的验证。支持两种类型的数据源：batch数据和streaming数据。对于batch数据，我们可以通过数据连接器从Hadoop平台收集数据。对于streaming数据，我们可以连接到诸如Kafka之类的消息系统来做近似实时数据分析。在拿到数据之后，模型引擎将在spark集群中计算数据质量。
2、代码下载
https://github.com/apache/griffin 选择master分支，下载zip包，或者利用git，直接克隆代码
3、本地安装
把代码导入idea,等待所有依赖的jar包的下载完成，整个过程可能需要10分钟左右
在这里插入图片描述

4.修改配置文件
4.1 修改service模块下的pom.xml文件，把支持mysql的profIle的注释放开
原来的pom.xml:
在这里插入图片描述

修改之后的pom.xml
在这里插入图片描述

4.2修改service模块下的application.properties
在这里插入图片描述

修改前：

修改后：

4.3 修改ui模块下的angular下的environment.ts
修改前
在这里插入图片描述

修改后：

5、执行初始化脚本
初始化脚本在service模块下的resource目录下，因为使用的是mysql数据库，所以执行的是mysql的初始化脚本：
在这里插入图片描述

6、启动项目
6.1、启动serve模块
直接debug运行service模块下的GriffinWebApplication这个类即可：
在这里插入图片描述

因为这里我没有改hive的元数据信息配置，这个项目启动的时候就会去找连接hive的元数据，所以项目启动的时候会报错，但这并不会影响项目的正常启动
在这里插入图片描述

6.2启动前端
先把ui模块进行编译，编译之后去到node_modules目录下中的./bin目录执行如下命令：
ng serve --port 8081
这里的端口不能是8080，因为8080已经被service模块占用了
在这里插入图片描述

6.3在浏览器中打开
http://localhost:8081

出现这个页面说明本地可以正常启动了，后台默认是没有用户名和密码的，直接点击登录就可以了
点击登录之后看到的页面;
在这里插入图片描述

7、断点调试
7.1 在后台的service模块下的JobController类上打上断点
在这里插入图片描述

在浏览器上切换到job的页面，会发出查询所有Jobs的请求：
在这里插入图片描述

发现后台的断点已经进到了：
在这里插入图片描述

如果本地安装启动过程，遇到问题无法解决，可以添加微信，备注：apache griffin（否则有可能不通过）
在这里插入图片描述

本文链接：https://blog.csdn.net/weixin_41045909/article/details/92415911

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

使用JDBC连接数据库出现 The server time zone value ‘�й��׼ʱ��‘ is unrecognized or represents more than one解决方案_jdbc.properties timezone-程序员宅基地

文章浏览阅读553次。在 jdbc.properties 文件中的 url 后面加上 ?serverTimezone=UTC加入之前的jdbc.properties文件：user=rootpassword=12345678url=jdbc:mysql://localhost:3306/testdriverClass=com.mysql.cj.jdbc.Driver加入之后：user=rootpassword=12345678url=jdbc:mysql://localhost:3306/test?serv_jdbc.properties timezone

计算机图形学孔令德基础知识,计算机图形学基础教程孔令德答案-程序员宅基地

文章浏览阅读1.4k次。计算机图形学基础教程孔令德答案【篇一：大学计算机图形学课程设】息科学与工程学院课程设计任务书题目：小组成员：巴春华、焦国栋成员学号：专业班级：计算机科学与技术、2009级本2班课程：计算机图形学指导教师：燕孝飞职称：讲师完成时间： 2011年12 月----2011年 12 月枣庄学院信息科学与工程学院制2011年12 月20日课程设计任务书及成绩评定12【篇二：计算机动画】第一篇《计算机图形学》..._计算机图形学基础教程孔令德答案

python xlwings追加数据_大数据分析Python库xlwings提升Excel工作效率教程-程序员宅基地

文章浏览阅读1k次。原标题：大数据分析Python库xlwings提升Excel工作效率教程Excel在当今的企业中非常非常普遍。在AAA教育，我们通常建议出于很多原因使用代码，并且我们的许多数据科学课程旨在教授数据分析和数据科学的有效编码。但是，无论您偏爱使用大数据分析Python的程度如何，最终，有时都需要使用Excel来展示您的发现或共享数据。但这并不意味着仍然无法享受大数据分析Python的某些效率!实际上，..._xlwings通过索引添加数据

java8u211_jre864位u211-程序员宅基地

文章浏览阅读911次。iefans为用户提供的jre8 64位是针对64位windows平台而开发的java运行环境软件，全称为java se runtime environment 8，包括Java虚拟机、Java核心类库和支持文件，不包含开发工具--编译器、调试器和其它工具。jre需要辅助软件--JavaPlug-in--以便在浏览器中运行applet。本次小编带来的是jre8 64位官方版下载，版本小号u211版..._jre8是什么

kasp技术原理_KASP基因分型-程序员宅基地

文章浏览阅读5k次。KASP基因分型介绍KASP(Kompetitive Allele-Specific PCR)，即竞争性等位基因特异性PCR，原理上与TaqMan检测法类似，都是基于终端荧光信号的读取判断，每孔反应都是采用双色荧光检测一个SNP位点的两种基因型，不同的SNP对应着不同的荧光信号。KASP技术与TaqMan法类似，它与TaqMan技术不同的是，它不需要每个SNP位点都合成特异的荧光引物，它基于独特的..._kasp是什么

华为p50预装鸿蒙系统,华为p50会不会预装鸿蒙系统_华为p50会预装鸿蒙系统吗-程序员宅基地

文章浏览阅读154次。华为现在比较火的还真就是新开发的鸿蒙系统了，那么在即将上市的华为p50手机上会不会预装鸿蒙系统呢？接下来我们就来一起了解一下华为官方发布的最新消息吧。1.华为p50最新消息相信大家都知道，随着华为鸿蒙OS系统转正日期临近，似乎全网的花粉们都在关注华为鸿蒙OS系统优化、生态建设等等，直接忽略了不断延期发布的华为P50手机，如今华为P50系列手机终于传来了最新的好消息，在经过一系列方案修改以后，终于被..._华为手机p50直接预装鸿蒙系统