环境:
三台hadoop集群,hive,hbase,zookeeper
三台机器内网互相通信,配置有一个外网ip,使用nginx端口映射
kylin安装:
安装部分参考文档:
https://blog.csdn.net/seashouwang/article/details/77869773
https://www.cnblogs.com/itboys/p/6322421.html
1.从官网根据集群软件版本下载想要安装的版本
http://kylin.apache.org/cn/download/
2.解压并配置环境变量
export KYLIN_HOME=/home/apps/application/cluster/apache-kylin-2.4.0-bin-hbase1x
PATH=$PATH:$KYLIN_HOME/bin
3.打开相关服务,需要启动zookeeper(zkServer.sh),hadoop包括(start-all.sh和mr-jobhistory-daemon.sh start historyserver),还有start-hbase.sh
启动kylin前先执行check-env.sh,执行后没问题就可以执行kylin.sh start.运行成功后就可以打开http://<hostname>:7070/kylin查看页面
5.执行kylin/bin下面的sample.sh,测试软件,参考官方文档http://kylin.apache.org/cn/docs/tutorial/kylin_sample.html
常见情况参考文档:
https://blog.csdn.net/seashouwang/article/details/77867188
https://blog.csdn.net/dirful/article/details/74012473
https://blog.csdn.net/zhangxiaomei1952/article/details/79273542
https://blog.csdn.net/xiaoshunzi111/article/details/71131876
后续可优化参考文档:
http://kylin.apache.org/cn/docs/tutorial/cube_build_performance.html
https://blog.csdn.net/qqpy789/article/details/77479998
kylin集群:设置两个参数
1、kylin.server.mode=all,job,query (这个决定了当前kylin节点所担任的角色，一个Kylin集群只能有一台作业引擎，也即只能有一台节点的这个配置项目为all或者job ， 可以有多台query节点)
2、kylin.rest.servers=172.23.0.21:7070,172.23.0.22:7070,172.23.0.30:7070（这个配置项是Kylin用来同步各个节点的状态的，
否则负载均衡下面跳转到不同的页面看到的不一致)
安装过程中遇到的一些问题:
1.启动失败,显示Failed to find metadata store by url: kylin_metadata@hbase
HBase日志显示The table kylin_metadata does not exist in meta but has a znode. run hbck to fix inconsistencies.
(1)进入zookeeper/bin运行zkCli.sh模式
(2)ls /hbase/table命令查看是否有bigdata这个表
(3)使用rmr /hbase/table/kylin_metadata命令删除表
(4)重启Hbase
2.访问http://<hostname>:7070/kylin,页面显示不全,没有登录功能,请求js成功,但是没显示出来
原因:当代理文件大小超过配置的proxy_temp_file_write_size值时，nginx会将文件写入到临时目录下（默认为/proxy_temp）。
如果nginx对/proxy_temp没有权限，就写不进去。
解决办法:调整/proxy_temp权限为配置nginx的那个用户。
chown -R www:www /usr/local/nginx/proxy-temp
3.kylin的sample.sh运行成功,但是build的时候失败,找不到hive中的相关表格
可能原因:hive元数据可能被删除过,导致无法显示,实际上可以使用kylin
4.build cube运行至发生Load HFile to HBase Table Failed
BulkLoad encountered an unrecoverable problem
错误信息:Wrong FS: hdfs://apps/kylin/kylin_metadata/kylin-8eddd2ff-c07b-487a-9fa1-51b4aa62a528/kylin_sales_cube/hfile/F1/b18f973ec5104874b482c9a77db9ad3a,
expected: hdfs://apps:8020
解决办法:讲hbase-site.xml的hbase.rootdir修改为hdfs://apps/hbase
5.historyserver启动失败
日志报错:Port in use: Hadoop.sh.21vevdc.com:19888
Cannot assign requested address
结果:发现kylin的job执行需要本机开启jobhistoryserver进程,将kylin放在有该服务的机器上运行即可
文章浏览阅读2.6k次。解决Python词云库wordcloud不显示中文的问题2018-11-25背景：wordcloud是基于Python开发的词云生成库，功能强大使用简单。github地址：https://github.com/amueller/word_cloudwordcloud默认是不支持显示中文的，中文会被显示成方框。安装：安装命令：pip install wordcloud解决：经过测试发现不支持显示中文..._词云python代码无法输出文字
文章浏览阅读807次。扩展。_jmap 在线分析
文章浏览阅读1.1w次。随着炎热夏季的到来，当玩游戏正爽的时候，电脑突然死机了，自动关机了，是不是有想给主机一脚的冲动呢？这个很大的原因是因为CPU温度过高导致的。很多新手玩家可能都有一个疑虑，cpu温度多少以下正常？有些说是60，有些说是70，到底多高CPU温度不会死机呢？首先我们先看看如何查看CPU的温度。下载鲁大师并安装，运行鲁大师软件，即可进入软件界面，并点击温度管理，即可看到电脑各个硬件的温度。鲁大师一般情况下..._台式机玩游戏温度多少正常
文章浏览阅读243次。Day2-打印打印打印！我终于更新了！（哭腔）一、 最简单的打印最最简单的打印语句： print(“打印内容”)注意：python是全英的，符号记得是半角下面是我写的例子：然后进入power shell ，注意：你需要使用cd来进入你保存的例子的文件夹，保存时名字应该取为xxx.py我终于知道为什么文件夹取名都建议取英文了，因为进入的时候是真的很麻烦！如果你没有进入正确的文件夹..._puthon打印任务收获
文章浏览阅读1k次。centos8问题参考CentOS 8 EOL如何切换源？ - 云服务器 ECS - 阿里云_"cenerrors during download metadata for repository \"appstream"
文章浏览阅读2.7k次，点赞3次，收藏11次。SpringBoot+Maven+MabatisPlusmaven在新建springboot项目引入RELEASE版本出错maven在新建springboot项目引入RELEASE版本出错maven详解maven就是通过pom.xml中的配置，就能够从仓库获取到想要的jar包。仓库分为：本地仓库、第三方仓库(私服)、中央仓库springframework.boot:spring-boot-starter-parent:2.2.1.RELEASE’ not found若出现jar包下载不了只有两_基于微服务的在线教育平台尚硅谷
文章浏览阅读316次。路由的概念路由器它称之为网关设备。路由器就是用于连接不同网络的设备路由器是位于OSI模型的第三层。路由器通过路由决定数据的转发。网关的背景：当时每家计算机厂商，用于交换数据的通信程序（协议）和数据描述格式各不相同。因此，就把用于相互转换这些协议和格式的计算机称为网关。路由器与三层交换器的对比路由协议对比路由器的作用：1.路由寻址2.实现不同网络之间相连的功能3.通过路由决定数据的转发，转发策略称为 路由选择。VLAN相关技术什么是VLAN？中文名称叫：虚拟局域网。虚_路由和vlan
文章浏览阅读2.8w次，点赞6次，收藏22次。设置div背景颜色透明度，内部元素不透明：.demo{ background-color:rgba(255,255,255,0.15) } 错误方式：.demo{ background-color:#5CACEE;opacity:0.75;} 这样会导致div里面的元素内容和背景颜色一起变透明只针对谷歌浏览器的测试_div设置透明度,里面的内容不透明
文章浏览阅读563次。1.[ u]文字：在文字的位置可以任意加入您需要的字符，显示为下划线效果。2.[ align=center]文字：在文字的位置可以任意加入您需要的字符，center位置center表示居中，left表示居左，right表示居右。5.[ color=red]文字：输入您的颜色代码，在标签的中间插入文字可以实现文字颜色改变。6.[ SIZE=数字]文字：输入您的字体大小，在标签的中间插入文..._discuzcode 大全
文章浏览阅读2.6k次。iOS中定时器有三种，分别是NSTimer、CADisplayLink、dispatch_source，下面就分别对这三种计时器进行说明。一、NSTimerNSTimer这种定时器用的比较多，但是特别需要注意释放问题，如果处理不好很容易引起循环引用问题，造成内存泄漏。1.1 NSTimer的创建NSTimer有两种创建方法。方法一：这种方法虽然创建了NSTimer，但是定时器却没有起作用。这种方式创建的NSTimer，需要加入到NSRunLoop中，有NSRunLoop的驱动才会让定时器跑起来。_ios nstimer
文章浏览阅读4.8k次，点赞17次，收藏51次。Linux的命令有几百个，对程序员来说，常用的并不多，考虑各位是初学者，先学习本章节前15个命令就可以了，其它的命令以后用到的时候再学习。1、开机 物理机服务器，按下电源开关，就像windows开机一样。 在VMware中点击“开启此虚拟机”。2、登录 启动完成后，输入用户名和密码，一般情况下，不要用root用户..._ls-lmore
文章浏览阅读4.1k次。1.登录MYSQL系统命令打开DOS命令框shengfen，以管理员的身份运行命令1：mysql -u usernae -p password命令2：mysql -u username -p password -h 需要连接的mysql主机名(localhost本地主机名)或是mysql的ip地址（默认为：127.0.0.1）-P 端口号（默认：3306端口）使用其中任意一个就OK,输入命令后DOS命令框得到mysql>就说明已经进入了mysql系统2. 查看mysql当中的._mysql -u user