kylin（kylin arm什么意思）

本篇文章给大家谈谈kylin，以及kylin arm什么意思对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、kylin架构
• 2、Kylin#KYLIN任务调度
• 3、安装kylin遇到的问题
• 4、麒麟英文为什么是kylin

kylin架构

首先来看离则纳线构建部分。从图中可以看出，左侧为数据源，目前Kylin默认的数据源是Apache Hive，保存着待分析的用户数据。根据元数据的定义，构建引擎从数据源抽取数据，并构建Cube。数据以关系表的形式输入，并且必须符合星形模型。构建技术主要为MapReduce（Spark目前在beta版本）。构建后的Cube保存在右侧存储引擎中，目前Kylin默认的存储为Apache HBase。

完成离线构建后，用户可以从上方的查询系统发送SQL进行查询分析。Kylin提供了RESTful API、JDBC/ODBC接口供用户调用。无论从哪个接口进入，SQL最桥行终都会来到REST服务层，再转交给查询引擎进行处理。查询引擎解析SQL，生成基于关系表的逻辑执行计划，然后将其转译为基于Cube的物理执行计划，最后查询预计算生成的Cube并产生结果。整个过程不会访问原始数据源。如果用户提交的查询语句未在Kylin中预先定义，Kylin会返回一个错误。

值得一提的是，Kylin对数据源、执行引擎和Cube存储三个核心模块提取出了抽象层，这意味着这三个模块可以被任意地扩展和替换。比如可以使用Spark替代MapReduce作孙消没为Cube的构建引擎，使用Cassandra替代HBase作为Cube计算后数据的存储等。良好的扩展性使得Kylin可以在这个技术发展日新月异的时代方便地使用更先进的技术替代现有技术，做到与时俱进，也使用户可以针对自己的业务特点对Kylin进行深度定制。

Apache Kylin的这种架构使得它拥有许多非常棒的特性：

SQL接口：

Kylin主要的对外接口就是以SQL的形式提供的。SQL简单易用的特性极大地降低了Kylin的学习成本，不论是数据分析师还是Web开发程序员都能从中收益。

支持海量数据集

不论是Hive、SparkSQL，还是Impala、Presto，都改变不了这样一个事实：查询时间随着数据量的增长而线性增长。而Apache Kylin使用预计算技术打破了这一点。Kylin在数据集规模上的局限性主要取决于维度的个数和基数，而不是数据集的大小，所以Kylin能更好地支持海量数据集的查询。

亚秒级响应

同样受益于预计算技术，Kylin的查询速度非常快，因为复杂的连接、聚合等操作都在Cube的构建过程中已经完成了。

水平扩展

Apache Kylin同样可以使用集群部署方式进行水平扩展。但部署多个节点只能提高Kylin处理查询的能力，而不能提升它的预计算能力。

可视化集成

Apache Kylin提供了ODBC/JDBC接口和RESTful API，可以很方便地与Tableau等数据可视化工具集成。数据团队也可以在开放的API上进行二次开发。

[img]

Kylin#KYLIN任务调度

kylin-cube在kylin页面构建完成无误的情况下,需要实现自动化调度,使用kylin提供的接口,实现自动化构建

有全量构建和增量构建

全量构建一般不适用于分区表，构建的方法直接不设置初始start时间和结束end时间即可

对于增量构建直接在接口中指定开始时间和结束时间胡岩即可(开始时间为表中数据最早的时间),对于这种full构建,如果kylin构建超过1个小时的往往不适用,构建时间太长了,这种全量构建使用与较小表的构建

这种构建的cube是始终是一个segment，等同于全量构建

对于一般的增量构建cube的构建,在接口中指定前一天和今天(不包含今天),只构建一天的数据,这种构建适用于数据量大的cube

这种构建每天都会产生一个segment,需要定期合并segment,kylin中提供了自动合并的参数,也可以手动合并

还有一种增量构建是对于动态分区表的构建,假设这张分区表每天更新最近90天的分区,那么如果cube也是构建90天的分区,那么也会造成每天都会产生一个segment,所以采取的策略是指定一个较长的时间区间更新姿做袭(超过90天的数据),这样不会有segment产生，需要注意的是要定期更改初始构建时间

几个事项

关于segment的合并，对于一般的增量构建，怎么优化小segment的合并以及大segment合并的问题

关于segment的覆盖问题，假设有segment分区为20210401～20210501

kylin构建时间超过这个区间但是其他区间是没有数据的，我只想要未来三十天的数据

现在从底表中获取20210402～20210502区间的数据（底表只有未来三十天的数据），现在cube构建未来三十天数据，20210401的数据还保留吗？？如果还是保留着就只能全量迹兄构建了（底表无分区）

(测试结果是在kylin界面不可覆盖重复segment,使用脚本可以,脚本中带有删除segment的api)

安装kylin遇到的问题

安装过高扮程中遇到的一些问题:

1.启动失败,显示Failed to find metadata store by url: kylin_metadata@hbase

(1)进入zookeeper/bin运行 zkCli.sh 模手念此式

(2)ls /hbase/table 命令查看是否有bigdata这个表

(3)使用毕迅 rmr /hbase/table/kylin_metadata 命令删除表

(4)重启Hbase

麒麟英文为什么是kylin

kirin与Kylin都是英语，kirin是从日语发音翻译过去的，kylin是从中文翻译过去的；

很多中国特色的文化词汇，在英语野侍中最初是没有对应词汇的，随着文化交流慢慢被翻译过去。 因为日本受中国文化影响很深远，所以很多中国的文化词汇，被日本推广到了西方社会，从日语发音音译过去，虽然有些词汇中文音也很像 扩展资料

The Chinese people also think highly of the kylin.

在民间，麒麟也很受重视

Chinese kylin is deemed as a propitious animal as well as a quintessential product model of the carving plant.

麒麟在当地被奉为祥兽，又是雕刻厂最具代表性的产品样式。

The Kylin is a kind beast in the Chinese folklore. It is a symbol of peace and good luck.

麒麟是我国民间传说中的.仁兽，是和平和吉祥的象征。

In the form of performance, it adds the actions of elephant, kylin, dragon with snake head and clan hall.

在表陵脊岩现形式上，加入了象、麒麟、蛇龙、姓氏堂名等。

Since there is no perfect animal in reality, the Chinese people have created imaginary animals without any drawbacks, such as dragon, phoenix and kylin, which are very popular in China.

龙、凤凰和麒麟就是中国人创造出来的动物，这几种动物深受中国人的喜尺御爱。

关于kylin和kylin arm什么意思的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。