大数据SQL查询引擎 Presto 简介_凤凰网电脑版 - 官网
发布时间:2021-10-13  

凤凰网电脑版_一、Presto简介Presto是Facebook开发的数据查询引擎,可对250PB以上的数据举行快速地交互式分析。该项目始于 2012 年秋季开始开发,该项目已经在凌驾 1000 名 Facebook 雇员中使用,运行凌驾 30000 个查询,逐日数据在 1PB 级别。

Facebook 称 Presto 的性能比Hive要好上 10 倍有多。2013年Facebook正式宣布开源 Presto。二、Presto 执行查询历程Presto查询引擎是一个Master-Slave的架构,由一个Coordinator节点,一个Discovery Server节点,多个Worker节点组成,Discovery Server通常内嵌于Coordinator节点中。

Coordinator卖力剖析SQL语句,生成执行计划,分发执行任务给Worker节点执行。Worker节点卖力实际执行查询任务。

凤凰网电脑版

Worker节点启动后向Discovery Server服务注册,Coordinator从Discovery Server获得可以正常事情的Worker节点。如果设置了Hive Connector,需要设置一个Hive MetaStore服务为Presto提供Hive元信息,Worker节点与HDFS交互读取数据。1. Client 发送请求给 Coordinator。

2. SQL 语句通过 ANTLR 举行剖析生成 AST。3. AST 通过元数据举行语义剖析。4. 语义剖析后的数据生成逻辑执行计划,而且通过规则举行优化。

5. 切分逻辑执行计划为差别 Stage,并调理 Worker 节点去生成 Task。6. Task 生成相应物理执行计划。7. 调理完后凭据调理效果 Coordinator 将 Stage 串联起来。8. Worker 执行相应的物理执行计划。

凤凰网电脑版

9. Client 不停地向 Coordinator 拉取查询效果,Coordinator 从最终汇聚输出的 Worker 节点拉取查询效果。三、Presto 为何高性能?* Pipeline, 全内存盘算。* SQL 查询计划规则优化。

* 动态代码生成技术。* 数据调理当地化,注重内存开销效率,优化数据结构,Cache,非准确查询等其它技术。获取更多Hadoop、HDFS、HBase、MapReduce、YARN、Hive等等技术内容,可会见Hadoop大数据技术专栏。

(此处已添加圈子卡片,请到今日头条客户端检察)-凤凰网电脑版。

本文来源:凤凰网电脑版 - 官网-www.pineled.com

凤凰网电脑版 - 官网

下一篇:凤凰网电脑版 - 官网: 【运动预告】“稳就业政策助力 保就业服务筑桥”创智坊乐业空间第十六期——新媒体营销思维与网络营销工具使用技巧 上一篇:黑暗料理王珊瑚金针皇冠配方 珊瑚金针怎么做