Spark Sql之Catalog

基于版本: Spark 2.2.0
把一些概念搞清楚,Spark轮廓就清晰了。

什么是 Catalog,中文翻译 目录,那啥叫目录呢?下面是百度百科的解释:
`目录,是指书籍正文前所载的目次,是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况,按照一定的次序编排而成,为反映馆藏、指导阅读、检索图书的工具。

简单说,目录是检索工具,那么 Catalog就是Spark的检索工具。

我们从它实现的主要功能入手看一下:

从上面实现的功能看, Catalog其实是Spark了解session级别可见实体(数据库、表和函数)的一个入口,在它的具体实现 CatalogImpl中还包括了创建一个新数据库、表和函数的功能。

总结下就是: Catalog围绕数据库、表和函数三种实体,提供创建、检索、缓存数据和删除的功能。

Original: https://www.cnblogs.com/itboys/p/12932555.html
Author: 大葱拌豆腐
Title: Spark Sql之Catalog

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/8822/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

最近整理资源【免费获取】:   👉 程序员最新必读书单  | 👏 互联网各方向面试题下载 | ✌️计算机核心资源汇总