hive中使用spark执行引擎的常用参数

set hive.execution.engine=spark;
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8;
set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.intermediate.compression.type=BLOCK;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set mapred.output.compression.type=BLOCK;

上面。

[En]

Above.

Original: https://www.cnblogs.com/vanwoos/p/11833587.html
Author: 张不正
Title: hive中使用spark执行引擎的常用参数

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/6837/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

最近整理资源【免费获取】:   👉 程序员最新必读书单  | 👏 互联网各方向面试题下载 | ✌️计算机核心资源汇总