apache spark conenct 提升spark 能力

spark 是一个很强大的工具,但是大家可能也会使用比较费事,包含了集群管理,以及多租户管理,所以社区开发了不少
基于spark 的扩展,apachekyuubi 就是一个典型提供了多租户以及直接使用sql 进行spark 操作的能力

原有spark 集成模式

apache spark  conenct 提升spark 能力

新spark 集成模式

apache spark  conenct 提升spark 能力

apache spark  conenct 提升spark 能力

说明

apache spark conenct 利用了grpc 以及arrow 进行协议通信,这样以后我们开发基于spark 的处理就很简单了,从目前来说原有开源软件基于单体的模式都在向模块化
和灵活的集成发现

[En]

And flexible integrated discovery

参考资料

https://databricks.com/blog/2022/07/07/introducing-spark-connect-the-power-of-apache-spark-everywhere.html

Original: https://www.cnblogs.com/rongfengliang/p/16461798.html
Author: 荣锋亮
Title: apache spark conenct 提升spark 能力

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/7162/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

发表回复

登录后才能评论
免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部