spark2.0 为什么放弃了 akka 而用 netty?

Johngo学长 Spark 44

1. 很多Spark用户也使用Akka,但是由于Akka不同版本之间无法互相通信,这就要求用户必须使用跟Spark完全 一样的Akka版本,导致用户无法升级Akka。
2. Spark的Akka配置是针对Spark自身来调优的,可能跟用户自己代码中的Akka配置冲突。
3. Spark用的Akka特性很少,这部分特性很容易自己实现。同时,这部分代码量相比Akka来说少很多,debug 比较容易。如果遇到什么bug,也可以自己⻢上fix,不需要等Akka上游发布新版本。而且,Spark 升级 Akka 本身又因为第一点会强制要求用户升级他们使用的Akka,对于某些用户来说是不现实的。

回复

我来回复
  • 暂无回复内容

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部