上QQ阅读APP看书,第一时间看更新
2.6 Spark 2.2 GraphX
Apache Spark 2.2.0版本中GraphX的更新如下。
1.Bug修复
SPARK-18847:PageRank对图汇、图形给出不正确的结果。
SPARK-14804:图形vertexRDD/EdgeRDD检查点结果报异常ClassCastException。
2.系统优化
SPARK-18845:PageRank初始值提升,实现更快的收敛。
SPARK-5484:Pregel应定期检查点,以避免堆栈溢出异常StackOverflowError。
Spark 2.X版本对图计算的改动并不多,使PageRank更加个性化以及移除了Bagel模块。