跳转至

Nebula Spark ConnectorGraph

Nebula Spark Connector是一个Spark连接器,提供通过Spark标准形式读写NebulaGraph数据的能力。Nebula Spark Connector由Reader和Writer两部分组成。

  • Reader

    提供一个Spark SQL接口,您可以使用该接口编程读取NebulaGraph图数据,单次读取一个点或边类型的数据,并将读取的结果组装成Spark的DataFrame。

  • Writer

    提供一个Spark SQL接口,您可以使用该接口编程将DataFrame格式的数据逐条或批量写入NebulaGraph。

更多使用说明请参见Graph。

适用场景Graph

Nebula Spark Connector适用于以下场景:

  • 在不同的NebulaGraph集群之间迁移数据。
  • 在同一个NebulaGraph集群内不同图空间之间迁移数据。
  • NebulaGraph与其他数据源之间迁移数据。

优势Graph

  • 提供多种连接配置项,如超时时间、连接重试次数、执行重试次数等。
  • 提供多种数据配置项,如写入数据时设置对应列为点ID、起始点ID、目的点ID或属性。
  • Reader支持无属性读取和全属性读取。
  • Reader支持将NebulaGraph数据读取成Graphx的VertexRD和EdgeRDD,支持非Long型点ID。
  • Nebula Spark Connector 2.0统一了SparkSQL的扩展数据源,统一采用DataSourceV2进行NebulaGraph数据扩展。

最后更新: May 13, 2021
Back to top