导入命令参数Graph
完成配置文件修改后,可以运行以下命令将指定来源的数据导入NebulaGraph数据库。
-
首次导入
<spark_install_path>/bin/spark-submit --master "local" --class com.vesoft.nebula.exchange.Exchange <nebula-exchange-2.x.y.jar_path> -c <application.conf_path>
-
导入reload文件
如果首次导入时有一些数据导入失败,会将导入失败的数据存入reload文件,可以用参数
-r
尝试导入reload文件。<spark_install_path>/bin/spark-submit --master "local" --class com.vesoft.nebula.exchange.Exchange <nebula-exchange-2.x.y.jar_path> -c <application.conf_path> -r "<reload_file_path>"
Note
JAR文件版本号以实际编译得到的JAR文件名称为准。
Note
如果使用Graph提交任务,请参考如下示例:
$SPARK_HOME/bin/spark-submit --master yarn-cluster \
--class com.vesoft.nebula.exchange.Exchange \
--files application.conf \
--conf spark.driver.extraClassPath=./ \
--conf spark.executor.extraClassPath=./ \
nebula-exchange-2.5.0.jar \
-c application.conf
下表列出了命令的相关参数。
参数 | 是否必需 | 默认值 | 说明 |
---|---|---|---|
--class |
是 | 无 | 指定驱动的主类。 |
--master |
是 | 无 | 指定Spark集群中master进程的URL。详情请参见Graph。 |
-c / --config |
是 | 无 | 指定配置文件的路径。 |
-h / --hive |
否 | false |
添加这个参数表示支持从Hive中导入数据。 |
-D / --dry |
否 | false |
添加这个参数表示检查配置文件的格式是否符合要求,但不会校验tags 和edges 的配置项是否正确。正式导入数据时不能添加这个参数。 |
-r / --reload | 否 | 无 | 指定需要重新加载的reload文件路径。 |
更多Spark的参数配置说明请参见Graph。
最后更新: August 12, 2021