Nebula ImporterGraph

Nebula Importer（简称 Importer）是一款 Graph 的 CSV 文件单机导入工具。Importer 可以读取本地的 CSV 文件，然后导入数据至 NebulaGraph 图数据库中。

适用场景Graph

Importer 适用于将本地 CSV 文件的内容导入至 NebulaGraph 中。

优势Graph

• 轻量快捷：不需要复杂环境即可使用，快速导入数据。

• 灵活筛选：通过配置文件可以实现对 CSV 文件数据的灵活筛选。

更新说明Graph

Graph

前提条件Graph

在使用 Nebula Importer 之前，请确保：

• 已部署 NebulaGraph 服务。目前有三种部署方式：

  • Graph
  • Graph
  • Graph

• NebulaGraph 中已创建 Schema，包括图空间、Tag 和 Edge type，或者通过参数clientSettings.postStart.commands设置。

• 运行 Importer 的机器已部署 Golang 环境。详情请参见 Graph。

操作步骤Graph

配置 yaml 文件并准备好待导入的 CSV 文件，即可使用本工具向 NebulaGraph 批量写入数据。

下载二进制包运行Graph

1. 在Graph页面下载二进制包，并添加执行权限。

2. 启动服务。

   $ ./<binary_package_name> --config <yaml_config_file_path>
   

源码编译运行Graph

1. 克隆仓库。

   $ git clone -b v2.6.0 https://github.com/vesoft-inc/nebula-importer.git
   

   Note

   请使用正确的分支。 NebulaGraph 1.x 和 2.x 的 rpc 协议不同，因此：

   • Nebula Importer v1 分支只能连接 NebulaGraph 1.x。
   • Nebula Importer master 分支和 v2 分支可以连接 NebulaGraph 2.x。

2. 进入目录nebula-importer。

   $ cd nebula-importer
   

3. 编译源码。

   $ make build
   

4. 启动服务。

   $ ./nebula-importer --config <yaml_config_file_path>
   

   Note

   yaml 配置文件说明请参见下文的配置文件说明。

无网络编译方式Graph

如果服务器不能联网，建议在能联网的机器上将源码和各种依赖打包上传到对应的服务器上编译即可，操作步骤如下：

1. 克隆仓库。

   $ git clone -b 2.6.0 https://github.com/vesoft-inc/nebula-importer.git
   

2. 使用如下的命令下载并打包依赖的源码。

   $ cd nebula-importer
   $ go mod vendor
   $ cd .. && tar -zcvf nebula-importer.tar.gz nebula-importer
   

3. 将压缩包上传到不能联网的服务器上。

4. 解压并编译。

   $ tar -zxvf nebula-importer.tar.gz 
   $ cd nebula-importer
   $ go build -mod vendor cmd/importer.go
   

Docker 方式运行Graph

使用 Docker 可以不必在本地安装 Go 语言环境，只需要拉取 Nebula Importer 的Graph，并将本地配置文件和 CSV 数据文件挂载到容器中。命令如下：

$ docker run --rm -ti \
    --network=host \
    -v <config_file>:<config_file> \
    -v <csv_data_dir>:<csv_data_dir> \
    vesoft/nebula-importer:<version>
    --config <config_file>

• <config_file>：本地 yaml 配置文件的绝对路径。
• <csv_data_dir>：本地 CSV 数据文件的绝对路径。
• <version>：NebulaGraph 2.x 请填写v2。

配置文件说明Graph

Nebula Importer 通过nebula-importer/examples/v2/example.yaml配置文件来描述待导入文件信息、NebulaGraph 服务器信息等。用户可以参考示例配置文件：Graph。下文将分类介绍配置文件内的字段。

基本配置Graph

示例配置如下：

version: v2
description: example
removeTempFiles: false

客户端配置Graph

客户端配置存储客户端连接 NebulaGraph 相关的配置。

示例配置如下：

clientSettings:
  retry: 3
  concurrency: 10
  channelBufferSize: 128
  space: test
  connection:
    user: user
    password: password
    address: 192.168.11.13:9669,192.168.11.14:9669
  # # 只有 local_config 是 false 的情况下，才可以通过 UPDATE CONFIGS 更新配置
  # postStart:
  #   commands: |
  #     UPDATE CONFIGS storage:wal_ttl=3600;
  #     UPDATE CONFIGS storage:rocksdb_column_family_options = { disable_auto_compactions = true };
  #   afterPeriod: 8s
  # preStop:
  #   commands: |
  #     UPDATE CONFIGS storage:wal_ttl=86400;
  #     UPDATE CONFIGS storage:rocksdb_column_family_options = { disable_auto_compactions = false };

文件配置Graph

文件配置存储数据文件和日志的相关配置，以及 Schema 的具体信息。

文件和日志配置Graph

示例配置如下：

logPath: ./err/test.log
files:
  - path: ./student_without_header.csv
    failDataPath: ./err/studenterr.csv
    batchSize: 128
    limit: 10
    inOrder: false
    type: csv
    csv:
      withHeader: false
      withLabel: false
      delimiter: ","

Schema 配置Graph

Schema 配置描述当前数据文件的 Meta 信息，Schema 的类型分为点和边两类，可以同时配置多个点或边。

• 点配置

示例配置如下：

schema:
  type: vertex
  vertex:
    vid:
      type: string
      index: 0
    tags:
      - name: student
        props:
          - name: name
            type: string
            index: 1
          - name: age
            type: int
            index: 2
          - name: gender
            type: string
            index: 3

• 边配置

示例配置如下：

schema:
  type: edge
  edge:
    name: follow
    withRanking: true
    srcVID:
      type: string
      index: 0
    dstVID:
      type: string
      index: 1
    rank:
      index: 2
    props:
      - name: degree
        type: double
        index: 3

关于 CSV 文件表头（header）Graph

Importer 根据 CSV 文件有无表头，需要对配置文件进行不同的设置，相关示例和说明请参见：

• Graph

• Graph

视频Graph

• Graph（3 分 09 秒）