Please enable Javascript to view the contents

如何预热 Juicefs 数据

 ·  ☕ 1 分钟

1. 使用 JuiceFS 客户端预热数据

  • 指定目录
1
juicefs warmup /mnt/jfs/dataset-1
  • 批量指定目录
1
juicefs warmup -f warm.txt

其中 warm.txt 为预热目录列表,每行一个目录

1
2
3
/mnt/jfs/dataset-1
/mnt/jfs/dataset-2
/mnt/jfs/pics

2. 使用 Fluid 预热数据

  • 预热指定的目录
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
apiVersion: data.fluid.io/v1alpha1
kind: DataLoad
metadata:
  name: juicefs-dataload
spec:
  dataset:
    name: spark
    namespace: default
  target:
    - path: /mnt/jfs/dataset-1
    - path: /mnt/jfs/dataset-2
    - path: /mnt/jfs/pics
  • 预热整个数据集
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
cat <<EOF > dataload.yaml
apiVersion: data.fluid.io/v1alpha1
kind: DataLoad
metadata:
  name: juicefs-dataload
spec:
  dataset:
    name: juicefs
    namespace: default
EOF

微信公众号
作者
微信公众号