上传文件超时

[zchcc]

Bug 描述
上传任意文件前端都504超时，看了一下控制台，seaweed在报错，可能有关系吧，但是不理解为什么报没空间

复现步骤
该 Bug 复现步骤如下

1. 通过docker compose 部署

version: '3'
services:
  crawlab:
    container_name: crawlab_master
    image: "crawlabteam/crawlab:latest"
    pull_policy: always
    ports:
      - "18808:8080"
    volumes:
      - "/share/Container/crawlab/.crawlab:/root/.crawlab"  # 持久化 crawlab 元数据
      - "/share/Container/crawlab/data:/data"  # 持久化 crawlab 数据
      - "/etc/localtime:/etc/localtime:ro"
    restart: always
    environment:
      CRAWLAB_NODE_MASTER: "Y"  # Y: 主节点
      CRAWLAB_MONGO_HOST: "mongodb"  # mongo host address. 在 Docker-Compose 网络中，直接引用 service 名称
      CRAWLAB_MONGO_PORT: "27017"  # mongo port
      CRAWLAB_MONGO_DB: "crawlab"  # mongo database
      CRAWLAB_MONGO_USERNAME: "root"  # mongo username
      CRAWLAB_MONGO_PASSWORD: "87654321"  # mongo password
      CRAWLAB_MONGO_AUTHSOURCE: "admin"  # mongo auth source
    depends_on:
      - mongodb
    networks:
      - develop_net
  mongodb:
    container_name: mongodb
    image: "mongo:4.2"
    ports:
      - "27017:27017"  # 开放 mongo 端口到宿主机
    volumes:
      - "/share/Container/mongo/data/db:/data/db"  # 持久化 mongo 数据
      - "/etc/localtime:/etc/localtime:ro"
    restart: always
    environment:
      MONGO_INITDB_ROOT_USERNAME: "root"  # mongo username
      MONGO_INITDB_ROOT_PASSWORD: "87654321"  # mongo password
    networks:
      - develop_net
networks:
  develop_net:

期望结果
能工作。

截屏

• 前端报错信息
  
  
• crawlab容器日志
  _crawlab_master_logs.txt
• crawlab容器内信息
  

[tikazyq]

建议将 /share/Container/crawlab 清理后重新重启主节点再试试

[zchcc]

建议将 /share/Container/crawlab 清理后重新重启主节点再试试

1. 删除crawlab与mongodb容器
2. 删除两个容器全部挂载的目录(包括/share/Container/crawlab)
3. 重新up这份yaml

做了以上操作，问题还在，没有解决，错误信息也跟之前一样

[tikazyq]

建议换个挂载目录

[ma-pony]

先把持久化的操作全去了，如果正常的话就持久化的问题，如果不正常的话，把master的8888端口暴露出来，看看里边有没有文件

[zchcc]

先把持久化的操作全去了，如果正常的话就持久化的问题，如果不正常的话，把master的8888端口暴露出来，看看里边有没有文件

不进行挂载问题依旧，端口暴露出来了

1. 进去的Web界面显示没有文件
2. 点upload按钮上传文件，空文件可以正常上传，任何非空文件同样会卡住，最后报500
   
   

然后怎么继续排查

[ma-pony]

先把持久化的操作全去了，如果正常的话就持久化的问题，如果不正常的话，把master的8888端口暴露出来，看看里边有没有文件

不进行挂载问题依旧，端口暴露出来了

1. 进去的Web界面显示没有文件
2. 点upload按钮上传文件，空文件可以正常上传，任何非空文件同样会卡住，最后报500
   
   

然后怎么继续排查

有点意思了，我也没遇到过
不会真是因为你磁盘不够了吧，docker多给点磁盘试试

[zchcc]

先把持久化的操作全去了，如果正常的话就持久化的问题，如果不正常的话，把master的8888端口暴露出来，看看里边有没有文件

不进行挂载问题依旧，端口暴露出来了

1. 进去的Web界面显示没有文件
2. 点upload按钮上传文件，空文件可以正常上传，任何非空文件同样会卡住，最后报500
   
   

然后怎么继续排查

有点意思了，我也没遇到过 不会真是因为你磁盘不够了吧，docker多给点磁盘试试

翻了下seaweedfs源码解决了，但是不知道crawlab这边该怎么配置

就是seaweedfs对磁盘有个lowspace判定，要是lowspace了就不创建volume，当然也无法写入文件了。lowspace默认按百分比1%，我磁盘剩余0.6%，但实际上还有上百G空间，weed启动时带上参数-volume.minFreeSpace 10GiB指定按字节数判定即可

weed server -dir /data -master.dir /data/seaweedfs -volume.dir.idx /data/seaweedfs -ip localhost -volume.port 9999 -filer -volume.minFreeSpace 10GiB

crawlab该怎么配置seaweedfs的启动参数? 或者其他方式解决