开源项目 · 部署示例
crawlab-demo Crawlab 示例
一条 docker compose，把爬虫管理平台跑起来。
一个可以直接参考的 Crawlab 部署示例：用 docker compose 同时拉起 Crawlab 主节点和 MongoDB，把元数据、任务日志和数据库挂到本地目录，打开 8080 就能用。
- 类型
- Docker 部署示例
- 服务
- Crawlab + MongoDB
- 端口
- 8080
- 数据
- 本地卷持久化
包含什么
docker-compose.yml 里定义了两个服务：
master：Crawlab 主节点，暴露8080，通过环境变量连接 MongoDB。mongo：MongoDB 4.2，数据持久化到./data/db。
Crawlab 的元数据、任务数据和日志分别挂载到本地目录，容器重启后不会丢。仓库里还带了一个占位的 main.py 和已经跑过的 crawlab/、data/ 目录，方便直接对照目录结构。
启动
bash
docker compose up -d然后打开 http://localhost:8080。停止并保留数据：
bash
docker compose down如果要连数据一起清掉，再删除 data/ 和 .crawlab/；删除前确认里面没有还要用的任务和数据库。
部署前要改的地方
- 把
Mongo的默认用户名、密码和环境变量里的连接信息换掉，不要直接使用示例值。 - 生产环境建议固定 Crawlab 和 MongoDB 的镜像版本，不要长期使用浮动 tag。
- 配置里的
platform: linux/amd64是为了在 Apple Silicon 上跑 amd64 镜像；如果你在 x86 服务器上部署，可以删掉或按实际架构调整。 - 8080 和 27017 默认映射到宿主机；对外网开放前加防火墙或反向代理，不要直接把数据库端口暴露出去。
这个仓库是“能跑起来的示例”，不是完整运维方案。真正上线还要考虑备份、日志轮转、资源限制和升级路径。
相关入口
开源项目
喜欢这页纸，就去 GitHub 点个 Star。
问题、建议或想要的功能，欢迎在仓库里提 Issue。
