Skip to content

开源项目 · 爬虫刷题靶场

LearnSpider 爬虫百战成神

在刷题里学会爬虫,而不是看完就忘。

一个用 Django + DRF 搭起来的爬虫练习网站:题目由易到难,每题配套示例代码、文档讲解和视频演示,覆盖 requests、Scrapy、Selenium、DrissionPage 与常见反爬。

  • 爬虫靶场
  • Django
  • 一题多解
  • 从零到进阶
LearnSpider 爬虫百战成神项目封面
题库、示例和讲解放在同一个站点里。
类型
练习网站 / 刷题靶场
技术栈
Django + DRF + jQuery
题库
初级到高级
形态
Web 应用

为什么做这个靶场 ​

只看教程很容易有一种“学会了”的错觉,过几天想动手又不知道从哪开始。LearnSpider 把爬虫知识点做成了可以刷的题目:每道题都有目标页面、难度和练习方向,做完再对照示例代码与讲解。

它的目标不是把某个框架讲全,而是让你在一次次请求、解析、调试和绕过限制的过程里,形成自己的排查顺序。

题库覆盖什么 ​

请求与解析

从 requests、lxml 到接口请求、静态页面解析,先把“拿到数据”这件事跑通。

自动化工具

Selenium、DrissionPage 的等待、点击、截图和页面状态判断,用来处理浏览器里才有的数据。

反爬专题

接口加密、JS 混淆、SVG / CSS / 雪碧图反爬和 WASM 等主题,按题目逐步拆。

一题多解

同一道题尽量给出多种实现,配合文档和视频演示,方便比较不同工具的边界。

本地跑起来 ​

bash
git clone https://github.com/cpython666/LearnSpider.git
cd LearnSpider
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate
pip install -r requirements.txt
python manage.py migrate
python manage.py runserver

浏览器打开 http://127.0.0.1:8000。数据库连接和题目数据按仓库 README 与 LearnSpider/settings.py 的说明配置;如果在线上部署,记得修改默认账号和密钥。

适合谁 ​

  • 学完 Python 基础,想找题目练手的学生或转行者。
  • 正在学 requests、Scrapy、Selenium、DrissionPage,需要真实页面练手的人。
  • 想要一个可以自己部署、自己加题的爬虫练习环境的人。

项目仅用于学习和交流,请遵守目标站点的规则与相关法律法规。

相关入口 ​

开源项目

喜欢这页纸,就去 GitHub 点个 Star。

问题、建议或想要的功能,欢迎在仓库里提 Issue。

打开 GitHub

本站收录内容源自互联网,不对其网站内容或交易负责。 | 如有内容侵犯权益,请联系站长删除相关内容!

今日和总访问量