Skip to content

P1-本专栏的目的,会讲那些知识?DrissionPage自动化数据采集

hello大家好,今天带来的是自动化数据采集的第二集,在这一集主要会讲一下这个合集会涉及到哪些知识。当然目前的规划也只是给予我目前的认知,因为完整的合集大纲我并没有制定,只是凭借感觉做一集是一集,主要思路就是讲一些在每个阶段我觉得水到渠成和相对重要的操作。

接下来是做这个的原因:

开始之前依旧是夸夸自动化。自动化我觉得是比较纯粹的,所见即所得,学习反馈特别快。自动化与逆向的关系我觉得就像是前端后端的差别,前端写点代码直接就可以看到效果,对应我们的自动化一切都在掌握之中,而逆向像是后端,学了一堆东西,最后只有每个都熟练了才能做出点像样的东西。

  • 目前市面上的drissionpage系列教程较少(小破站已经有一些up在讲了,但是我觉得我可以再输出一套,因为每个人的讲课方法效果都是不同的,偏重点也有所不同,所以我的教程自然会按我喜欢的节奏来,然后我觉得我的思路就是举一反三,授人以渔,尽量在尽量少的时间里把事情讲清楚)
  • 自己需要学习(一部分工作需要或者说是学习领域需要),而且自己先学习再输出将会是学习的巨大动力,效果也是最好的。有一个定理就是说把别人讲会才是真正的会了。
  • 我之前也零散做有一些笔记。自己的笔记文档比较乱,所以导致真正用到的时候还是去翻之前的代码,笔记并没有起多大的作用,所以以分享为动力顺便整理一下笔记
  • 市面上的教程还是比较散乱,所以我这里准备做一个合集将其汇总一下,并且附带有文档。(到时候可能也会在我的博客里专门搞一个专栏文章,讲这一系列文章放进去)

本教程的文档大多摘自与官方文档,主要由于官方文档是全面具体的,比如说定位语法可能会示例多种,但是我们平时使用的话只会使用我们最熟悉最喜欢的方式,同理在这系列教程中我也会使用我最熟悉最喜欢的方式,大家如果有更好用的方法的话欢迎推荐。

会讲解那些知识呢?

大致的流程主要是示例讲解,都先讲解代码,然后查看效果。

就是会讲解一些我觉得实用的案例,然后配合上我的爬虫百战成神项目,不会去别人的网站上搞例子,因为这样可以保证我100%的安全。所以需要大家自己举一反三其他平台的效果,当然我也会在视频中大致指一些例子的应用场景~~,这个系列教程只提供思路不提供代码~~。以此确保在用我的项目做示例的同时,大家可以改点参数就可以用在自己想要采集的网站上。

目前我对于drissonpage的使用和理解也仅处于基础阶段,这也正是我开始此专栏的目的,督促自己学习。

既然讲了自动化,免去了一些逆向的头痛操作,那么为了保证我们专栏的内容丰富度,可能还会更新一些过验证码的视频。比如鼠标轨迹检测等,验证码识别等一整套,如果我后续会学习到这些知识的话也会分享出来。

目前的话我只想了一个检测这个自动化的方式就是像cloudflare那样出现一个按钮去点击,然后获取鼠标轨迹校验,从而判断是否是自动化的。与之相对应的就是轨迹的生成,如何去录制轨迹然后训练模型或者是对轨迹进行缩放进而模仿轨迹避免自动化检测,这部分还没去了解,所以上面的只是猜测。

后面看看能不能做出来。大家跟兴趣的话可以关注一下。

本站收录内容源自互联网,不对其网站内容或交易负责。 | 如有内容侵犯权益,请联系站长删除相关内容!