自动化数据采集危险啦,我的饭碗裂开啦
大家应该都知道我的工作就是自动化数据采集相关的,内容差不多就是用代码控制浏览器自动打开一些页面,自动点击然后提取数据。
虽然说我感觉我的工作内容还是挺简单的,然后AI最近的发展呢我也知道的,像那些mcp啊,skill,agent啊,还有image-2生成图片,codex结合hyperframes插件制作视频啊这些我都知道。但是我没有怎么用,因为平时工作也就是增删改查,一般也用不上那些先进的功能。
但是我还是感觉对于ai完成我的工作还是有很大差距。谁知道不试不知道,一试吓一跳。这两天试了下,ai真的有点震撼我了,我感觉我的饭碗有点裂开了。吓得我赶紧来更新一条自媒体啊,再不做自媒体等失业了就真来不及了。
事情起因就是,平时我吃瓜看一些帖子,或者看一些技术文章。这些文章可能就不是被很好地保留,有时候没时间看我们点个收藏想着等下再看结果过了一会儿发现文章没了,可能删帖了或者违规被下架了。就非常可惜。
所以我看到好的文章就经常在浏览器里面ctrl+s将网页保存到本地,包括图片这些东西,可以离线观看。但是这样也会有一点缺点,比如说原来网页的一些动画交互效果没了,或者样式没了,还有一些页面里面的广告啊或者其他的内容也保存下来了。就不是那么的完美,如果有强迫症或者完美主义者就会感觉差了那么点意思。还有一种情况就是平台对于作者的文章有保护,你保存的话可能会保存下来一个空页面,就很难受。
然后这两天刚好有个需求,就是前几天一直在吃一个瓜,感觉很有趣,然后博主说过阵子要删帖了。我就感觉很可惜,对瓜意犹未尽。我就想着能不能把这个博主的所有帖子备份一下。
因为我就是做自动化采集的嘛,要是手动写代码实现这需求也不是很难。就是浏览器打开作者主页,提取文章链接,然后去备份每一篇文章。提取文案和图片保存到本地。可能也就两三个步骤,但是还是太懒了,就觉得很麻烦,不情愿去写代码。
然后刚好前阵子看到trae上线了网页solo模式,我灵机一动就想着尝试一下。然后我就噼里啪啦洋洋洒洒打了一句话,很简短:同时放了个链接。然后我就看他一步一步开始思考起来了,其实我也没当个事,想着大概率他实现不了的。就去干别的事情了。
过了十几分钟回来一看,嘿,它说它真办成了。像模像样的显示生成了两个文件,说已经全部保存下来了,图片也在本地了。说实话我挺不信的,因为ai经常骗人,说得好听但是活干的不一定怎么样。我点开预览链接看了下,哎呦,竟然还真的成了。先是帖子列表,然后每个点进去都有内容。
这个时候我就开始挑刺了,说好的保存到本地,你保存到自己的云端了,不在我电脑上啊,我就又问他了:它说可以给我个压缩包。我挺惊讶的,他竟然能听懂我说的,并且给出了回答,然后我就不客气了,直接让他:然后他就给出了zip下载链接...然后我就下载,打开页面,真的打开了,这么的完美。无可挑剔。整个过程我就说了三句话,这个时候我道心破碎了,仿佛听到了我饭碗破碎的声音。
这AI都干了,我以后还干什么啊。这只是个小需求,如果说让你写代码,我觉得大概率也是可以完成的。那AI岂不是让自动化的门槛几乎归零,一个会点python刚毕业的大学生就可以替代我的工作了。
感叹之余我还是有点惊喜。ai这么厉害,刚好我还有个需求:就是我的朋友圈超级多,朋友圈又不带搜索功能,有想要找的内容就会找很久。能不能让AI把我的朋友圈全部导入到飞书文档里。聊了两句我觉得他不可以。虽然说AI如果自动操作电脑也可以实现导出我的朋友圈,但是所有的图片要一个一个保存肯定需要精确的操作,很长的上下文和很多token。并不是它的能力不行,而是它受限制了。之所以ai可以提取浏览器里面的东西,是因为浏览器的生态非常的开放。但是我们平时用的很多软件的生态并不开放,如果说这些软件提供了各种接口或者协议供AI调用使用,也就是MCP,那么AI肯定可以如履平地。
但是现在不可以,甚至说这些不便利的操作成为了这些软件的护城河。就像去年火了一阵的豆包手机,想法很好,用户也很喜欢,但是软件不允许。找借口说会侵犯用户隐私,但其实用户并没有的使用自己数据的选项。本质上还是资本的权衡利弊和各方各面的博弈,就像买东西可以打开软件浏览商品,但是AI却不可以,因为一旦放开接口可以供AI查询数据,之前需要人来采集电商数据,现在只需要装作是ai去请求数据。平台要保护自己的数据。
后面我又试了一个需求,就是网上很火的ai做视频,我用的trae的solo+hyperframes插件,感觉效果超级差,根本用不了,效果还不如我直接生成语音加个图片背景。不知道codex会不会好一点,但是没有会员。
AI的发展确实挺快的,最开始阶段是是在聊天界面让ai写代码,然后复制粘贴出来,运行然后报错然后各种改。第二个阶段就是在AI-ide里面直接让ai给你改代码,拼接起来,完善注释,优化代码结构。到现在直接给ai提需求,提供工具和说明书,也就是mcp和skill,然后ai自己干,直接自动化干好给你结果。
AI极大的提高了程序员的效率,缩小了同级别程序员的差距,但并不意味着非程序员的业外人士可以替代程序员。
目前AI的发展,让程序员从不可或缺的主力开发,没有就实现不了目标,变成了一个安全垫的定位。简单的重复性的需求只需要审查代码,然后ai解决不了的问题,理不清楚的逻辑程序员再上。
未来肯定会有一天,很多的岗位被电脑里的AI替代,甚至说机器人坐在电脑前面做着一些重复性的复制粘贴搬运数据的任务。
上面就是我对于ai发展的思考,大家有不同看法可以在评论区讨论。