作品库AIGC与技术

website_monitor:信息监测自动化工具

Python + Playwright + Gitee Go 云端定时:把重复浏览交给程序,辅助大模型提炼

#数据#AI
刊发媒体开源项目
作品形态数据工程
刊发日期2026/07/08
角色作者:开发、自动化流水线与大模型辅助设计
工具Python · Playwright · Gitee Go · 大模型辅助

背景

实习与自媒体运营中有一个高频琐碎需求:盯着多个目标站点(公告页、数据页),内容一更新就要第一时间知道。手动刷新太浪费人,这个项目要做的是一套“替人盯着”的自动化工具:爬取、比对、去重、推送,一条线跑完。

过程

  1. 爬虫与比对:用 Python + Playwright 处理多站点差异结构,按站点定制解析规则;内容变更用双缓冲算法(旧版本镜像对比)去抖动,避免重复推送;
  2. 云端定时:接入 Gitee Go CI 定时任务,代码提交与定时运行同一条流水线,改成纯云端运行,无需本地常驻;
  3. 推送通道:支持 Server 酱微信推送等多通道通知,重要变更实时到达手机;并接入大模型辅助生成变更摘要,从“变了”升级为“变了什么”;
  4. 工程细节:命令行参数化,一个配置文件对应一个站点;全部公开在 GitHub。

结果数据

  • GitHub 公开仓库(rcwowhoo/website_monitor),README 含完整部署步骤;
  • 工具目前支撑多个日常站点监测,部署后“手动检查 → 自动推送”的工时归零;
  • 这是我把新闻直觉翻译成工程方案的尝试:新闻人要盯的东西,也可以让程序替你盯。