作品库AIGC与技术
website_monitor:信息监测自动化工具
Python + Playwright + Gitee Go 云端定时:把重复浏览交给程序,辅助大模型提炼
#数据#AI
刊发媒体开源项目
作品形态数据工程
刊发日期2026/07/08
角色作者:开发、自动化流水线与大模型辅助设计
工具Python · Playwright · Gitee Go · 大模型辅助
背景
实习与自媒体运营中有一个高频琐碎需求:盯着多个目标站点(公告页、数据页),内容一更新就要第一时间知道。手动刷新太浪费人,这个项目要做的是一套“替人盯着”的自动化工具:爬取、比对、去重、推送,一条线跑完。
过程
- 爬虫与比对:用 Python + Playwright 处理多站点差异结构,按站点定制解析规则;内容变更用双缓冲算法(旧版本镜像对比)去抖动,避免重复推送;
- 云端定时:接入 Gitee Go CI 定时任务,代码提交与定时运行同一条流水线,改成纯云端运行,无需本地常驻;
- 推送通道:支持 Server 酱微信推送等多通道通知,重要变更实时到达手机;并接入大模型辅助生成变更摘要,从“变了”升级为“变了什么”;
- 工程细节:命令行参数化,一个配置文件对应一个站点;全部公开在 GitHub。
结果数据
- GitHub 公开仓库(rcwowhoo/website_monitor),README 含完整部署步骤;
- 工具目前支撑多个日常站点监测,部署后“手动检查 → 自动推送”的工时归零;
- 这是我把新闻直觉翻译成工程方案的尝试:新闻人要盯的东西,也可以让程序替你盯。