暗色模式
一个高效、灵活且可扩展的数据 采集-清洗-存储-展示-保护-计算 框架。
基于 Playwright 和 Camoufox ,通过脚本操控浏览器进行网站数据采集。内置多平台API库,可作为爬虫数据来源。
TypeScript + Jsonata + Quicktype 实现的数据处理,包含类型生成与缓存、数据转换与检查等功能。
将清洗后的数据更新到 PostgreSQL ,或上传多媒体文件至 MinIO 。
部署和支持 NocoDB ,提供类似电子表格的可视化界面。
从工程架构上为个人开发者保护数据安全。