-
luozihao2002 authored
包含以下内容： - 爬虫核心模块 (furniture_spider): config/db/downloader/proxy/spiders/storage/utils - 独立爬虫工作脚本: amazon_worker / ikea_worker / mega_spider_v2 - 数据处理: merge_data / sqlite_to_pg / migrate_local_to_minio / deliver_incremental - 运维脚本: check_status / restart_workers / start_amazon_smart / proxy_env - 部署配置: docker-compose.yml / requirements.txt - 文档: 架构与技术栈 / 多人并行爬取数据整合指南
d91b6cd0
