使用前必读

选择爬虫模式

maize 提供两种爬虫模式，按需求选择：

场景	推荐模式	原因
简单页面抓取、API 采集	Lite	轻量，无需中间件/管道，构造函数即用
监控轮询、定时抓取	Lite	内置去重可关闭，dont_filter 单请求逃生口
需要中间件（UA 轮换、代理池、重试策略）	Classic	完整中间件链
多管道批量入库（MySQL + Redis + CSV）	Classic	Pipeline 链，批量处理
分布式爬虫	Classic	基于 Redis 的分布式调度
RPA / 浏览器渲染页面	Classic	Playwright/Patchright 下载器
快速原型、教学演示	Lite	5 分钟上手，单文件即跑

• Lite 模式：from maize.aio.lite import LiteSpider，详见 Lite 轻量爬虫
• Classic 模式：from maize import Spider，详见 Spider 进阶

推荐项目结构

Lite 项目（简单场景）

Text Only

my_project/
├── spider.py        # 爬虫文件（含 LiteSpider 子类）
└── run.py           # 启动入口（可选，也可直接在 spider.py 末尾 run）

最小示例（单文件即可运行）：

Python

# spider.py
from maize.aio.lite import LiteSpider, Request, Response

class MySpider(LiteSpider):
    async def start_requests(self):
        yield Request(url="https://example.com")

    async def parse(self, response: Response):
        self.logger.info(response.xpath("//title/text()").get())

if __name__ == "__main__":
    MySpider().run()

Classic 项目（完整功能）

Text Only

my_project/
├── spiders/               # 存放所有爬虫
│   ├── __init__.py
│   ├── spider_1.py
│   └── spider_2.py
├── items.py              # 定义采集后的 Item
├── pipelines.py          # 自定义数据管道（可选）
├── middlewares.py        # 自定义中间件（可选）
├── settings.py           # 项目配置文件
└── run.py                # 启动入口

完整项目结构示例见 Spider 进阶。

模块对照表

功能	Lite	Classic
爬虫基类	LiteSpider	Spider / TaskSpider
请求/响应	maize.common.http.Request/Response（共享）	同左
数据项	maize.common.items.Item（共享）	同左
配置	构造函数参数 + 可重写属性	SpiderSettings（文件/对象/环境变量）
并发控制	concurrency 参数	SpiderSettings.concurrency
重试	retry 参数 + should_retry	RequestSettings.max_retry_count + 中间件
代理	proxy 参数	ProxySettings 或 Request.proxy
去重	内置 dedup 属性	DepthMiddleware 等中间件
深度控制	max_depth 属性	DepthMiddleware
数据处理	process_item 钩子	Pipeline 链
下载器	aiohttp（内置）	可选 aiohttp/httpx/playwright/patchright
中间件	不支持	三层中间件链
日志	self.logger	self.logger + logger_handler 配置