采集规则写法实战指南：定位方式选择与避坑要点

📍 WDQWDWQD987AAAAA:216.73.216.149
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /3d96fd6083a3.html
📄

编写采集规则是数据抓取项目中的关键环节，它决定了你能否从目标页面中准确提取所需字段，也直接影响抓取效率和稳定性。一份合理的规则设定，既能加快数据获取速度，也能降低账号被限制访问的可能性。下面从规则的基本构成、定位方式的选用以及高频问题入手，梳理出一套可落地的编写思路。

1. 理清采集规则的三个构成部分

无论你用的是开源框架还是商业软件，一条完整的采集规则通常由三个环节组成：发起请求、定位字段和整理输出。发起请求解决的是从哪里抓以及如何抓的问题，定位字段负责在返回内容中锁定目标数据，整理输出则让最终结果干净、统一，便于后续入库或分析。

动手之前，先明确任务类型：是只抓列表页上的标题和链接，还是要进到每个详情页提取完整参数？以商品信息采集为例，列表页规则相对简单，只要抓取商品链接并处理好翻页逻辑即可；而详情页规则就需要同时处理价格、规格、库存等多个字段，并且要考虑某些字段为空或格式不统一的情况。

如果你是刚入门，建议先用带可视化配置的采集工具跑通一个简单项目，观察工具自动生成的规则是什么样子，这对之后手写选择器或正则表达式会有直观帮助。

2. 四种字段定位方式与选型建议

定位方式的选取直接左右规则的健壮性和可维护性。当前使用较多的有四类，各有长处也各有局限。

XPath 适合处理结构复杂的页面。比如想提取某个区块内所有的段落文本，可以用 //div[contains(@class,'content')]//p 来命中。它的表达能力强的同时，也对页面层级变化比较敏感，一旦模板调整，表达式可能就需要跟着修改。

CSS选择器 写法更简洁，例如 .price-text 直接按类名定位。它的解析速度通常比XPath快，适合层级不深的页面，如新闻列表或博客摘要区。不过遇上同名类较多的情况，就要结合父元素或相邻节点来缩小匹配范围。

正则表达式 是基于文本模式匹配的方式，适合从一段杂乱文本中抽出手机号、订单号或邮箱这类有固定特征的字段。它灵活但易出错，表达式一旦复杂了，调试成本会明显上升。建议只在HTML或JSON结构不适合前述方式时使用。

JSONPath 专为接口返回的JSON数据设计。现在很多站点都采用异步加载，真实数据藏在XHR请求里，直接分析浏览器开发者工具中的网络面板，再用JSONPath提取返回内容，往往比解析HTML稳定得多。

避坑提示：尽量使用相对路径而不是从根节点写到底的绝对路径。绝对路径对包一层标签都很敏感，轻微的嵌套变动就可能让整条规则失效。

3. 翻页与动态加载的应对策略

多数采集任务都绕不开翻页。翻页逻辑往小了说是拼接URL参数，往大了说涉及网站反爬机制，稍不留意就容易中断。

  1. 先观察地址栏变化，如果是路径或查询参数在变，比如 page=2 或 /list/2，直接拼接循环即可。
  2. 若点击翻页后地址不变，说明是页面内脚本触发的加载，这时要回到网络请求里找到真正获取数据的那条接口，模拟该请求来翻页。
  3. 加入随机延时和失败重试机制，避免高频请求触发校验。单次失败不一定是规则问题，可能是网络波动或服务端临时限制。

对于鼠标滚动加载更多的情况，处理思路和动态接口一致：优先找接口，而不是模拟滚动操作。模拟滚动需要运行浏览器内核，资源占用高，稳定性也差。一旦从接口层面拿到列表数据，分页的循环逻辑就和普通翻页一致了。

4. 规则上线前的自检与维护习惯

写好的规则不要急着放到完整任务里跑，先拿少量数据进行试运行，检查输出是否符合预期。重点确认：字段值是否对应正确列、空值处理是否生效、是否存在重复抓取。

另外，养成记录页面结构的习惯也很有用。每一次网站改版，优先看该记录对照新的DOM结构，比从零开始排查快得多。建议把规则的适用版本号保存下来，方便后续回溯问题。

关于请求频率，可以在规则中加入参考响应时间设置超时时间，同时合理设置并发数。并发过高不只容易触发限制，也会让目标服务器压力增大，不利于长期采集。

5. 常见问题

5.1 用XPath还是CSS选择器更稳妥？

两者没有绝对优劣。CSS选择器简洁高效，适合结构扁平、类名明确的页面；XPath在处理嵌套层级和按文本内容筛选时更灵活。如果页面结构深度超过三层，或需要按文本内容定位元素，建议选XPath；否则用CSS选择器即可满足绝大多数需求。

5.2 采集到的数据有大量空格和换行怎么处理？

这属于数据清洗环节的典型问题。可以在规则中增加清除前后空白、把多个连续空格合并为一个的处理步骤，也可以对文本字段统一应用替换规则，将换行符替换为逗号或空格。建议在输出阶段统一处理，而不是在抓取阶段逐条修改规则表达式。

5.3 网站改版后规则完全失效，怎么快速恢复？

先打开目标页面，用浏览器的开发者工具对比当前页面结构和之前记录中的差异，找出失效的层级或类名。优先检查请求入口是否有变化，其次是字段的定位表达式。如果改版幅度较大，建议直接重新用可视化采集工具抓取一次并观察生成的新规则，再对照微调即可。

6. 总结

编写采集规则没有一成不变的标准答案，但遵循清晰的框架能减少大量返工。区分请求、定位、清洗三个环节，按页面结构合理选择定位方式，把翻页和动态加载都收敛到接口层面处理，再加上上线前的小批量试运行和定期的规则维护，基本能覆盖大多数采集场景。新手可以从单页采集开始，逐步熟悉定位语法，再过渡到多页和动态数据任务。遇到改版或失效，别急着推倒重来，先对照页面结构差异做针对性修复，往往能节省不少时间。

图1 图2
nginx