先给结论:自动导出漏掉分页,通常不是“工具坏了”,而是导出上限、分页请求失败或结果被去重这三类原因之一。要检查完整性,最可靠的动作是拿同一查询条件做一次“小范围全量对照”:把时间、地区、设备、匹配方式固定,只缩小一个维度(例如把时间切成两段),分别导出后合并,再和一次性导出比对条数与首尾项。如果两段之和明显大于整段导出,说明整段导出被截断,下一步应改成分段导出,而不是继续信任单次全量文件。
读者手里的资料通常是一个导出文件,行数比预期少。这时先别急着补导,先判断属于哪一类,因为处理动作完全不同。
可区分的证据是首尾项:真截断时,末行通常落在查询范围中间;去重时,首尾项仍然覆盖整个范围,只是中间有合并;条件漂移时,首尾项会整体偏向某个时间段或某个设备。
假设你导出了某长尾词工具近 90 天的数据,得到 480 行,怀疑被截断。可以这样验证(以下数字仅用于说明比较方法,不是真实数据):
第 4 步是关键:它把“文件行数差异”变成“具体词是否真实存在”的证据。如果这些词在界面里查不到,那差异更可能来自两次导出之间数据本身发生变化,而不是分页遗漏。
确认截断后,处理动作不是“再导一次全量”,而是改成按时间分段导出并保留分段标记。每段文件加一个来源字段,记录该段的起止日期。这样做的直接结果是:后续合并时能判断某个词是否跨段重复,而不是无差别去重。
如果工具支持按分页序号导出,优先保留页码字段。页码能让你核对“第 1 页到第 N 页”是否连续,缺页比缺行更容易定位。若工具只给一个合并文件,没有页码,那完整性检查只能依赖分段对照,成本更高,这时应把分段粒度设得足够细,例如按周而不是按月。
不是所有行数波动都需要处理。可以用下面这组信号决定是否继续追查:
另外要记住一个边界:请求量下降、抓取量归零或某次导出行数变少,都不能单独证明分页处理正确或错误。它们也可能是数据源本身更新、权限变化或查询条件变化的结果。只有把分段对照和逐词回查结合起来,才能把解释范围缩小到分页这一项。
如果你现在只有一个可疑的导出文件,最小可行动作是:固定其余条件,把时间范围对半拆开,各导一次,合并去重后与原件比条数,并抽 10 个只在分段文件中出现的词回查界面。若回查通过且合并条数明显更大,就把后续所有导出改为分段并保留起止日期字段;若回查不通过,就先检查筛选条件和数据更新周期,再决定是否重导。这个顺序能避免在错误原因上反复重导,也能让下一次导出的完整性有可核对的依据。