当多个角色对同一推广事实的理解不一致时,不要急着用自动评分给出结论,而应先把分歧拆成可核对的项目,再决定哪些项目必须保留人工判断。自动评分适合处理口径统一、证据可复现的字段;一旦涉及归因争议、素材判断或渠道适配,人工判断就不能被分数替代。
把推广项目分成两类,选择依据不是难度,而是“是否存在唯一可核对的事实”。
实际操作时,先让每个角色写出自己认定的“事实”和“依据”。如果两个人对同一项给出不同依据,这一项就应进入人工队列,而不是被自动分数覆盖。做完这一步,你会得到一张分歧清单,它比一个总分更能说明下一步该查什么。
分歧不能停留在“我觉得”。把每个争议点写成一条可核对的项目,格式包含三部分:待核对的事实、可接受的证据形式、谁负责给出证据。
这个动作的结果会直接改变下一步:如果证据能对齐,项目转入自动评分;如果证据仍冲突,就保留人工判断,并记录冲突原因。这样做的好处是,自动评分只处理已经对齐的部分,不会把未解决的分歧伪装成结论。
条件一:证据可复现,且各角色对字段定义无异议。此时可以让自动评分承担主要比较工作,人工只做抽查。抽查的重点不是重新算一遍,而是确认字段定义没有被悄悄改动。一旦定义变了,之前的分数就不再可比。
条件二:证据依赖解释,或角色之间对同一事实有不同理解。此时自动评分只能作为参考项,不能作为决策项。应把人工判断显式写进流程:谁来判断、依据什么、判断结果如何记录。判断结果本身也要能被复核,否则人工判断会变成另一种不可追溯的分数。
两种条件的分界不是渠道大小,而是“换一个人按同样规则操作,能否得到相同结论”。能,就自动;不能,就人工。
假设某工具类应用在两个渠道投放,自动评分显示渠道 A 的安装成本更低,但运营团队认为渠道 B 的用户更符合目标人群。这里的冲突不在数字,而在“目标人群”的定义。处理方式是:先确认目标人群的判定标准是否写清楚,再抽取双方都认可的一批用户做核对。如果标准写清楚了,自动评分可以继续用于成本比较,人群判断单独人工处理;如果标准没写清楚,任何分数都不能直接用于取舍。这个例子的数字仅用于说明比较方法,不代表真实投放结果。
有些项目即使证据可复现,也不适合完全交给自动评分。例如涉及合规表述、品牌口径或对外承诺的判断,一旦出错影响面较大,应保留人工确认环节。反过来,纯计数类字段如果长期人工核对,只会增加成本,不会提高准确性。
还要注意,某项统计归零或某项抓取量下降,不能单独证明处理正确。它可能是数据延迟、口径调整、渠道自身变化或采集范围缩小造成的。遇到这类现象,先回到分歧清单,确认是哪一项事实发生了变化,再决定是否调整人工与自动的分工。
最终要守住的原则是:自动评分负责可复现的比较,人工判断负责需要解释的取舍。两者混在一起,分数会替代判断;两者分开记录,判断才有机会被核对和修正。