Costless 如何核实零售 价格与购物小票数据
Costless 通过四个独立数据源核实零售数据:覆盖56家连锁超市官网的自动爬取程序、对超过240,000张真实购物小票进行基于 ML 的 OCR 识别、现场人员经 GPS 验证的价签采集,以及对传单、网络图片及官方 Telegram 与 Viber 频道促销横幅的 OCR 处理。交叉来源核实可发现爬取错误、遗漏促销信息,并过滤约8%的虚假小票提交。
四个独立数据流
Costless 汇聚四路独立零售数据。对这些数据进行交叉比对,是我们的结论可验证而非单纯断言的基础。
从数据源到结构化数据
线上爬取程序
每家连锁超市的爬取程序均了解该超市的页面结构或 API。爬取程序按固定的每周两次周期运行,时间错开以避免突发负载,遵守网站保护机制,并优先使用连锁超市公开的 API 而非直接抓取页面。部分超市因其服务条款禁止爬取,我们不予抓取——对于这些超市,数据仅来自小票、现场采集和促销横幅。
小票 OCR 流水线
上传的小票先经 OpenCV 预处理(纠偏、对比度、去光斑、热敏纸褪色修复),随后以 Google Cloud Vertex AI 视觉服务为主引擎提取文字,以 Tesseract 作为快速备用方案,并使用针对东欧小票格式训练的内部 CNN 处理疑难情况。逐行解析条目,通过向量嵌入将商品与标准化数据库匹配,并与小票打印总额进行核对。
在已支持的小票格式中,端到端准确率持续保持较高水平。各阶段基准因超市模板、纸张类型和图像质量而异,因此我们不发布单一数字以免误导对实际分布的判断。
欺诈检测
约8%的提交小票在进入核实数据集之前被标记为虚假。检测信号包括:重复检测、图像取证(屏幕翻拍或打印件翻拍、经过编辑的图像)、商户一致性核查、结构异常及频率启发式规则。被标记的提交将被隔离,并要求用户重新清晰拍摄。
经核实的现场采集
现场人员应用程序强制执行到店操作流程:读取 GPS、逆地理编码为地址,并在人员不在目标门店时阻止采集。明确签到后,照片仅可在应用内拍摄(不得从相册导入),由我们的 AI 模型在设备端处理并即时上传——因此每条价格均关联特定门店、特定人员和特定时刻。
交叉来源核实
任何单一来源都可能出错:爬取程序可能遗漏重新设计的促销页,小票可能拍摄不清,现场价签可能是过期的货架标签。因此,我们要求一个价格至少出现在两个数据流中,方可视为已确认。
- 小票与线上数据相比——小票优先,因为它是实际收款的价格。
- 促销页与商品页相比——促销页优先,因为会员价格通常不在商品页显示。
- 现场价签与线上数据相比——采集当日以现场为准;长期以线上为准,因其刷新更频繁。
为确保互操作性,我们遵循行业标准:条形码使用 EAN-13 / EAN-8 / GTIN-14(GS1),商户分类使用 MCC,货币使用 ISO 4217,国家使用 ISO 3166-1,时间戳使用 ISO 8601。
按数据类型划分的刷新频率
| 数据类型 | 刷新频率 |
|---|---|
| 购物小票 | 从上传到完成(含 OCR)平均约22秒 |
| 线上价格与促销页 | 每家连锁超市每周两次,按固定时间表 |
| 促销横幅 | 按各连锁超市的发布周期(大多数为每周一次) |
| 现场采集价签 | 按人员作业场次,按需进行 |
| 货币汇率 | 每日更新,数据来源 apilayer.com |
| 标准化商品数据库 | 持续更新,随小票上传和爬取周期实时入库 |
当爬取程序失效时——无论是因网站改版、新增屏蔽还是 API 变更——受影响的促销信息将显示可见的"上次刷新"日期,而非静默地提供过时数据。
我们有数据的地方——以及还没有的地方
坦诚说明局限性,是成为可信数据来源的一部分。以下是我们目前覆盖的内容以及尚未覆盖的内容。
消费者市场
乌克兰、加拿大、立陶宛、波兰和英国——主要连锁超市的促销数据每日更新,可在促销浏览器中查看。
B2B API 市场
我们的小票核实 API 为相同市场的商业合作伙伴提供服务。对照国家登记册的财政小票核实目前在乌克兰可用。
我们不公布各国已监控连锁超市的具体列表:覆盖范围随零售商网站改版或条款变更而调整,各超市的合作安排也各有不同。消费者可在促销浏览器中查看实时覆盖情况;B2B 客户可在签署 NDA 后获取完整列表。
我们尚未覆盖的内容
- 纯线上零售商——部分覆盖;我们的重点是实体门店零售。
- 餐厅菜单及 HoReCa 定价——不在范围内。
- 批量及批发定价——不在范围内。
- 数据稀疏的品类——酒类和药品在各国的显示受监管限制,部分长尾品类缺乏稳定覆盖。
我们如何处理您的数据
您的小票属于您自己
小票可能包含个人信息——会员编号、银行卡末位数字、财税编号。我们不对其进行脱敏,因为上传的小票仅对上传者本人可见。小票不会向其他用户展示,不会嵌入任何公开列表,也不会与 B2B 客户共享。只有经过匿名化汇总的结构化商品和价格数据,才用于平台的价格核实功能。
数据留存
小票图片及提取的条目数据将在您保留账户期间持续保存。您可随时在个人资料页面删除账户,这将同时删除您的小票图片、提取条目及个人信息。完整政策详见我们的隐私政策。
我们绝不出售您的数据
Costless 在任何国家、任何情况下,均不向任何第三方出售用户数据。这是一项绝对政策。个人小票绝不对外共享,个人身份信息绝不与任何面向公众的数据产品相关联。
儿童隐私保护
Costless 不面向16岁以下未成年人。我们不会在明知的情况下收集16岁以下未成年人的个人信息;如发现已收集,我们将予以删除。
合规说明
我们的业务遵守 GDPR(欧盟/欧洲经济区)、UK GDPR 及 Data Protection Act 2018,以及包括加拿大 PIPEDA 在内的各国同等法律。由于我们不出售个人数据,CCPA 的"Do Not Sell"选择退出权利在我们的数据处理中无需适用。数据控制者:[email protected]。
安全审查
我们每月进行一次基于 AI 的自动化安全审查,涵盖身份验证、输入验证、速率限制、依赖项扫描及请求头加固。目前平台尚未通过正式第三方审计(SOC 2、ISO 27001)。
常见问题
为什么经小票核实的数据优于爬取数据?+
Costless 如何检测虚假小票?+
Costless 的价格数据有多新鲜?+
Costless 覆盖哪些国家?+
小票 OCR 的准确率如何?+
Costless 会出售我的数据吗?+
透明的零售数据方法论
Costless 是一个零售智能平台,对乌克兰、加拿大、立陶宛、波兰和英国的连锁超市价格、促销及购物小票进行核实,并为商业合作伙伴提供小票核实 API,财政小票核实目前在乌克兰可用。Costless 不依赖单一爬取数据源,而是综合使用覆盖56家连锁超市的自动爬取程序、对超过240,000张真实小票进行基于 ML 的 OCR 识别、GPS 验证的现场采集以及促销横幅 OCR。交叉来源核实对上述数据流进行比对,发现爬取错误、遗漏促销及虚假提交。小票文字提取由 Google Cloud Vertex AI 视觉服务驱动,配合我们自有流水线完成版面检测、条目解析、商品匹配和总额核对。Costless 不出售用户数据,仅在账户有效期间保留小票,并依照 GDPR、UK GDPR、CCPA 及各国数据保护法律运营。本方法论页面将随覆盖范围和处理流程的演进持续更新。
展开 ↓如需独立核实本页面的任何内容,请联系 [email protected] 或 [email protected]。在适当情况下,我们可在签署 NDA 后向研究人员、记者及潜在合作伙伴提供经脱敏的样本数据及方法论说明。