Costless · 数据方法论

Costless 如何核实零售 价格与购物小票数据

Costless 通过四个独立数据源核实零售数据:覆盖56家连锁超市官网的自动爬取程序、对超过240,000张真实购物小票进行基于 ML 的 OCR 识别、现场人员经 GPS 验证的价签采集,以及对传单、网络图片及官方 Telegram 与 Viber 频道促销横幅的 OCR 处理。交叉来源核实可发现爬取错误、遗漏促销信息,并过滤约8%的虚假小票提交。

4独立数据来源
56已监控连锁超市
~22s小票平均处理时长
我们采集什么

四个独立数据流

Costless 汇聚四路独立零售数据。对这些数据进行交叉比对,是我们的结论可验证而非单纯断言的基础。

🔎
线上价格与促销数据
自动爬取程序对接56家连锁超市官网。每家超市的爬取程序均单独开发,追踪常规售价、带有效期的促销价、会员卡专属价及多件优惠活动。
🧾
真实购物小票
用户在结账后拍摄小票上传。这些是真实交易凭证,证明某一价格在特定日期、特定门店确实发生了收款。爬取的目录价格可能数天内都过时或格式有误,而小票不会。
🏷️
现场采集价签
现场人员在实体门店拍摄货架边缘价签。这一数据流覆盖从未出现在连锁超市官网上的线下促销信息——这是纯线上价格监控工具的盲区。
📢
促销横幅与渠道
许多连锁超市以 PDF 传单、网络横幅或在其官方 Telegram 和 Viber 频道发帖的形式发布每周促销。我们对每张横幅运行视觉模型 OCR,提取商品、价格及有效日期。
我们如何采集

从数据源到结构化数据

线上爬取程序

每家连锁超市的爬取程序均了解该超市的页面结构或 API。爬取程序按固定的每周两次周期运行,时间错开以避免突发负载,遵守网站保护机制,并优先使用连锁超市公开的 API 而非直接抓取页面。部分超市因其服务条款禁止爬取,我们不予抓取——对于这些超市,数据仅来自小票、现场采集和促销横幅。

小票 OCR 流水线

上传的小票先经 OpenCV 预处理(纠偏、对比度、去光斑、热敏纸褪色修复),随后以 Google Cloud Vertex AI 视觉服务为主引擎提取文字,以 Tesseract 作为快速备用方案,并使用针对东欧小票格式训练的内部 CNN 处理疑难情况。逐行解析条目,通过向量嵌入将商品与标准化数据库匹配,并与小票打印总额进行核对。

在已支持的小票格式中,端到端准确率持续保持较高水平。各阶段基准因超市模板、纸张类型和图像质量而异,因此我们不发布单一数字以免误导对实际分布的判断。

欺诈检测

约8%的提交小票在进入核实数据集之前被标记为虚假。检测信号包括:重复检测、图像取证(屏幕翻拍或打印件翻拍、经过编辑的图像)、商户一致性核查、结构异常及频率启发式规则。被标记的提交将被隔离,并要求用户重新清晰拍摄。

经核实的现场采集

现场人员应用程序强制执行到店操作流程:读取 GPS、逆地理编码为地址,并在人员不在目标门店时阻止采集。明确签到后,照片仅可在应用内拍摄(不得从相册导入),由我们的 AI 模型在设备端处理并即时上传——因此每条价格均关联特定门店、特定人员和特定时刻。

我们如何核实

交叉来源核实

任何单一来源都可能出错:爬取程序可能遗漏重新设计的促销页,小票可能拍摄不清,现场价签可能是过期的货架标签。因此,我们要求一个价格至少出现在两个数据流中,方可视为已确认。

  1. 小票与线上数据相比——小票优先,因为它是实际收款的价格。
  2. 促销页与商品页相比——促销页优先,因为会员价格通常不在商品页显示。
  3. 现场价签与线上数据相比——采集当日以现场为准;长期以线上为准,因其刷新更频繁。

为确保互操作性,我们遵循行业标准:条形码使用 EAN-13 / EAN-8 / GTIN-14(GS1),商户分类使用 MCC,货币使用 ISO 4217,国家使用 ISO 3166-1,时间戳使用 ISO 8601。

数据有多新鲜

按数据类型划分的刷新频率

数据类型 刷新频率
购物小票 从上传到完成(含 OCR)平均约22秒
线上价格与促销页 每家连锁超市每周两次,按固定时间表
促销横幅 按各连锁超市的发布周期(大多数为每周一次)
现场采集价签 按人员作业场次,按需进行
货币汇率 每日更新,数据来源 apilayer.com
标准化商品数据库 持续更新,随小票上传和爬取周期实时入库

当爬取程序失效时——无论是因网站改版、新增屏蔽还是 API 变更——受影响的促销信息将显示可见的"上次刷新"日期,而非静默地提供过时数据。

覆盖范围与局限

我们有数据的地方——以及还没有的地方

坦诚说明局限性,是成为可信数据来源的一部分。以下是我们目前覆盖的内容以及尚未覆盖的内容。

消费者市场

乌克兰、加拿大、立陶宛、波兰和英国——主要连锁超市的促销数据每日更新,可在促销浏览器中查看。

B2B API 市场

我们的小票核实 API 为相同市场的商业合作伙伴提供服务。对照国家登记册的财政小票核实目前在乌克兰可用。

我们不公布各国已监控连锁超市的具体列表:覆盖范围随零售商网站改版或条款变更而调整,各超市的合作安排也各有不同。消费者可在促销浏览器中查看实时覆盖情况;B2B 客户可在签署 NDA 后获取完整列表。

我们尚未覆盖的内容

  • 纯线上零售商——部分覆盖;我们的重点是实体门店零售。
  • 餐厅菜单及 HoReCa 定价——不在范围内。
  • 批量及批发定价——不在范围内。
  • 数据稀疏的品类——酒类和药品在各国的显示受监管限制,部分长尾品类缺乏稳定覆盖。
隐私与合规

我们如何处理您的数据

您的小票属于您自己

小票可能包含个人信息——会员编号、银行卡末位数字、财税编号。我们不对其进行脱敏,因为上传的小票仅对上传者本人可见。小票不会向其他用户展示,不会嵌入任何公开列表,也不会与 B2B 客户共享。只有经过匿名化汇总的结构化商品和价格数据,才用于平台的价格核实功能。

数据留存

小票图片及提取的条目数据将在您保留账户期间持续保存。您可随时在个人资料页面删除账户,这将同时删除您的小票图片、提取条目及个人信息。完整政策详见我们的隐私政策。

我们绝不出售您的数据

Costless 在任何国家、任何情况下,均不向任何第三方出售用户数据。这是一项绝对政策。个人小票绝不对外共享,个人身份信息绝不与任何面向公众的数据产品相关联。

儿童隐私保护

Costless 不面向16岁以下未成年人。我们不会在明知的情况下收集16岁以下未成年人的个人信息;如发现已收集,我们将予以删除。

合规说明

我们的业务遵守 GDPR(欧盟/欧洲经济区)、UK GDPR 及 Data Protection Act 2018,以及包括加拿大 PIPEDA 在内的各国同等法律。由于我们不出售个人数据,CCPA 的"Do Not Sell"选择退出权利在我们的数据处理中无需适用。数据控制者:[email protected]

安全审查

我们每月进行一次基于 AI 的自动化安全审查,涵盖身份验证、输入验证、速率限制、依赖项扫描及请求头加固。目前平台尚未通过正式第三方审计(SOC 2、ISO 27001)。

常见问题

常见问题

📋 FAQ
为什么经小票核实的数据优于爬取数据?+
爬取价格仅说明零售商列出了某个价格。经小票核实的价格证明该价格下确实发生了交易。商品列表可能数天内都过时、格式有误或显示错误货币;而小票确认的是特定日期实际收款的金额。
Costless 如何检测虚假小票?+
通过重复检测、图像取证、商户一致性核查、结构异常检测和频率启发式规则——综合运用后,约8%的提交在进入核实数据集前被标记处理。
Costless 的价格数据有多新鲜?+
小票从上传到处理完成(含 OCR)平均约22秒。线上价格和促销页按固定的每周两次、按连锁超市周期刷新。促销横幅按各超市发布周期刷新。汇率每日更新。
Costless 覆盖哪些国家?+
消费者覆盖已上线的国家包括乌克兰、加拿大、立陶宛、波兰和英国。我们的小票核实 API 为这些市场的商业合作伙伴提供服务,对照国家登记册的财政小票核实目前在乌克兰可用。
小票 OCR 的准确率如何?+
在已支持的小票格式中,端到端准确率持续保持较高水平。主要文字提取由 Google Cloud 的 Vertex AI 视觉服务驱动,我们自有流水线负责版面检测、条目解析、商品匹配和总额核对。各阶段指标因模板和图像质量而异,因此我们不发布单一数字。
Costless 会出售我的数据吗?+
不会。Costless 在任何国家均不向任何第三方出售用户数据。个人小票绝不对外共享,您的身份信息也绝不与任何面向公众的数据产品相关联。

基于值得信赖的数据而构建

了解我们如何将经核实的收据和实时价格数据转化为面向品牌和零售商的零售情报。

探索洞察

透明的零售数据方法论

Costless 是一个零售智能平台,对乌克兰、加拿大、立陶宛、波兰和英国的连锁超市价格、促销及购物小票进行核实,并为商业合作伙伴提供小票核实 API,财政小票核实目前在乌克兰可用。Costless 不依赖单一爬取数据源,而是综合使用覆盖56家连锁超市的自动爬取程序、对超过240,000张真实小票进行基于 ML 的 OCR 识别、GPS 验证的现场采集以及促销横幅 OCR。交叉来源核实对上述数据流进行比对,发现爬取错误、遗漏促销及虚假提交。小票文字提取由 Google Cloud Vertex AI 视觉服务驱动,配合我们自有流水线完成版面检测、条目解析、商品匹配和总额核对。Costless 不出售用户数据,仅在账户有效期间保留小票,并依照 GDPR、UK GDPR、CCPA 及各国数据保护法律运营。本方法论页面将随覆盖范围和处理流程的演进持续更新。

展开 ↓

如需独立核实本页面的任何内容,请联系 [email protected][email protected]。在适当情况下,我们可在签署 NDA 后向研究人员、记者及潜在合作伙伴提供经脱敏的样本数据及方法论说明。