Costless бөлшек сауда бағасын және чек деректерін қалай тексереді
Costless бөлшек сауда деректерін тексеру үшін төрт тәуелсіз дереккөзді біріктіреді: 56 супермаркет желісінің веб-сайтындағы автоматтандырылған парсерлер, 240 000-нан астам нақты сатып алу чегінің ML негізіндегі OCR өңдеуі, далалық агенттердің GPS арқылы расталған баға белгілері, сондай-ақ жарнамалық парақшалардан, веб-суреттерден және ресми Telegram мен Viber арналарынан алынған акция баннерлерінің OCR өңдеуі. Дереккөздерді өзара тексеру парсерлеу қателерін, жіберіп алынған акцияларды және алаяқтық деп танылған чек жіберулерінің шамамен 8%-ын анықтайды.
Төрт тәуелсіз деректер ағыны
Costless бөлшек сауда деректерінің төрт тәуелсіз ағынын өңдейді. Олардың арасындағы өзара тексеру біздің мәлімдемелерімізді жай айтылған емес, дәлелденген деректерге айналдырады.
Дереккөзден құрылымдық деректерге дейін
Онлайн парсерлер
Әр желінің парсері сол желінің бет құрылымын немесе API-ын таниды. Парсерлер бекітілген аптасына екі рет кестесі бойынша жұмыс істейді, жүктемені бірден туғызбас үшін бытырандатылып іске қосылады, сайт қорғаныстарын сақтайды және парсерлеуден гөрі желінің жарияланған API-ын пайдалануды қалайды. Кейбір желілерді біз мүлдем шарлатпаймыз, себебі олардың шарттары тыйым салады — ол жағдайда деректер тек чектерден, далалық жинаудан және баннерлерден алынады.
Чек OCR конвейері
Жүктелген чек алдымен OpenCV арқылы алдын ала өңделеді (қисаюды, контрасты, жарықтанды, термоқағаздың оңуын түзету), содан кейін мәтінді негізгі қозғалтқыш ретінде Google Cloud Vertex AI көрулік қызметтері шығарып алады; жылдам резервтік нұсқа ретінде Tesseract, ал күрделі жағдайлар үшін Шығыс Еуропа чек пішімдеріне үйретілген ішкі CNN пайдаланылады. Жол элементтері талданады, өнімдер векторлық ендірулер арқылы нормаланған деректер базасымен сәйкестендіріледі және жалпы соммалар басылған жалпы соммамен сверяланады.
Қабылданған чек пішімдерінде ұшынан ұшына дейінгі дәлдік тұрақты жоғары деңгейде. Кезеңдік эталондар ритейлер үлгісіне, қағаз түріне және кескін сапасына байланысты өзгеріп отырады, сондықтан нақты таралуды бұрмалайтын жалғыз сан жарияламаймыз.
Алаяқтықты анықтау
Жіберілген чектердің шамамен 8%-ы тексерілген деректер жиынына енгенге дейін алаяқтық деп белгіленеді. Белгілер қатарында: қайталануды анықтау, кескін сараптамасы (экранның немесе баспасының фотосы, өңделген суреттер), саудагер сәйкестігін тексеру, құрылымдық аномалиялар және жылдамдық эвристикасы. Белгіленген жіберулер карантинге жіберіледі және пайдаланушыдан нақты қайта суретке түсіру сұралады.
Расталған далалық жинау
Далалық агенттің қосымшасы дүкенде болуды міндетті етеді: GPS координаттарын оқиды, мекенжайды кері геокодтайды және агент мақсатты дүкенде болмаса, фото түсіруді бұғаттайды. Нақты тіркелгеннен кейін фотолар тек қосымша арқылы (ешқашан камера галереясынан емес) түсіріледі, AI модельдерімен құрылғыда өңделеді және бірден жүктеледі — осылайша әр баға нақты дүкенге, агентке және уақытқа байланады.
Дереккөздерді өзара тексеру
Кез келген жалғыз дереккөз қате болуы мүмкін: парсер қайта жасалған акция бетін жіберіп алуы, чек сурет сапасының нашарлығынан зардап шегуі, далалық белгі ескірген сөре жапсырмасы болуы мүмкін. Сондықтан бағаны расталған деп санар алдында оның кемінде екі ағында көрінуін күтеміз.
- Чек бен онлайн бет — чек жеңеді, өйткені ол нақты алынған баға.
- Акция беті бен өнім беті — акция беті жеңеді, өйткені жинақ картасының бағасы өнім беттерінде жиі көрсетілмейді.
- Далалық белгі бен онлайн — далалық белгі түсірілген күн жеңеді; онлайн ұзақ мерзімде жеңеді, себебі жиірек жаңарады.
Өзара үйлесімділік үшін біз салалық стандарттарды ұстанамыз: штрихкодтар үшін EAN-13 / EAN-8 / GTIN-14 (GS1), саудагерлерді жіктеу үшін MCC, валюталар үшін ISO 4217, елдер үшін ISO 3166-1, уақыт белгілері үшін ISO 8601.
Деректер түрі бойынша жаңарту кестесі
| Деректер түрі | Жаңарту кестесі |
|---|---|
| Сатып алу чектері | Жүктеуден орта есеппен ~22 секунд (OCR қоса алғанда ұшынан ұшына дейін) |
| Онлайн бағалар мен акция беттері | Әр желі бойынша бекітілген кестемен аптасына екі рет |
| Акция баннерлері | Желінің жариялау кезеңіне сай (көпшілігі үшін апта сайын) |
| Далалық жиналған баға белгілері | Агент сессиясына сай, сұраныс бойынша |
| Валюта бағамдары | apilayer.com арқылы күн сайын |
| Нормаланған өнімдер деректер базасы | Үздіксіз, чектер мен парсер циклдары келген сайын |
Парсер жұмысын тоқтатқан жағдайда — сайттың қайта жасалуы, жаңа блок, API өзгерісі — зардап шеккен акцияларда деректер үнсіз ескіріп берілмейді, «соңғы жаңарту» күні нақты көрсетіледі.
Деректер бар жерлер — және жоқ жерлер
Шектеулерді ашық айту — сенімді деректер дереккөзі болудың бір бөлігі. Мына жерде бүгін не қамтылғанын және не қамтылмағанын сипаттаймыз.
Тұтынушылар нарықтары
Украина, Канада, Литва, Польша және Ұлыбритания — ірі азық-түлік желілерінің күнделікті акция қамтуы акция шолушысында шолуға қолжетімді.
B2B API нарықтары
Біздің чектерді тексеру API-і сол нарықтардағы бизнес-серіктестерге қызмет көрсетеді. Мемлекеттік тізілім бойынша фискалдық чек тексеру қазір Украинада қолжетімді.
Біз бақыланатын желілердің елдер тізімін жарияламаймыз: ритейлерлер сайттарын қайта жасаған немесе шарттарын өзгерткен кезде қамту ауысады, ал жеке желілермен ерекше келісімдер болады. Сатып алушылар тірі қамтуды акция шолушысынан көреді; B2B тұтынушылары толық тізімді NDA шеңберінде алады.
Әлі қамтылмағандар
- Тек онлайн ритейлерлер — ішінара; назарымыз физикалық дүкен сауда-саттығына бағытталған.
- Мейрамхана мәзірлері мен HoReCa бағалары — қамту аясынан тыс.
- Топтамалы және көтерме бағалар — қамту аясынан тыс.
- Деректері аз санаттар — алкоголь мен дәріхана елге байланысты реттелген көрінуге ие, ал кейбір ұзын құйрық санаттарда тұрақты қамту жоқ.
Деректеріңізді қалай өңдейміз
Чектеріңіз сізде қалады
Чекте жеке мәліметтер болуы мүмкін — жинақ картасының нөмірі, карта нөмірінің соңғы цифрлары, фискалдық нөмір. Біз оларды жасырмаймыз, өйткені жүктелген чек тек оны жүктеген адамға ғана көрінеді. Ол ешқашан басқа пайдаланушыларға көрсетілмейді, ашық тізімдерге енгізілмейді және B2B тұтынушылармен бөлісілмейді. Тек құрылымдық өнімдер мен бағалар, анонимдік жиынтық түрінде, платформаның баға тексеру жағын қамтамасыз етеді.
Деректерді сақтау мерзімі
Чек кескіндері мен шығарылып алынған жол элементтері аккаунтыңыз бар уақытқа сақталады. Профиліңізден кез келген уақытта аккаунтты жоюға болады — бұл чек кескіндерін, шығарылып алынған элементтерді және жеке ақпаратыңызды жояды. Толық саясат Құпиялылық саясатында жазылған.
Деректеріңізді ешқашан сатпаймыз
Costless пайдаланушы деректерін ешбір юрисдикцияда ешбір үшінші тарапқа ешқашан сатпайды. Бұл — санаттық саясат. Жеке чектер ешқашан сыртқа шығарылмайды, ал жеке тұлғалар ешбір жария деректер өніміне байланыстырылмайды.
Балалардың жеке өмірін қорғау
Costless 16 жасқа толмаған балаларға арналмаған. Біз 16 жасқа толмаған балалардан жеке ақпаратты біле тұра жинамаймыз; мұндай жағдай анықталса — жоямыз.
Заңдық сәйкестік
Біз GDPR (ЕО/ЕЭА), UK GDPR және Data Protection Act 2018, сондай-ақ Канаданың PIPEDA қоса алғандағы баламалы ұлттық заңдар шеңберінде жұмыс істейміз. Біз жеке деректерді сатпайтындықтан, CCPA "Do Not Sell" құқығы біздің өңдеуімізде ешнәрсені болдырмауға қолданылмайды. Деректер бақылаушысы: [email protected].
Қауіпсіздікті тексеру
Біз ай сайын автоматтандырылған AI негізіндегі қауіпсіздік тексеруін жүргіземіз — аутентификация, кіріс деректерін тексеру, жылдамдық шектеулері, тәуелділіктерді сканерлеу және тақырыпты қатайту. Платформа осы уақытқа дейін ресми үшінші тарап аудитінен (SOC 2, ISO 27001) өткен жоқ.
Жиі қойылатын сұрақтар
Чекпен расталған деректер парсерленген деректерден неге жақсы?+
Costless алаяқтық чектерді қалай анықтайды?+
Costless баға деректері қаншалықты жаңа?+
Costless қандай елдерді қамтиды?+
Чек OCR қаншалықты дәл?+
Costless деректерімді сатады ма?+
Сенімді деректер негізінде құрылған
Тексерілген чектер мен өзекті бағаларды брендтер мен сатушыларға арналған бөлшек сауда аналитикасына қалай айналдыратынымызды көріңіз.
Аналитиканы ашуАшық бөлшек сауда деректері әдіснамасы
Costless — Украина, Канада, Литва, Польша және Ұлыбританиядағы супермаркет бағаларын, акцияларды және чектерді тексеретін бөлшек сауда барлау платформасы, бизнес-серіктестерге арналған чектерді тексеру API-імен және қазір Украинада қолжетімді фискалдық чек тексерумен. Бір парсерленген дереккөзге сүйенудің орнына Costless 56 желідегі автоматтандырылған парсерлерді, 240 000-нан астам нақты чектің ML негізіндегі OCR өңдеуін, GPS арқылы расталған далалық жинауды және акция баннерлерінің OCR өңдеуін біріктіреді.Дереккөздерді өзара тексеру осы ағындарды салыстырады, парсерлеу қателерін, жіберіп алынған акцияларды және алаяқтық жіберулерді анықтайды. Чек мәтінін шығарып алу Google Cloud Vertex AI көрулік қызметтерімен, сондай-ақ орналасуды анықтауға, жол элементтерін талдауға, өнімдерді сәйкестендіруге және жалпы соммаларды сверялауға арналған ішкі конвейермен жүзеге асырылады. Costless пайдаланушы деректерін сатпайды, чектерді тек аккаунт белсенді болған кезде сақтайды және GDPR, UK GDPR, CCPA және ұлттық деректерді қорғау заңдары шеңберінде жұмыс істейді. Бұл әдіснама беті қамту аумағымыз бен өңдеу тәсілдеріміз жетілдірілген сайын жаңартылады.
Жайу ↓Осы беттегі кез келген мәлімдемені тәуелсіз тексеру үшін [email protected] немесе [email protected] мекенжайына хабарласыңыз. Біз зерттеушілерге, журналистерге және болашақ серіктестерге тиісті жағдайда NDA шеңберінде жасырылған үлгілер мен әдіснамалық нұсқаулар береміз.