CRM-автоматтандыру жұмыс істей ме: оның сатылымға нақты үлесін қалай өлшеуге болады

CRM-кампания іске қосылғаннан кейін компания әдетте мыналарды көреді:

• қанша хабарлама жіберілді
• қанша клиент оларды алды
• қанша адам хатты ашты
• қаншасы сілтеме бойынша өтті
• қанша алушы сатып алу жасады
• осы сатып алулар қанша түсім әкелді.

Бұл көрсеткіштер коммуникациядан кейін не болғанын түсінуге көмектеседі. Бірақ олар негізгі бизнес-сұраққа жауап бермейді:

Нәтиженің қандай бөлігі дәл CRM-автоматтандырудың арқасында пайда болды?

Егер клиент хат алып, екі күннен кейін тапсырыс берсе, бұл екі оқиғаның арасында уақыттық байланыс бар. Бірақ уақыттық байланыс хат сатып алудың себебі болғанын әлі дәлелдемейді.

Клиент, мүмкін:

• онсыз да тапсырыс беруді жоспарлаған
• ай сайын тұрақты сатып алады
• басқа арнадағы жарнаманы көрген
• ұсыныс арқылы келген
• жалпы акцияға қатысқан
• менеджерден қоңырау алған
• жүйе атрибуция терезесі деп есептейтін кезеңде кездейсоқ сатып алу жасаған.

Сондықтан алушылардың түсімі мен қосымша түсім — екі түрлі көрсеткіш.

CRM-автоматтандырудың нақты әсерін өлшеу үшін науқаннан кейін не болғанын ғана емес, дәл осы клиенттермен науқан болмағанда не болар еді деген сұрақты да бағалау қажет.

Себеп-салдарлық аналитика дәл осы сұрақтың айналасында құрылады.

1. Негізгі мәселе: біз екі болашақты бір уақытта бақылай алмаймыз

Бір клиентті елестетейік.

Ол екінші сатып алуды дамытуға арналған CRM-сценарийдің шарттарына сәйкес келеді. Біз оған ұсыныс жібереміз, ал бес күннен кейін ол тапсырыс береді.

Біз екі нәтижені салыстырғымыз келеді:

1. Хабарлама жіберілгеннен кейін не болды.
2. Дәл сол клиентке дәл сол кезеңде хабарлама жіберілмегенде не болар еді.

Бірақ біз шындықтың тек бір нұсқасын ғана бақылай аламыз.

Клиент хабарлама алса, дәл сол жағдайларда хабарламасыз қалай әрекет етер еді — оны енді көре алмаймыз. Ал хабарлама алмаса, оған қалай жауап берер еді — оны да нақты білмейміз.

Бақыланбайтын нәтиже контрфактілік нәтиже деп аталады.

Клиент үшін себептік әсерді мынадай айырма ретінде көрсетуге болады:

әсер кезіндегі нәтиже − әсер болмағандағы нәтиже.

Жеке клиент деңгейінде бұл айырманы әдетте тікелей өлшеу мүмкін емес. Сондықтан аналитика салыстырмалы клиент топтары үшін орташа әсерді бағалайды.

2. Атрибуция мен себептік әсер — бір нәрсе емес

CRM-жүйелерде атрибуция жиі қолданылады.

Ол сатып алуды алдын ала белгіленген ереже бойынша оған дейін болған коммуникациямен байланыстырады:

• сатып алу алдындағы соңғы коммуникация
• соңғы ашу
• соңғы өту
• 24 немесе 48 сағат ішіндегі сатып алу
• алғашқы контакт
• нәтижені бірнеше жанасу арасында бөлу.

Мысалы:

Клиент хатты ашып, 48 сағат ішінде сатып алды — сатып алу email-кампанияға атрибуцияланады.

Бұл пайдалы операциялық ереже. Ол:

• түсімді арналар арасында бөлуге
• дашбордтар құруға
• кампанияларды салыстыруға
• клиент жолын талдауға
• коммуникациялардан кейінгі сатып алуларды көруге көмектеседі.

Бірақ атрибуция контрфактілік нәтиже жасамайды. Ол клиент хабарламасыз да сатып алар ма еді деген сұраққа жауап бермейді.

Мысалы, Bloomreach стандартты есептерінде last touch моделін пайдаланады: түсім таңдалған атрибуция терезесіндегі соңғы әрекеттесуге жатқызылады. Бұл — нәтижені жанасулар арасында бөлу моделі, ал себептік әсерді эксперименттік бағалау емес. Bloomreach: Revenue attribution

Сондықтан былай айту дұрыс:

Таңдалған модель бойынша кампанияға 20 млн теңге түсім атрибуцияланды.

Ал бақылау тобы болмаса, былай деу дұрыс емес:

Кампания 20 млн теңге қосымша түсім жасады.

Бұл соманың бір бөлігі кампаниясыз да пайда болуы мүмкін еді.

3. CRM-кампанияны бағалаудың үш деңгейі

Нәтижелерді үш деңгейге бөлу пайдалы.

Техникалық деңгей

Арнаның дұрыс жұмыс істегенін көрсетеді:

• хабарламалар қалыптастырылды
• жіберу орындалды
• хабарламалар жеткізілді
• критикалық қателер жоқ
• сілтемелер жұмыс істейді
• дербестендіру дұрыс көрсетіледі.

Мінез-құлық деңгейі

Коммуникациядан кейін клиенттердің не істегенін көрсетеді:

• ашты
• өтті
• сайтқа кірді
• тауарларды қарады
• себетке қосты
• сатып алды.

Себептік бизнес-деңгей

Мінез-құлық дәл осы әсердің салдарынан қаншалықты өзгергенін көрсетеді:

• қосымша конверсия
• қосымша сатып алушылар
• қосымша тапсырыстар
• қосымша түсім
• қосымша маржа
• жиіліктің өзгеруі
• retention өзгеруі
• LTV өзгеруі.

Үш деңгей де қажет, бірақ әрқайсысы әртүрлі сұраққа жауап береді.

Жоғары open rate қосымша түсімге кепілдік бермейді. Төмен click rate әрдайым бизнес-әсер жоқ дегенді білдірмейді. Ал алушылардың жоғары түсімі кампанияға бастапқыда ең белсенді клиенттердің түсуімен байланысты болуы мүмкін.

4. Неліктен алушылар мен алмағандарды салыстыру жиі жаңылыстырады

Мысалы, біз:

• хабарлама жеткізілген клиенттерді
• хабарлама жеткізілмеген клиенттерді салыстырдық.

Бірінші топта конверсия жоғары болды.

Бұл айырманы кампания әсері деп санауға бола ма?

Әрдайым емес.

Жеткізілмеген хабарламалар көбіне мынадай клиенттерде кездеседі:

• байланыс деректері ескірген
• белсенділігі төмен
• аккаунтын ұзақ уақыт пайдаланбаған
• мекенжайында қате бар
• арнасы расталмаған.

Мұндай топ бастапқыдан сирек сатып алуы мүмкін.

Одан да қауіпті салыстыру:

• хатты ашқандар
• хатты ашпағандар.

Ашу коммуникация тағайындалғаннан кейін болады. Клиенттер хабарламаны ашу-ашпау туралы өздері шешім қабылдайды, ал бұл таңдау олардың брендке қызығушылығымен байланысты.

Хатты ашатын адамдар бастапқыдан:

• белсендірек
• адалырақ
• көбірек қызығатын
• сайтқа жиі кіретін
• сатып алуға бейімдірек болуы мүмкін.

Егер олар жиірек сатып алса, оның себебін ажырату мүмкін емес: хат па, әлде олардың бастапқы қызығушылығы ма.

Сондықтан әсерді бағалау үшін топтар реакциядан кейін емес, әсерге дейін қалыптастырылады.

5. Бақыланатын эксперимент

CRM-автоматтандыру әсерін өлшеудің ең сенімді тәсілі — сәйкес клиенттерді кездейсоқ топтарға бөлу.

Тест тобы

Зерттелетін әсерді алады:

• хабарлама
• хабарламалар тізбегі
• дербестендірілген ұсыныс
• жаңа арна
• сценарийдің өзгертілген логикасы.

Бақылау тобы

Зерттелетін әсерді алмайды немесе бұрыннан бар процестегі өзгеріс бағаланса, бұрынғы нұсқаны алуды жалғастырады.

Одан кейін топтардың мінез-құлқы салыстырылады.

Кездейсоқ бөлу эксперимент басталғанға дейін топтар орташа есеппен салыстырмалы болуы үшін қажет:

• сатып алу белсенділігі бойынша
• соңғы сатып алудан өткен уақыт бойынша
• орташа чек бойынша
• санаттар бойынша
• ел бойынша
• арналардың қолжетімділігі бойынша
• сатып алуға бейімділігі бойынша
• басқа бақыланатын және бақыланбайтын сипаттамалар бойынша.

Топтар жеткілікті үлкен болып, бөлу дұрыс орындалса, олардың арасындағы жүйелі айырма зерттелетін әсер болады.

Сондықтан нәтижелер айырмасын статистикалық белгісіздікті ескере отырып, кампанияның орташа әсері ретінде түсіндіруге болады.

Бақыланатын A/B-эксперименттер өзгерістердің себептік ықпалын бағалау үшін пайдаланылады: пайдаланушылар кездейсоқ бақылау және тест топтарына тағайындалады, содан кейін алдын ала белгіленген көрсеткіштер салыстырылады. Microsoft Research: A/B Testing Across Products

6. Алдымен аудитория анықталады, содан кейін бөлу жасалады

Экспериментті CRM-сценарийдің ішінде дұрыс орналастыру өте маңызды.

Алдымен барлық ортақ шарттар тексерілуі керек:

• клиент бизнес-аудиторияға сәйкес келеді
• қажетті байланыс дерегі бар
• талап етілетін келісімді берген
• тесттік профиль емес
• жаһандық ерекшелікке кірмейді
• ұсынысты ала алады
• эксперимент басталғанға дейін мақсатты әрекетті жасамаған.

Тек содан кейін сәйкес клиенттер тест және бақылау топтарына кездейсоқ бөлінеді.

Әйтпесе топтар салыстырмалы болмай қалуы мүмкін.

Мысалы:

1. Барлық клиент тест пен бақылауға бөлінді.
2. Тест тармағында жіберер алдында email-ы жоқ клиенттер алынып тасталды.
3. Бақылау тармағында мұндай сүзгі жоқ.

Нәтижесінде тест тобында тек қолжетімді клиенттер, ал бақылауда қолжетімді де, қолжетімсіз де клиенттер қалады. Бұл енді әртүрлі аудиториялар.

Bloomreach та ортақ шарттарды A/B-бөлуден бұрын орналастыруды және қажетті контакт немесе келісімі жоқ клиенттерді екі топтан да бірдей алып тастауды ұсынады. Bloomreach: A/B testing

Дұрыс реттілік:

сәйкес аудиторияны қалыптастыру → әсердің қолжетімділігін тексеру → кездейсоқ бөлу → әсер немесе бақылау → нәтижені өлшеу.

7. Бақылау тобы нақты не алады

Бақылау әрдайым «коммуникация мүлде жоқ» дегенді білдірмейді.

Ол зерттелетін сұраққа байланысты.

Жаңа сценарийдің болмауы

Егер жаңа автоматтандыру қосымша нәтиже жасай ма деген сұраққа жауап керек болса:

• тест тобы сценарийді алады
• бақылау тобы оны алмайды
• қалған процестер бірдей қалады.

Қазіргі нұсқа жаңа нұсқаға қарсы

Егер бар коммуникация міндетті процестің бір бөлігі болса:

• бақылау тобы қазіргі нұсқаны алады
• тест тобы — жаңа нұсқаны
• өзгерістің әсері өлшенеді.

Осылайша мыналарды тестілеуге болады:

• жаңа логика
• жаңа дербестендіру
• басқа арна
• өзгертілген интервал
• жаңа ассортименттік алгоритм.

Бірнеше нұсқа

Мыналарды салыстыруға болады:

• әсерсіз бақылау
• A нұсқасы
• B нұсқасы
• C нұсқасы.

Бірақ нұсқалар саны көбейген сайын аудитория көбірек топқа бөлінеді. Сенімді қорытынды үшін көбірек дерек немесе ұзақ эксперимент қажет болады.

Тұрақты holdout-топ

Кейде клиенттердің бір бөлігі коммуникациялардың белгілі бір класынан ұзақ уақытқа шығарылады.

Мұндай топ жеке кампанияның емес, автоматтандыру жүйесінің жиынтық әсерін өлшеуге мүмкіндік береді.

Мысалы:

• аудиторияның 95%-ы CRM-бағдарламаға қатысады
• 5%-ы тұрақты holdout-та қалады
• бірнеше айдан кейін жиілік, retention, түсім және LTV салыстырылады.

Тұрақты holdout толық бағалау береді, бірақ оның коммерциялық құны бар: клиенттердің бір бөлігі ықтимал пайдалы әсерлерді әдейі алмайды. Мұндай топтың көлемі мен мерзімі негізделуі тиіс.

8. Рандомизация бірлігі

Эксперимент алдында нақты ненің топтарға кездейсоқ бөлінетінін анықтау қажет.

Бұл:

• клиент
• есептік жазба
• үй шаруашылығы
• компания
• дүкен
• өңір
• құрылғы
• тапсырыс болуы мүмкін.

CRM-де көбіне клиент пайдаланылады.

Бірақ ерекшеліктер болады.

Егер бірнеше профиль бір адамға тиесілі болса, ол бір уақытта тест және бақылау топтарына түсуі мүмкін. Бір үй шаруашылығының мүшелері ортақ аккаунт қолданса немесе бір-бірінің сатып алуына әсер етсе, жеке адамдар деңгейіндегі рандомизация да тәуелсіздікті бұзуы мүмкін.

Ірі бірлікті — мысалы, дүкенді немесе өңірді — таңдау өзара ықпал тәуекелін азайтады, бірақ тәуелсіз бақылаулардың нақты санын қысқартады.

Жүз дүкендегі жүз мың клиент — әсер дүкен деңгейінде тағайындалса, әрдайым жүз мың тәуелсіз бірлік деген сөз емес.

Сондықтан рандомизация бірлігі мына деңгейге қарай анықталады:

• әсер тағайындалатын деңгей
• контаминация болуы мүмкін деңгей
• нәтиже өлшенетін деңгей
• бизнес-шешім қабылданатын деңгей.

9. Гипотеза мен көрсеткіштер іске қоспай тұрып анықталады

Эксперимент басталғанға дейін гипотезаны бекіту қажет.

Жақсы гипотезада мыналар бар:

• аудитория
• әсер
• күтілетін нәтиже
• кезең
• негізгі метрика.

Мысалы:

Бір аяқталған сатып алу жасаған және 14 күн ішінде екінші сатып алуды жасамаған клиенттер үшін дербестендірілген CRM-сценарий сценарий болмаған жағдаймен салыстырғанда келесі 30 күнде екінші сатып алуға конверсияны арттырады.

Одан кейін көрсеткіштер анықталады.

Негізгі метрика

Негізгі шешім қабылданатын бір көрсеткіш:

• конверсия
• сатып алушылар саны
• жиілік
• retention
• клиентке шаққандағы түсім
• клиентке шаққандағы жалпы пайда.

Қосымша метрикалар

Әсердің механизмін түсінуге көмектеседі:

• сайтқа кіру
• қаралымдар
• себетке қосу
• сатып алуға дейінгі уақыт
• санаттар саны
• орташа чек.

Қорғаныс метрикалары

Жағымсыз салдарды көрсетеді:

• жазылымнан бас тарту
• шағымдар
• қайтарулар
• жеңілдік шығындары
• маржаның төмендеуі
• коммуникациялық жүктеменің өсуі
• басқа арналардың нәтижесінің төмендеуі.

Microsoft сенімді эксперименттер жөніндегі ұсынымдарында да процесті қарапайым тексерілетін гипотезадан және алдын ала таңдалған табыс метрикаларынан бастауды ұсынады. Microsoft Research: Patterns of Trustworthy Experimentation

10. Өлшеу терезесі

Әсер тағайындалғаннан кейін нәтижені қандай кезең ішінде есепке алу керектігін анықтау қажет.

Мысалы:

• 7 күн ішіндегі сатып алу
• 30 күн ішіндегі екінші сатып алу
• 90 күннен кейінгі retention
• үш ай ішіндегі түсім.

Тым қысқа терезе кешігіп көрінетін әсерді қамтымайды. Тым ұзын терезе басқа факторлардың ықпалын көбейтеді:

• кейінгі кампаниялар
• маусымдылық
• промо
• баға өзгерістері
• жаңа өнімдер
• табиғи сатып алулар.

Терезе сценарий механикасына және мінез-құлықтың табиғи цикліне сәйкес болуы керек.

Тұтынылатын тауар үшін еске салудың әсері бірнеше аптадан кейін көрінуі мүмкін. Тасталған себет үшін релевантты терезе әдетте қысқарақ.

Нәтижелерді көргеннен кейін терезені таңдап алуға болмайды. Егер 1, 3, 7, 14, 30 және 60 күнді тексеріп, тек ең тиімді айырма шыққан кезеңді таңдасақ, кездейсоқ «табыс» ықтималдығы айтарлықтай өседі.

Негізгі терезе алдын ала бекітіледі. Қосымша кезеңдерді зерттеуге болады, бірақ олар қосымша талдау ретінде белгіленуі тиіс.

11. Uplift және increment

Экспериментті қарастырайық:

• тест тобы — 10 000 клиент
• бақылау тобы — 10 000 клиент
• тест тобында 800 адам сатып алды
• бақылауда — 500.

Тест тобының конверсиясы:

Бақылау тобының конверсиясы:

Абсолюттік uplift

Абсолюттік uplift мақсатты әрекет ықтималдықтарының айырмасын көрсетеді.

Салыстырмалы uplift

Бақылау деңгейіне қатысты конверсия 60%-ға өсті.

Бұл 60 пайыздық тармаққа өсті деген сөз емес. Тұжырымдарды ажырату қажет:

• 5%-дан 8%-ға өсу
• 3 пайыздық тармаққа өсу
• салыстырмалы 60% өсу.

Инкременттік сатып алушылар

Кампания болмаса, тест тобы бақылау сияқты әрекет етеді деп болжасақ, онда күтілетін сатып алушылар саны:

Нақтысында 800 адам сатып алды.

Қосымша сатып алушылар санының бағасы:

Осылайша:

• тест тобында 800 сатып алушы сатып алды
• олардың шамамен 500-і кампаниясыз да сатып алуы мүмкін еді
• бағаланған increment — 300 қосымша сатып алушы.

Нәтиже тексерілгеннен кейін сценарийді 100 000 салыстырмалы клиентке таратсақ, күтілетін increment шамамен 3 000 сатып алушы болады:

Мұндай масштабтау жаңа аудитория, кезең және шарттар экспериментпен салыстырмалы болғанда ғана орынды.

12. Инкременттік түсім

Сатып алушылар саны жалғыз нәтиже емес. Кампания мыналарға әсер етуі мүмкін:

• сатып алу ықтималдығына
• тапсырыстар санына
• себет құрамына
• орташа чекке
• жеңілдікке
• санатқа
• сатып алу мерзіміне.

Сондықтан түсімді тағайындалған әр клиентке шаққанда тікелей бағалаған дұрыс.

Мысалы:

Айырма:

Тест тобындағы инкременттік түсімнің бағасы:

Бұл есеп конверсия өзгерісін де, сатып алу сомасының өзгерісін де бір уақытта ескереді.

Қосымша сатып алушылар санын тест тобының жалпы орташа чегіне автоматты түрде көбейту дұрыс емес. Сатып алуын нақты кампания туғызған клиенттердің орташа чегі онсыз да сатып алатын клиенттерден өзгеше болуы мүмкін.

Кездейсоқ тағайындалған клиентке шаққандағы түсім айырмасы — неғұрлым тікелей баға.

13. Түсім әлі пайдаға тең емес

Оң инкременттік түсімнің өзі экономикалық тиімділікке кепілдік бермейді.

Мыналарды ескеру қажет:

• тауарлардың өзіндік құны
• жалпы маржа
• жеңілдіктер
• промокодтар
• арна құны
• бонустар құны
• қайтарулар
• операциялық шығындар
• болашақ сатып алуларға әсер.

Мысал:

• инкременттік түсім — 10 млн ₸
• қосымша тауарлардың өзіндік құны — 6 млн ₸
• жеңілдіктер — 1,5 млн ₸
• коммуникация құны — 0,2 млн ₸
• қосымша операциялық шығындар — 0,3 млн ₸.

Қосымша қаржылық нәтиженің бағасы:

Сондықтан жеңілдік пен қымбат арналары бар кампаниялар үшін мыналарды өлшеген дұрыс:

• клиентке шаққандағы маржиналдық пайда
• contribution margin
• өтелімділік
• қосымша сатып алудың құны
• қосымша сатып алушының құны.

14. Сатып алуды жеделдету және жаңа сатып алуды жасау

CRM-сценарий қосымша тапсырыс жасамай, тек оны ертерек орындатуы мүмкін.

Мысалы:

• хабарламасыз клиент 20 күннен кейін сатып алар еді
• хабарламадан кейін 7 күннен соң сатып алды
• 14 күндік көкжиекте кампания сәтті көрінеді
• 30 күндік көкжиекте топтардағы сатып алу саны теңеседі.

Бұл сатып алуды алға жылжыту әсері, немесе pull-forward effect деп аталады.

Бизнес үшін жеделдетудің де құндылығы болуы мүмкін:

• ақша ертерек түседі
• кету тәуекелі азаяды
• клиент келесі кезеңге тезірек өтеді
• айналым жақсарады.

Бірақ оны қосымша сатып алу деп көрсетуге болмайды.

Бұл әсерлерді ажырату үшін бірнеше көкжиек талданады:

• қысқа мерзімді
• негізгі
• кеңейтілген.

Егер uplift алғашқы жеті күнде жоғары болып, 30–60 күнде жоғалса, сценарий сатып алуды жеделдетуі ықтимал. Егер айырма сақталса, қосымша көлем туралы айтуға негіз пайда болады.

15. Каннибализация және сұранысты қайта бөлу

Мақсатты санаттың өсуі әрдайым бүкіл бизнестің өсуін білдірмейді.

Сценарий:

• A санатының сатылымын арттыруы
• сонымен бірге B санатының сатылымын азайтуы
• клиентті маржасы жоғары тауардан маржасы төмен тауарға ауыстыруы
• сатып алуды офлайннан онлайнға көшіруі
• толық бағамен тапсырысты жеңілдікпен тапсырысқа алмастыруы
• жалпы соманы өзгертпей себет құрамын өзгертуі мүмкін.

Сондықтан ассортименттік сценарийлер үшін мыналарды өлшеу қажет:

• мақсатты тауар сатылымы
• бүкіл санат сатылымы
• көршілес санаттар сатылымы
• жалпы түсім
• маржа
• бірегей санаттар саны
• клиенттің жалпы сатып алу көлемі.

Әйтпесе жергілікті деңгейде сәтті кампания бар сұранысты ғана қайта бөлуі мүмкін.

16. Статистикалық белгісіздік

Кездейсоқ бөлудің өзінде топтардың нәтижелері абсолютті бірдей болмайды.

Монетаны 100 рет лақтырғанда дәл 50 рет бір жағы және 50 рет екінші жағы түсуі міндетті емес. Сол сияқты бақылау және тест топтары кездейсоқ айырмашылық көрсетуі мүмкін.

Сондықтан әсер бағасымен бірге белгісіздікті де ескеру қажет.

Сенімділік интервалы

Ол таңдалған статистикалық модель шеңберінде бақыланған деректермен үйлесетін мәндер диапазонын көрсетеді.

Мысалы:

Бағаланған uplift — +3 п.т.; сенімділік интервалы: +1,2-ден +4,8 п.т.-қа дейін.

Бұл деректер оң әсерді қолдайтынын, бірақ оның нақты көлемі белгісіз екенін білдіреді.

Егер интервал нөлді қамтыса:

−0,5-тен +2,4 п.т.-қа дейін,

дерек оң әсерді әсердің болмауынан немесе шағын теріс нәтижеден сенімді ажыратуға жеткіліксіз.

Статистикалық және бизнес-маңыздылық

Статистикалық маңызды өзгеріс бизнес үшін тым шағын болуы мүмкін.

Мысалы:

• uplift — +0,05 п.т.
• өте үлкен аудиторияның арқасында нәтиже статистикалық сенімді
• енгізу құны экономикалық әсерден жоғары.

Керісінше:

• бақыланған uplift — +5 п.т.
• аудитория шағын
• интервал өте кең
• нәтиже перспективалы, бірақ қосымша тест қажет.

Сондықтан шешім бір уақытта мыналарды ескереді:

• әсер бағытын
• көлемін
• белгісіздігін
• экономикалық құндылығын
• іске асыру құнын
• тәуекелдерді.

Bloomreach та A/B-тест нәтижелерін статистикалық маңыздылықпен бірге бағалауды және іріктеме жеткіліксіз болса шешім қабылдамауды ұсынады. Bloomreach: A/B test basic evaluation

17. Іріктеме көлемі және ең аз анықталатын әсер

Экспериментке дейін қанша клиент қажет болатынын бағалау керек.

Іріктеме көлемі мыналарға тәуелді:

• базалық конверсияға
• анықтау маңызды болатын ең аз әсерге
• қате қорытындының рұқсат етілген тәуекеліне
• қажетті статистикалық қуатқа
• тест және бақылау топтарының арақатынасына
• көрсеткіш вариативтілігіне.

Базалық конверсия неғұрлым төмен және күтілетін әсер неғұрлым аз болса, аудитория соғұрлым үлкен болуы керек.

Егер клиенттердің 0,2%-ы сатып алса, 0,2% пен 0,22%-ды ажырату 10% пен 15%-ды ажыратудан әлдеқайда қиын.

Ең аз анықталатын әсер

Тест алдында мына сұрақты қою пайдалы:

Қандай ең аз өзгеріс сценарийді енгізуге жеткілікті құнды болады?

Егер бизнеске кемінде 1 пайыздық тармақ өсім ғана қызық болса, эксперимент осындай өзгерісті анықтауға жеткілікті қуатты болуы керек.

Әйтпесе тесттен кейін белгісіз нәтиже тек аудитория тым аз болғандықтан шығуы мүмкін.

Эксперименттік практикада іріктеме көлемі базалық метрикамен, маңыздылық деңгейімен, қажетті қуатпен және ең аз анықталатын әсермен байланыстырылады. Microsoft Research: Beyond Power Analysis

18. Неліктен тестті алғашқы жақсы нәтижеде тоқтатуға болмайды

Нәтижені күн сайын тексеріп, оң болған сәтте экспериментті аяқтасақ, кездейсоқ ауытқуды әсер деп қабылдау ықтималдығы артады.

Мысалы:

• бірінші күні тест алда
• екінші күні бақылау алда
• үшінші күні айырма маңызды болады
• бесінші күні жоғалады
• екі аптадан кейін нөлге жақын тұрақтанады.

Эксперимент алдын ала белгіленген кезең бойы жұмыс істеп, толық бизнес-циклдерді қамтуы тиіс:

• жұмыс күндері мен демалыстарды
• жалақы күндерін
• тұрақты промоларды
• типтік маусымдылықты
• күтілетін реакция мерзімін.

Bloomreach та A/B-тест ұзақтығын алдын ала белгілеуді және кемінде бір, ал жақсысы екі толық бизнес-циклді қамтуды ұсынады. Bloomreach: A/B testing

Егер экспериментті техникалық немесе этикалық себеппен ерте тоқтату керек болса, бұл шешім құжатталады, ал талдау өзгерген дизайнды ескереді.

19. Бөлудің дұрыстығын тексеру

Нәтижені талдамас бұрын эксперименттің жоспар бойынша орындалғанына көз жеткізу қажет.

Топтар арақатынасы

Егер 50/50 бөлу орнатылса, нақты көлемдер осы қатынасқа жақын болуы тиіс.

Елеулі ауытқу Sample Ratio Mismatch деп аталады.

Ол мыналарды көрсетуі мүмкін:

• рандомизация қатесін
• бөлуден кейінгі әртүрлі сүзгілерді
• оқиғалардың жоғалуын
• профильдердің қайталануын
• тармақтардың әртүрлі өңделуін
• техникалық ақауды.

Түсіндірілмеген Sample Ratio Mismatch болғанда әсерді бағалау қауіпті. Microsoft мұндай тексеруді эксперименттер сапасын бақылаудың негізгі құралдарының бірі ретінде қарастырады. Microsoft Research: Sample Ratio Mismatch

Бастапқы сипаттамалардың салыстырмалылығы

Әсерге дейінгі көрсеткіштер де тексеріледі:

• тарихи жиілік
• түсім
• орташа чек
• соңғы сатып алудан өткен уақыт
• санаттар
• елдер
• арналардың қолжетімділігі.

Шағын кездейсоқ айырмалар қалыпты. Жүйелі ауытқу топтарды қалыптастыру мәселесін көрсетуі мүмкін.

20. Талдау жеткізу бойынша емес, бастапқы тағайындау бойынша жүргізіледі

Эксперименттің негізгі талдауы әдетте бастапқы тағайындау бойынша орындалады:

• тестке тағайындалған барлық клиент тест тобында қалады
• бақылауға тағайындалғандардың бәрі бақылауда қалады.

Тест тобының бір бөлігі:

• хабарламаны алмаса
• оны ашпаса
• жеткізу қатесіне тап болса да.

Бұл тәсіл нақты саясаттың әсерін бағалайды:

Сәйкес клиенттер үшін осы сценарийді іске қоссақ не болады?

Егер тестте тек хабарламаны алған немесе ашқан адамдарды қалдырсақ, кездейсоқ бөлу бұзылады.

Сонымен бірге бөлек диагностикалауға болады:

• жеткізуді
• қаралымды
• өтуді
• қателерді.

Бірақ «тек ашқандар арасында» талдауы басқа сұраққа жауап береді және қосымша болжамдарды талап етеді.

21. Басқа кампаниялармен қиылысу

Эксперимент кезінде клиенттер жалпы CRM-жүйенің ішінде өмір сүруді жалғастырады.

Олар:

• тұрақты жіберілімдер
• сервистік хабарламалар
• промо
• push-хабарламалар
• жарнама
• басқа автоматты сценарийлер алуы мүмкін.

Бұл әрдайым экспериментті жарамсыз етпейді. Егер басқа әсерлер тест пен бақылауға шамамен бірдей бөлінсе, олардың ықпалы орташа алғанда теңеседі.

Мәселе зерттелетін кампания басқа әсерлердің ықтималдығын өзгерткенде немесе сценарийлер тікелей қақтығысқанда пайда болады.

Мысалы:

• тест тобы жеңілдік алып, басқа промодан шығарылады
• бақылау тобы промоны алуды жалғастырады
• бір сценарий екіншісін бұғаттайды
• әртүрлі ұсыныстар бір санатқа әсер етеді.

Онда тек хабарламаның емес, пайда болған бүкіл комбинацияның әсері өлшенеді.

Қиылыстарды:

• тіркеу
• бақылау
• айқын қақтығыс болса алып тастау
• интерпретацияда ескеру
• қажет болса ортақ эксперимент жобалау керек.

Microsoft зерттеулері бір уақытта жүретін A/B-тесттердің жиі қатар өмір сүре алатынын, бірақ логикалық байланысы бар өзгерістерде эксперименттердің өзара әрекеттесуі маңызды болып, оқшаулауды немесе арнайы дизайнды қажет ететінін көрсетеді. Microsoft Research: A/B Interactions

22. Аналитикаға техникалық тапсырма

Сенімді бағалау кампания іске қосылғанға дейін басталады.

Алдымен мыналар талданады:

• CRM-жобаның конфигурациясы
• бизнес-мақсат
• деректер құрылымы
• оқиғалар
• KPI
• мақсатты әрекеттер
• эксперименттік дизайн
• қолжетімді тарихи кезеңдер.

Содан кейін деректерді шығару мен өңдеуге техникалық тапсырма қалыптастырылады.

Нені бекіту керек

Эксперимент

• идентификатор
• атау
• басталу және аяқталу күні
• гипотеза
• рандомизация бірлігі
• топтардың пропорциясы
• сценарий нұсқасы.

Тағайындау

• клиент идентификаторы
• топ
• тағайындау уақыты
• сәйкестік шарттары
• сценарий параметрлері
• ел және сегмент.

Әсер

• жіберу әрекеті
• жеткізу
• арна
• уақыт
• хабарлама нұсқасы
• техникалық статус
• басу немесе қате себебі.

Нәтижелер

• мақсатты оқиға
• уақыт
• тапсырыс идентификаторы
• статус
• сома
• валюта
• тауарлар
• санаттар
• қайтарулар мен бас тартулар.

Тарихи көрсеткіштер

• экспериментке дейінгі сатып алулар
• түсім
• жиілік
• орташа чек
• өмірлік цикл кезеңі
• сегменттерге тиістілік.

Жұмыс процесі

1. Бизнес-сұрақ формалданады.
2. Метрикалар мен өлшеу терезесі анықталады.
3. Тест және бақылау топтары жобаланады.
4. Оқиғалар мен идентификаторлар келісіледі.
5. SQL-шығаруға техникалық тапсырма жасалады.
6. Аналитиктер қажетті деректерді шығарады.
7. Толықтығы мен дұрыстығы тексеріледі.
8. Техникалық дубльдер жойылады.
9. Клиенттердің топтарға тиістілігі қалпына келтіріледі.
10. Көрсеткіштер есептеледі.
11. Белгісіздік бағаланады.
12. Сегменттер мен қорғаныс метрикалары талданады.
13. Қорытындылар мен ұсынымдар жасалады.
14. Нәтиже негізінде CRM-сценарий өзгертіледі.

23. Есептеуге дейін деректерді тексеру

Талдау алдында мыналарды тексеру қажет:

• эксперимент ішінде клиент бірегей ме
• ол бірнеше нұсқаға бірдей түспеді ме
• нақты бөлу белгіленгенге сәйкес пе
• бақылау тобының оқиғалары жоғалмады ма
• күндер дұрыс па
• уақыт белдеуі дұрыс қолданылды ма
• тапсырыстар қайталанбай ма
• жойылған және тест транзакциялары алынып тасталды ма
• сатып алу екі топ үшін бірдей анықталған ба
• эксперимент кезінде сценарий өзгермеді ме
• өлшеу терезесі бұзылмады ма.

Топтарды әртүрлі ереже бойынша «түзетуге» болмайды.

Мысалы, ірі сатып алушыларды тек тест тобынан алып тастау — экспериментті бұзу деген сөз.

Шектен тыс мәндермен жұмыс алдын ала анықталған немесе симметриялы қолданылатын ережеге сүйенуі керек:

• көрсеткішті шектеу
• winsorization
• робастық метрика
• бөлек талдау
• техникалық аномалияларды алып тастау.

Деректер сапасы сенімді A/B-талдаудың іргелі шарты: дұрыс рандомизация жоғалған оқиғалардан немесе қате есептелген метрикалардан құтқармайды. Microsoft Research: Data Quality for Trustworthy A/B Testing

24. Кездейсоқ бақылау мүмкін болмаған кезде

Компания әрдайым бақылау тобын бөле алмайды.

Себептері әртүрлі болуы мүмкін:

• коммуникация міндетті
• аудитория тым шағын
• өзгеріс бұрыннан іске қосылған
• шешім барлық өңірге бірдей қолданылады
• клиенттердің бір бөлігін шығару мүмкін емес
• тарихи түрде эксперимент қарастырылмаған.

Мұндай жағдайда бақылаулық әдістер пайдаланылады.

Олар бағалауды жақсарта алады, бірақ қосымша болжамдарды қажет етеді. Сенімділігі жағынан дұрыс жүргізілген кездейсоқ эксперименттен әдетте төмен.

«Дейін» және «кейін» салыстыруы

Көрсеткіш:

• іске қосуға дейін
• іске қосқаннан кейін салыстырылады.

Мысалы:

• кампанияға дейін конверсия 5% болды
• кейін 8% болды
• бақыланған өсім — 3 п.т.

Бірақ сол уақытта мыналар да өзгеруі мүмкін:

• маусым
• бағалар
• ассортимент
• жарнама
• экономика
• бәсекелестер
• клиенттік база құрамы.

Сондықтан қарапайым pre/post-талдау уақыт ішіндегі өзгерісті көрсетеді, бірақ оның себебін оқшауламайды.

Сәйкестендірілген бақылау тобы

Кампания қатысушыларына оны алмаған ұқсас клиенттер таңдалады:

• бұрынғы жиілік бойынша
• сатып алу сомасы бойынша
• соңғы сатып алудан өткен уақыт бойынша
• санаттар бойынша
• ел бойынша
• белсенділік бойынша.

Бұл белгілі сипаттамалар бойынша айырманы азайтады, бірақ деректерде жоқ факторларды бақыламайды.

Difference-in-Differences

Әдіс екі топтағы деңгейлерді емес, өзгерістерді салыстырады.

Мысал:

Әсер бағасы:

Немесе баламалы түрде:

Негізгі болжам: кампания болмаса, екі топ параллель өзгерер еді. Мұны іске қосуға дейінгі деректердің бар болуының өзі кепілдемейді. Бұрынғы динамиканы зерттеп, бақылау тобы неліктен қолайлы контрфактілік трендті көрсететінін негіздеу керек.

Үзілген уақыт қатары

Әсерге дейінгі және кейінгі көрсеткіш динамикасы талданады:

• деңгей өзгерді ме
• тренд өзгерді ме
• бақыланған мән болжамнан ерекшелене ме.

Әдіс жеткілікті ұзақ әрі тұрақты тарихты қажет етеді және дәл сол уақытта болған басқа оқиғаларға сезімтал.

Синтетикалық бақылау және Causal Impact

Контрфактілік болжам мақсатты көрсеткішпен байланысты, бірақ әсерге ұшырамаған уақыт қатарларынан құрылады.

Байестік құрылымдық уақыттық модельдер трендті, маусымдылықты және бақылау айнымалыларын ескере алады. Бірақ нәтиже маңызды болжамға тәуелді: бақылау қатарлары мен мақсатты көрсеткіш арасындағы байланыс әсерден кейін де сақталар еді, ал бақылау қатарларының өзі кампаниядан зардап шекпеген болуы керек. Brodersen et al.: Inferring causal impact using Bayesian structural time-series models

Бақылаулық әдістер тарихты шынайы экспериментке айналдырмайды. Олар нақты болжамдар орындалған жағдайда әсерді бағалайды; бұл болжамдар ашық көрсетіліп, мүмкіндігінше тексерілуі тиіс.

25. Uplift-модельдеу

Кәдімгі болжамдық модель мына сұраққа жауап береді:

Кімнің сатып алу ықтималдығы жоғары?

Бірақ ықтималдығы жоғары клиенттер коммуникациясыз да сатып алуы мүмкін.

Uplift-модель басқа сұраққа жауап беруге тырысады:

Кімде дәл осы әсердің салдарынан сатып алу ықтималдығы ең қатты өзгереді?

Клиенттерді шартты түрде төрт түрге бөлуге болады.

Иландыруға болатындар

Әсерден кейін сатып алады, ал әсер болмағанда сатып алу ықтималдығы төменірек болар еді. Бұл — негізгі мақсатты топ.

Табиғи сатып алушылар

Коммуникацияға қарамастан сатып алады. Олар үшін әсер артық болуы мүмкін.

Реакция бермейтіндер

Әсер болса да, болмаса да сатып алмайды.

Теріс реакциясы бар клиенттер

Коммуникациясыз сатып алуы мүмкін еді, бірақ әсер сатып алу ықтималдығын төмендетеді: мысалы, тітіркендіреді, сенімсіздік тудырады немесе қажетсіз жеңілдік ұсынады.

Стандартты propensity-модель көбіне табиғи сатып алушыларды табады. Uplift-модель әсерден мінез-құлқы өзгеретіндерді табуға тырысады.

Бірақ оны үйрету үшін әсер және бақылау топтары сенімді бөлінген деректер қажет. Модельді тек алушыларға үйретсек, ол сатып алуға бейімділікті коммуникация әсерінен ажырата алмайды.

Uplift-модельдеу кәдімгі болжаудан дәл осы айырмашылығымен ерекшеленеді: ол мақсатты оқиға ықтималдығын ғана емес, әсер тудырған реакция өзгерісін бағалайды. Zhao et al.: Uplift Modeling for Multiple Treatments

26. Сегменттер бойынша әсер

Орташа uplift елеулі айырмашылықтарды жасыруы мүмкін.

Мысалы:

Орташа алғанда кампания оң болуы мүмкін, бірақ кету тәуекелі сегменті үшін — теріс.

Әсерді мына бөліністерде зерттеу пайдалы:

• елдер
• тілдер
• өмірлік цикл кезеңдері
• алғашқы сатып алу санаттары
• белсенділік
• жиілік
• баға сегменттері
• қолжетімді арналар.

Бірақ кесінділер неғұрлым көп тексерілсе, кездейсоқ әдемі нәтиже табу ықтималдығы соғұрлым жоғары.

Сондықтан негізгі сегменттерді алдын ала анықтаған дұрыс. Тесттен кейін байқалған күтпеген айырмашылықтарды жаңа гипотезалар үшін пайдалануға болады, кейін олар жеке экспериментпен расталады.

27. Ұзақ мерзімді әсер

Қысқа мерзімді кампанияның кейін көрінетін салдары болуы мүмкін.

Оң әсерлер:

• әдет қалыптастыру
• тұрақты сатып алуға көшу
• жаңа санатпен танысу
• retention өсуі
• LTV өсуі.

Теріс әсерлер:

• коммуникациядан шаршау
• жазылымнан бас тартудың өсуі
• жеңілдік күту
• маржаның төмендеуі
• болашақ сұраныстың каннибализациясы
• жалпы көлем өзгермей сатып алудың ертерек болуы.

Сондықтан жетілген өлшеу жүйесі әртүрлі көкжиектерді қамтиды:

• тікелей реакция
• негізгі конверсия терезесі
• қайталама сатып алу
• retention
• жинақталған түсім мен маржа
• LTV.

Ұзақ мерзімді бағалау мақсаты бір транзакция емес, клиенттің сатып алу траекториясын өзгерту болып табылатын CRM-сценарийлер үшін ерекше маңызды.

28. Нәтижені қалай түсіндіру керек

Талдаудан кейін тек «сәтті» немесе «сәтсіз» деген екі нәтиже ғана болмайды.

Сенімді оң әсер

Сценарийді мониторингті жалғастыра отырып масштабтауға болады.

Оң баға, бірақ белгісіздігі жоғары

Үлкенірек немесе ұзақ тест қажет.

Іс жүзінде нөлдік әсер

Сценарий жеткілікті қосымша құндылық жасамайды. Оны өшіруге немесе қайта жобалауға болады.

Теріс әсер

Мыналарды тексеру керек:

• іске асыру сапасын
• аудиторияны
• ұсынысты
• жиілікті
• арнаны
• уақыт интервалын
• басқа сценарийлермен қақтығысты.

Конверсия өседі, бірақ экономика нашарлайды

Жеңілдік немесе ассортимент механикасын өзгерту қажет.

Әсер тек кейбір сегменттерде бар

Сценарийді тарылтып, релевантты аудиторияда қайта тексеруге болады.

Әсер қысқа мерзімді және кейін жоғалады

Кампания қосымша сатып алу жасамай, сатып алуды жеделдетіп отырған болуы мүмкін.

Эксперимент нәтижесі команданың жұмысына баға емес. Теріс немесе нөлдік әсер де құндылық жасайды: компания жұмыс істемейтін механикаға ресурс жұмсауды тоқтатып, келесі гипотеза үшін дерек алады.

29. CRM-автоматтандыруды дамыту циклі

Дұрыс ұйымдастырылған жұмыс былай көрінеді:

1. Бизнес-мәселе анықталады.
2. Гипотеза тұжырымдалады.
3. CRM-сценарий жобаланады.
4. Көрсеткіштер мен бақылау тобы анықталады.
5. Оқиғалар мен идентификаторлар бапталады.
6. Сценарий техникалық тестілеуден өтеді.
7. Эксперимент іске қосылады.
8. Деректер сапасы тексеріледі.
9. Себептік әсер есептеледі.
10. Сегменттер мен экономика талданады.
11. Шешім қабылданады.
12. Сценарий логикасы өзгертіледі.
13. Жаңа тест іске қосылады.

Осылайша CRM хабарлама «жұмыс істеуі тиіс» деген субъективті сезімге емес, расталған білімді жүйелі жинауға сүйеніп дамиды.

CRM-кампанияларды бағалаудағы типтік қателер

Алушылардың бүкіл түсімін кампания нәтижесі деп санау

Клиенттердің бір бөлігі әсерсіз де сатып алар еді.

Хатты ашқандар мен ашпағандарды салыстыру

Бұл топтар жіберілгеннен кейін өздігінен қалыптасады және бастапқы белсенділігі бойынша ерекшеленеді.

Жеткізілмеген хабарламалардан бақылау тобын жасау

Жеткізілмейтін клиенттер қолжетімді клиенттерден жиі жүйелі түрде ерекшеленеді.

Ортақ аудиторияны тексермей тұрып топтарға бөлу

Бақылау мен тест әртүрлі сәйкестік ережелерін алады.

Эксперимент кезінде пропорцияларды өзгерту

Бұрын тағайындалған клиенттердің қатысу тарихы сақталып, баға бұрмалануы мүмкін.

Тестті алғашқы оң нәтижеде тоқтату

Кездейсоқ ауытқу тұрақты әсер деп қабылданады.

Ондаған метриканы тексеріп, тек сәттілерін көрсету

Салыстыру неғұрлым көп болса, кездейсоқ нәтиже табу ықтималдығы соғұрлым жоғары.

Жоюлар мен қайтаруларды елемеу

Техникалық түрде жасалған тапсырыс толық бизнес-нәтиже деп есептеледі.

Тек қысқа мерзімді терезені талдау

Сатып алуды жеделдету қосымша сатып алу деп қате қабылданады.

Жеңілдіктер мен маржаны елемеу

Түсім өскенде пайда төмендеуі мүмкін.

Болжамдарды тексермей күрделі causal-әдіс қолдану

Әдістің атауы бағалауды автоматты түрде себептік етпейді.

Бізге қандай міндеттермен жүгінуге болады

Бізге мына міндеттер бойынша жүгінуге болады:

• CRM-сценарийлерді бағалау әдістемесін әзірлеу
• тест және бақылау топтарын жобалау
• KPI мен мақсатты әрекеттерді анықтау
• Bloomreach Engagement ішінде A/B-бөлуді баптау
• аналитикаға арналған оқиғалар мен параметрлерді әзірлеу
• SQL-шығаруға техникалық тапсырма қалыптастыру
• эксперименттік деректер сапасын тексеру
• uplift және increment есептеу
• инкременттік түсім мен маржаны бағалау
• атрибуцияны себептік әсерден ажырату
• дайын бақылау тобы жоқ кампанияны талдау
• Difference-in-Differences немесе уақыттық модельдерді қолдану
• сегменттер бойынша әсерді зерттеу
• ұзақ мерзімді ықпалды бағалау.
• каннибализацияны анықтау
• тұрақты CRM-аналитика жүйесін құру
• өлшеу нәтижелері бойынша сценарийлерді өзгерту.

Біз бағалаудың толық цикліне де, жеке кезеңіне де қосыла аламыз: экспериментті жобалау, талаптарды дайындау, дерек выгрузкаларын өңдеу, көрсеткіштерді есептеу немесе нәтижелерді интерпретациялау.

Бизнес не алады

Нәтиже open rate пен алушылар түсімі көрсетілген есеп қана емес, CRM-ді дәлелге сүйеніп басқару жүйесі болады:

• формалданған гипотезалар
• дұрыс құрылған бақылау топтары
• келісілген KPI
• деректерге техникалық талаптар
• қайта өндіруге болатын есептеулер
• статистикалық белгісіздікті бағалау
• қосымша нәтижені есептеу
• сценарий экономикасын түсіну
• жеке сегменттер бойынша қорытындылар
• автоматтандыруды дамыту жөніндегі ұсынымдар.

Мұндай жүйе компанияға шын мәнінде маңызды сұрақтарға жауап беруге көмектеседі:

• сценарий жаңа сатып алулар жасай ма, әлде табиғи сатып алуларды ғана сүйемелдей ме
• қандай клиенттер коммуникацияның арқасында мінез-құлқын өзгертеді
• қандай ұсыныстар жұмыс істейді
• қай жерде жеңілдік шынымен қажет
• қай арна қосымша нәтиже жасайды
• қандай автоматтандыруларды масштабтау керек
• қайсысын өзгерту немесе өшіру керек
• CRM retention мен клиенттің ұзақ мерзімді құндылығына қалай әсер етеді.

CRM-аналитиканың негізгі міндеті — кампанияға мүмкіндігінше көп түсім жазу емес.

Оның міндеті — автоматтандыру қандай қосымша құндылық жасағанын, бұл бағаның қаншалықты сенімді екенін және оның негізінде бизнес қандай шешім қабылдауы керектігін барынша дәл анықтау.