Samenvatting

Gedeeltelijk als vervolg op mijn vorige artikel over het identificeren van de drijvende krachten achter groei in bedrijven, wil ik nu verder in het konijnenhol gaan en kijken hoe je vervolgens de impact van groei-initiatieven kunt meten. Ik zal enkele hulpmiddelen bieden voor het beoordelen van de impact van acties zoals productupdates, PR en marketingcampagnes op klantgroei, retentiestatistieken en betrokkenheid. Dit vertegenwoordigt reflecties van mijn eerdere werk als statisticus, waarbij ik bedrijven hielp om de impact op hun waardering van interne en externe gebeurtenissen te beoordelen via de reacties van hun verhandelde effecten.

Ik geloof dat instrumenten voor statistische impact, die gebruikelijker zijn in de hedgefonds- en Wall Street-wereld, voor technologiebedrijven veel nuttiger kunnen zijn voor het beheren van groei dan hoe ze momenteel worden toegepast. Dankzij technologie die ons een reeks hoogfrequente informatie over gebruikers- of klantgedrag ter beschikking stelt, kan een ervaren statistiek- of data-analist een echte aanwinst zijn binnen commerciële teams.

Er zijn veel manieren om de impact van groei te meten

Laten we als voorbeeld van het meten van de statistische impact op de waardering aannemen dat een beursgenoteerd bedrijf een nieuw product aankondigt en wil weten in hoeverre dit de waardering heeft beïnvloed. Om de werkelijke impact te schatten, moet rekening worden gehouden met:

1. Hoe de markt zelf die dag presteerde, in de context van de correlatie van het effect ermee.
2. Het effect van andere bedrijfsrelevante informatie die tegelijkertijd wordt vrijgegeven.
3. Het simpele feit dat effectenprijzen en gebruikersgedrag dagelijks veranderen van algemene variantie, zelfs als er geen nieuwe informatie is.
4. Invloed op langere termijn, in termen van een statistisch significante trend in prijsstijging.

Voor een particulier bedrijf kan dezelfde analyse worden gemaakt van de verandering in actieve gebruikers of klanten, zowel op korte als op lange termijn, die als uitvloeisel dienen van de activiteit van de aandelenkoersen. Dit geldt ook voor de meetgegevens voor retentie en diepte van betrokkenheid.

Door deze afgeronde vorm van analyse tot stand te brengen, kunnen bedrijven hun beperkte middelen sturen op basis van veel sterkere informatiesignalen, in plaats van op een dwaalspoor te worden gebracht door wat lijkt op een markt- of gebruikersreactie die in feite niets meer is dan willekeurige fluctuatie. Het eerste werk om het statistische model op te zetten dat het signaal van de ruis scheidt, kan enorme voordelen opleveren via de inzichten die het oplevert voor de groei-inspanningen van een bedrijf. Het is ook een iteratief proces dat gemakkelijk (en vaak automatisch) kan worden bijgewerkt en verfijnd wanneer nieuwe gegevens worden ontvangen.

De te testen doelstatistiek selecteren

Elke meetinspanning van een bedrijf moet gericht zijn op ten minste een van de volgende groeidimensies:

1. Top-line groei , gedefinieerd als de verandering in de totale verkoop of actieve gebruikers/klanten in de loop van de tijd.
2. Retentie van gebruikers en klanten, gedefinieerd als de gemiddelde levensduur van een bepaalde gebruiker of klant.
3. De diepte van betrokkenheid van gebruikers en klanten, gedefinieerd als ofwel de frequentie van de genomen kernactie of het volume van transacties via het platform.

Alle drie de dimensies zijn kwantificeerbaar en het bedrijf kan de waarde ervan conceptualiseren als de oppervlakte van de driehoek gevormd door deze drie punten. Als er één instort, wordt het waardepotentieel van de andere twee ernstig beperkt. Hoewel ik het zeker eens ben met veel oprichters en investeerders dat "een paar gebruikers die van je houden beter zijn dan velen die van je houden", geloof ik niet dat dit in tegenspraak is met het belang van omzetgroei naast een sterke betrokkenheid en retentie. Het traject is veel belangrijker dan het niveau, en te beginnen met een kleinere groep echt toegewijde gebruikers bepaalt in de eerste plaats de eerste voorwaarden voor groei op de lange termijn.

De belangrijkste taak voor het bedrijf is om vervolgens het analytische kader vast te stellen dat het mogelijk maakt om de werkelijke effecten van hun acties op een of meer van deze drie belangrijke statistieken te meten. Het bedrijf kan voor elk verschillende modellen testen of tools gebruiken zoals simultane vergelijkingen om ze directer te koppelen. Mijn ervaring is dat marketing- en PR-inspanningen vooral te lijden hebben onder een gebrek aan grondige analyse van de vraag of het bedrijf een rendement op zijn investering ontvangt. Bepaalde statistieken, zoals het totale aantal weergaven, klikken en shares, worden bijna altijd geregistreerd, maar dit zijn allemaal middelen om een ​​doel te bereiken en de volgende vraag over de effecten op klantconversie en betrokkenheid wordt zelden serieus geanalyseerd.

De benchmark en voorbeeld van een eenmalig evenement kiezen

We beginnen met de vereenvoudigde versie van een eenmalig evenement. Laten we aannemen dat een bedrijf op dag 0 een nieuwe productupdate uitbrengt of een groot PR-verhaal publiceert en wil weten of dit een stap in de goede richting is in termen van effect op groei. Om te bepalen of er een echt signaal is ontvangen dat het bedrijf soortgelijke inspanningen moet blijven doen, moet u weten hoeveel het is toegenomen, in plaats van hoeveel het zou hebben, zonder het evenement in kwestie.

De benchmarkgroei kan worden geschat via een regressiemodel dat de groei, het behoud of de betrokkenheid van het bedrijf voorspelt op basis van externe en interne variabelen. In bepaalde gevallen maakt de mogelijkheid om die gebruikers te isoleren die worden beïnvloed door een productupdate, directe A/B-tests met een controlegroep mogelijk. Dit is echter niet het geval voor grootschaligere product-, PR- en zakelijke inspanningen die alle huidige en potentiële gebruikers enigszins uniform beïnvloeden. Hoewel er uitstekende bronnen beschikbaar zijn voor dergelijke tests, kunnen veel beginnende bedrijven ze duur vinden.

Variabelen die in aanmerking kunnen komen voor dit model zijn onder meer:

Alle variabelen moeten worden gespecificeerd als een veranderingssnelheid in plaats van een absoluut niveau, met gebruik van logaritmen in plaats van percentages.

Het tijdsbestek voor elke variabele moet eveneens zorgvuldig worden overwogen. Sommige variabelen zijn leidend (de aandelenmarkt is bijvoorbeeld sterk gebaseerd op verwachtingen), terwijl andere, zoals beoordelingen van gebruikerstevredenheid, gebaseerd zijn op ervaringen uit het verleden, maar zeker relevant kunnen zijn voor de verwachte groei.

Voor de regressie zelf raad ik aan om te beginnen met Ordinary Least Squares (OLS) en dan alleen om specifieke redenen over te gaan naar andere functionele vormen. OLS is veelzijdig en maakt ook een directere interpretatie van de resultaten mogelijk dan andere, meer complexe vormen. Wijzigingen in de context van OLS zijn onder meer een logaritmische regressie voor niet-lineaire variabelen, interactievariabelen (bijvoorbeeld huidige klanttevredenheid en sociale media-activiteit) en kwadratuurvariabelen waarvan u denkt dat ze onevenredige effecten hebben bij grotere waarden. Aangezien de groei hopelijk exponentieel is, zouden logaritmische regressies zeker een goede match kunnen zijn.

Met betrekking tot de tijdshorizon van de impact van de actie, moet u rekening houden met de frequentie van acties of aankopen van uw gebruikers om u te helpen het juiste interval te bepalen waarbinnen u naar de impact moet zoeken. Als u tijdframes gebruikt die langer zijn dan één dag, houd er dan rekening mee dat wekelijks actieve gebruikers niet de som zijn van de dagelijks actieve gebruikers die week. Als ik je product die week elke dag actief zou gebruiken, dan zou ik elke dag worden meegeteld voor een dagelijkse analyse. Als u vervolgens overschakelt naar een wekelijkse analyse, zou ik maar één keer verschijnen en zou het optellen van de afzonderlijke dagen dus te veel tellen.

Met dit model kunt u vervolgens de verwachte groei/retentie/betrokkenheid schatten voor een bepaald moment of lopende periode op basis van de prestaties van deze verklarende variabelen. Het verschil tussen deze verwachte groei en de daadwerkelijke groei die na de gebeurtenis wordt waargenomen, is dan het abnormale deel dat op impact kan wijzen. Door deze abnormale groei te delen door de standaarddeviatie van de verwachte groei, wordt vervolgens aangegeven hoe waarschijnlijk het is dat de abnormale component door toeval is ontstaan. Gewoonlijk wordt een resultaat van 1,96 (dat is ongeveer twee standaarddeviaties verwijderd van de voorspelde waarde) gebruikt als de grens om aan te nemen dat het niet door toeval is ontstaan.

In de context van cohorten kunnen retentie en betrokkenheid worden beschouwd in termen van verandering in opeenvolgende cohorten (met andere woorden, de waarden vast houden voor elk cohort), of de verandering in de tijd van totale retentie en betrokkenheid, zonder deze uit te splitsen door cohort.

Cumulatieve groei-impact van een reeks gebeurtenissen

Bij groeistrategieën gaat het er vaak om een ​​reeks gebeurtenissen in te zetten in plaats van eenmalige inspanningen, zowel voor de meer directe impact van meerdere inspanningen als voor de onderliggende impact om klanten het patroon zelf te laten zien. Impactanalyse kan daarom ook naar cumulatieve impact kijken. Een reeks gebeurtenissen die individueel onbeduidend zijn, kan resulteren in een significante cumulatieve impact, en omgekeerd kan een reeks significante gebeurtenissen uitmonden in onbeduidendheid.

De eerste situatie kan worden gezien als "langzaam en gestaag wint de race." Stel dat uw omzet met een fractie van een procent per week sneller stijgt dan uw relevante sector. Over een korte periode zou dit niets betekenen, omdat de groei van een bepaald bedrijf door toeval enigszins zal verschillen van de benchmark. Als uw lichte overprestatie echter lang genoeg aanhoudt, kunt u uiteindelijk met vertrouwen stellen dat het groeipercentage van het bedrijf werkelijk dat van de markt overtreft.

De tweede situatie is in wezen elke vorm van omkering. De steeds hogere frequentie waarmee mensen kunnen reageren op ontwikkelingen voordat ze de informatie echt verwerken, evenals de mentaliteit van de kudde op de korte termijn, brengt de uitdaging met zich mee om ervoor te zorgen dat je de ware omvang en duur van de reactie door de meer directe ruis in overweging neemt. Onder bepaalde omstandigheden kunnen gebruikers en de markten de neiging hebben om op korte termijn systematisch overdreven te reageren (nieuwe technologieën, valutamarkten en vaak slecht nieuws dat geen ernstige bedreiging vormt voor een bedrijf), maar later zichzelf corrigeren.

De twee situaties kunnen als volgt worden geïllustreerd. Het betrouwbaarheidsinterval geeft de grenzen aan waarbinnen we kunnen verwachten dat 95% van de waarnemingen zal vallen, wat doorgaans wordt gebruikt als de drempel om iets statistisch significant te achten.

De afwezigheid van een significante ommekeer kan worden beschouwd als een bewijs van blijvende impact. Men moet voorzichtig zijn met deze logica, aangezien deze in strijd is met de normale regel van empirisch scepticisme dat afwezigheid van bewijs geen bewijs is van afwezigheid, maar het is het beste wat we kunnen doen.

Wees voorzichtig bij het vergelijken van procentuele/logaritmische veranderingen over afzonderlijke tijdsperioden. Een daling van 99% gevolgd door een stijging van 99% betekent niet bepaald een onbeduidende cumulatieve verandering. Zorg ervoor dat u uiteindelijk rekening houdt met cumulatieve verandering.

Als u de cumulatieve impact meet van een reeks gebeurtenissen zoals een specifieke PR-campagne binnen een beperkte periode (d.w.z. een vakantieseizoen), dan wilt u misschien de groei volgen over alle kalenderdagen of -weken die in het tijdsbestek zijn opgenomen , ongeacht of elk van hen een specifieke actie had ondernomen. Je hoopt in wezen nog steeds dat de 1-2-3-stoot binnen een bepaalde periode een knock-out oplevert, zelfs als er kleine vertragingen tussen de slagen kunnen zijn.

Als de gebeurtenissen in kwestie verder uit elkaar liggen, maar u toch de cumulatieve impact wilt beoordelen, kunt u overwegen ze samen te voegen tot één aaneengesloten reeks van dagen en vervolgens dezelfde analyse uit te voeren. Hierin zeg je in wezen "Dag 1 is 5 januari, dag 2 is 15 maart, dag 3 is 10 april...") en test hun cumulatieve verandering versus die voorspeld door de benchmark alsof het in feite volledig opeenvolgende datums zijn. Het testen van de significantie is dan dezelfde formule als bij singuliere gebeurtenissen, behalve dat hierbij de standaarddeviatie wordt verhoogd tot de vierkantswortel van het aantal dagen/weken die de cumulatieve periode vormen.

Omgaan met besmette informatie bij het meten van bedrijfsgroei

De wereld biedt ons zelden de hoffelijkheid van perfecte laboratoriumomstandigheden om onze ideeën te testen, dus als het kernmodel eenmaal is vastgesteld, zal het hoogstwaarschijnlijk moeten controleren op andere informatie die de verwachte groeisnelheid beïnvloedt op hetzelfde moment als de acties die we' probeer te meten.

Laten we aannemen dat op hetzelfde moment als een PR-evenement of productupdate, een topmanager helaas besluit om naar een concurrent te vertrekken te midden van veel tamtam van de pers en dat u zich zorgen maakt dat sommige gebruikers dit als een teken van de relatieve verdiensten van de twee producten. Een zeer snelle oplossing is helaas om het gegevenspunt eenvoudigweg te markeren als een verwarde, niet-gerelateerde gebeurtenis, met een indicatorvariabele.

Als u echter gegevens kunt verkrijgen over eerdere gevallen van de "verwarrende" gebeurtenis, kunt u een transversale analyse uitvoeren waarmee u kunt voorspellen hoeveel impact die specifieke gebeurtenis in vergelijkbare omstandigheden heeft, en u kunt verwijderen die verwachte impact van de eindresultaten. In het bovenstaande voorbeeld zouden gegevens over gebruikersactiviteit rond het vertrek van prominente teamleden in andere bedrijven u in staat stellen om het effect van die specifieke factor in te schatten en te scheiden om het effect te isoleren van het PR-evenement of de productupdate die u hoopte te hebben. evalueren.

Veel bedrijven kunnen ook te maken krijgen met seizoensinvloeden op basis van de tijd van het jaar of bepaalde belangrijke momenten zoals vakanties. Wijs indicatorvariabelen toe aan de tijd van het jaar in kwestie om hiervoor te controleren.

De niet-lineariteiten van bepaalde effecten

Als je kijkt naar de resultaten van je analyse en strategieën voor groei-inspanningen, zijn bepaalde niet-lineaire effecten in de manier waarop mensen zijn gedocumenteerd om te reageren op positieve ontwikkelingen het waard om in gedachten te houden.

Op- versus neerwaartse gevoeligheid kan heel verschillend zijn. Als de gegevens en de tijd het toelaten, kunt u overwegen de verwachte effecten van zowel positieve als negatieve gebeurtenissen in te schatten, als beide relevant voor u zijn. Helaas kunnen neerwaartse bewegingen in veel gevallen, variërend van gebruikersgedrag tot de financiële markten, veel abrupter en ernstiger zijn dan opwaartse bewegingen.

Het gecombineerde effect van het uitvoeren van meerdere acties tegelijk is misschien niet gelijk aan het uitvoeren van ze achter elkaar, omdat het feit van het voortdurende patroon zelf een positief of negatief effect kan hebben. Het patroon van een bedrijf dat elke maand een productupdate uitbrengt, kan gebruikers vertrouwen wekken, terwijl het meer dan eens aankondigen van negatieve gebeurtenissen zoals ontslagen of afschrijvingen een enorm onevenredig effect kan hebben door de zorg te veroorzaken dat het bedrijf zijn eigen niet volledig begrijpt situatie. Beursgenoteerde bedrijven zullen vaak "een bad nemen" en al het slechte nieuws in één keer vrijgeven, omdat er een eerste "vaste" hit kan zijn van het feit van slecht nieuws zelf, met een marginaal gevolg. Het 'Torpedo-effect' beschrijft bijvoorbeeld het empirische fenomeen dat alleen al de aanwezigheid van slecht nieuws een betekenisvol deel van een prijsdaling kan verklaren. Negatieve dalingen kunnen dus worden opgesplitst in een aanvankelijk vast effect dat plaats maakt voor een afnemend marginaal effect van de feitelijke inhoud van het nieuws of de ontwikkeling. PR-campagnes werken beter als een opeenvolging dan een enkelvoudig mega-evenement, omdat het doel is om het bedrijf in de loop van de tijd te positioneren.

Variantie kan natuurlijk alleen historisch worden gemeten, maar bepaalde gebeurtenissen kunnen de onderliggende echte variantie en de waarschijnlijkheid dat de abnormale groei toevallig gebeurde, veranderen. Aangezien de nieuwe variantie zelf het resultaat is van de gebeurtenis in kwestie, moet de eerdere variantie worden gebruikt om de cirkelredenering te vermijden waarbij de betekenis van de gebeurtenis wordt afgewezen op basis van de grotere variantie die ermee gepaard gaat. Zoals altijd is er echter discussie en elke situatie kan anders zijn.

Zoals eerder vermeld, kunnen groei of een vertraging van de groei beide een tijdje vergelijkbare effecten hebben, vanwege zowel de menselijke psychologie als de zeer reële marktstructuren. Hoewel er verschillende mooie autocorrelatietests beschikbaar zijn voor het meten van momentumeffecten, vind ik de meer "handmatige" benadering om de groeireeks op een vertraagde versie van zichzelf te regresseren, transparanter en gemakkelijker om mee te experimenteren.

Concluderende gedachten over het benaderen van machine learning in het bedrijfsleven

Zodra het model dat dergelijke tests mogelijk maakt, is ontwikkeld, is er geen reden waarom de platforms van het bedrijf voor het volgen van gebruikersgedrag, verkopen, enz. niet direct kunnen worden gekoppeld aan de code om de coëfficiënten voortdurend bij te werken wanneer nieuwe gegevens worden ontvangen. Mijn persoonlijke voorkeur is altijd geweest om waar mogelijk een voortschrijdende schattingsperiode van één jaar te hebben, in die zin dat het de omvang van de dataset in evenwicht brengt met de hogere waarde van meer recente informatie en natuurlijk ook alle tijden van het jaar omvat in het geval van seizoensinvloeden.

Ervan uitgaande dat er geen structurele breuken in de aard van het bedrijf en het product zijn, is er geen reden om de schattingsperiode niet langer dan een jaar te verlengen, maar jonge snelgroeiende bedrijven hebben de neiging om snel te evolueren. Softwaregedreven bedrijven kunnen rechtstreeks naar hun GitHub linken om het proces te creëren waarmee software-updates automatisch worden getest op impact. Door deze directe link te creëren en de functies automatisch te laten evolueren, heeft u de eerste stap gezet naar de implementatie van machine learning voor uw bedrijf.

Er wordt vaak op gewezen dat informatie 's werelds meest waardevolle handelswaar is, maar er wordt minder vaak vermeld dat data geen informatie is. Integendeel, bedrijven worden overspoeld met zoveel gegevens die concurrerende verhalen lijken te vertellen, waarvan vele slechts onechte patronen kunnen zijn op basis van willekeur. Statistiek op zijn best is een proces van reductie - van snel inzoomen op de belangrijkste variabelen en relaties en deze inzetten voor praktische tests. De geest van deze vorm van analyse is vooral gezond scepticisme in het besluitvormingsproces brengen door de gegevens te dwingen zichzelf te bewijzen als echte informatie voordat u er een beslissing op baseert.