Redaktörens anmärkning: Gäst bidragsgivare Eric Ries är konsult och författare till Lean Startup , som han kommer att lansera på Störa SF på tisdagen. Följ efter honom @ ericries .
Jag var nyligen ombedd att spendera lite tid med en tidigt start som har en revolutionerande ny produkt. Jag frågade dem om de trodde att de gjorde sin produkt bättre. Som med alla andra start har jag frågade sa de ja.
Och jag frågade dem: "Hur vet du det?" Deras svar var också ganska standard: de förklarade att de var att lägga till nya funktioner, förbättra kvaliteten, och i allmänhet utför mot produkten färdplanen. Funktionerna är en kombination av önskemål från deras tidiga kunder och vision-inspirerade gissningar från grundarna. Varje månad, deras grova tal-det totala antalet kunder, totala intäkter och totala användning-flytta upp och till höger. Så de sa, de måste vara på rätt väg.
Sedan frågade jag dem denna fråga: vad skulle hända med företaget om hela produktutvecklingen laget tog en månad bort och gick på semester? Säljarna skulle hålla registrerar sig nya kunder. Webbplatsen skulle fortsätta att få nya trafik från mun till mun. Kan de vara säkra på att de wouldn't-som affärs-att göra lika mycket "framsteg" som de påstår sig att göra nu?
I det ena scenariot, de har arbetat övertid, sätta i galna timmar, och i den andra, skulle de vara på semester. Om båda scenarierna leder till samma resultat, hur kan produkten utvecklingsteamet anspråk på att göra framsteg? För att göra ett effektivt arbete?
De flesta produktteam vet inte om de gör sin produkt bättre eller sämre, det är därför kunderna känna ett styng av rädsla varje gång de har att uppdatera eller uppgradera. Trots detta kan dessa bolag att ha extremt snabb tillväxt eftersom trots att produkten blir värre, finns andra saker går rätt: nätverk effekter sparkar i, är att företaget hyllade i pressen, eller att de surfar på en allmän våg av tillväxten i sin bransch.
I en av de startups Jag grundade, vi hade en lång period där vi verkligen fokuserade på omräkningskursen av nya kunder till betalande kunder (det var en freemium affärsmodell). Vår fåfänga mätetal letade bra upp och till höger. Diagrammen hade till och med formen på den klassiska hockeyklubba. Men kohort analys visade att något var fel.
Vi delade våra kunder in kohorter, titta på de nya kunder som kom varje dag som en särskild grupp. Då kan vi fråga: "Hur kunde dagens kunder jämfört med gårdagens?" Och mycket till vår frustration, var de omräkningskurser nästan exakt samma. Det var lätt att få konspiratoriskt. Det kändes som varje grupp hade satt upp ett konferenssamtal med föregående grupp. "Hur många av er köpte produkten? En av hundra? OK, bra, vi gör det också. "
Den frustrerande delen var detta mönster stannade konstant i flera månader, trots att vi gjorde den "bättre" nästan varje dag. Det faktum att kundernas beteende inte förändras visade att vi hade fel. Vi var inte göra produkten bättre, vi gjorde det värre.
Det motgiftet mot detta problem är att sluta använda fåfänga mått och börja mäta framstegen noggrannare.
De flesta av oss tänker på A / B-test (kallas ibland split-TES
Inga kommentarer:
Skicka en kommentar