Den datadrivna ambitionen, eller illusionen? Del 2

I detta inlägg kommer jag att vidareutveckla en idé från det föregående inlägget som jag i efterhand kände inte fick tillräckligt med utrymme. Om du inte tidigare läst eller lyssnat på del 1, uppmärksammar jag dig på att detta är del 2.

Två meningar ur den första delen lyder:

Hela västvärldens sunda förnuft, vår delade uppfattning, rotar sig i utdaterad kunskap.
Konstant nya fakta om vad som är verkligt, är en evig process utan någon kanonisk sanning, liksom sökandet efter Gud.

Jag delade tidigare in världsuppfattningen i två olika modeller, den religiösa och den vetenskapliga, där förhoppningen med den senare var att om vi blev av med den vidskepliga, religiösa villfarelsen, att vi alla istället skulle bli upplysta. Dagens informationssamhälle är dock mer polariserat än någonsin och det är till och med svårt att avgöra vilken av de två modellerna som idag faktiskt möter mest motstånd, även i demokratiska länder. Vetenskapligt arbete är dels väldigt tidskrävande, vilket inte går särskilt väl ihop med dagens ”on-demand”-mentalitet, dels är det också väldigt få av alla som gör efterforskningar i sin yrkesroll som är kvalificerade för det. Det leder till ett samhälle, till företag och produkter som drivs av starkt hållna—men ogrundade insikter.

I den första modellen och i Det Gamla Testamentet hittar vi symboliken för mänskligt övermod i Babels torn. Guds reaktion på byggnationen av tornet var att skapa förvirring i språket, så att den ene inte förstod vad den andre sa. Givetvis kan vi här dra en tydlig parallell till dagens samhälle. Vi kan också fråga oss om idén om Guds avbild, med andra ord en förenande meta-sanning, är en nödvändighet inbäddad i påståendet att det finns något sådant som sanning?

Att metodiskt söka sanningen

Vad är det viktigaste att säkerställa med ett A/B-test? blev jag nyligen tillfrågad under en arbetsintervju. Jag förstod ganska direkt att svaret de sökte var statistisk signifikans i testet, vilket betyder att det finns tillräckligt med data för att vara säker på att urvalet representerar helheten. Som svar på frågan hade det dock varit fel: det viktigaste med ett A/B-test är att verktyget som används för testet fungerar korrekt. Att få felaktiga hypoteser stärkta av felaktiga beräkningar är betydligt värre än vetskapen om att ett dataset är otillräckligt stort. Detsamma gäller såklart för den eller de personer som sammanställer testets utfall; huruvida informationen som sprids vidare bygger på en korrekt analys. Kombinationen av okunskap och högmod kan snabbt göra alla former av tracking-, test- eller analysarbetet till något kontraproduktivt.

”You can’t have your cake and eat it too”, lyder ordspråket som menar på att det finns två val men du kan bara välja ett. Men, faktiskt så kan du det, om du tänker på det som en sekvens: först har du den och sedan äter du den. Bokstavligen talat kan du alltså både ha och äta kakan. En av faktorerna som till sist ledde till Unabomarens fall var hans logiska korrigering av denna fras i sitt manifest, där han istället skrev den som ”you can’t eat your cake and have it too”, vilket återfanns formulerad på samma sätt i ett av hans brev till sin mor. Du kan inte äta den och sedan ha den, vilket är en mer korrekt formulering. Villkoren för ett A/B-test är desamma som för kakan. Kort förklarat är ett A/B-test kanske bäst beskrivet exakt som det benämns, men det finns alltså två variationer av någonting, A och B, som vi jämför med varandra under så rättvisa villkor som möjligt, för att sedan avgöra vilken som fungerar bäst för vad testet nu avser att mäta. Idén är inkrementell förbättring och att utvärdera en avgränsad funktion, sektion, enhet eller design i taget.

Om vi nu istället ser på vår tjänst eller produkt som en porträttmålning och föreställer oss hur vi på en kopia målar över ögonen med ett par solglasögon för en stund, kan det ge oss ett lite mer holistiskt perspektiv. Vårt A/B-test är alltså: ögon eller solglasögon? Solglasögonen skulle ta bort mycket av all den komplexiteten som vi åskådare ser eller distraheras av i ögonen, samt dölja imperfektioner i målningen med en helsvart, tekniskt felfri, yta. Med andra ord: beroende på definitionen av testet och dess ändamål, finns villkor för när solglasögonen vinner testet. Vi skulle därefter kunna stärka att solglasögon är att föredra med hänvisning till vårt test och utifrån det dra slutsatsen att vi bör ändra vår målning.

Ser vi däremot till tavlan i sin helhet, tittar vi inte längre på samma tavla, utan får en helt annan helhetsupplevelse. Om det är till det bättre eller till det sämre, det vill säga om fler nu gillar tavlan i sin helhet än tidigare, är utanför ramen av A/B-testet som i sig inte tagit hänsyn till kausaliteten mellan det som förkastats och vad som inte faktoriseras in i testuppsättningen. Idén om en uppoffring är densamma som med kakan; vi kan ha den och äta den, med andra ord vi kan ha variation A och förvänta oss alla tidigare orsakssamband, men däremot inte äta den, alltså övergå till variation B, utan att förvänta oss en viss helhetspåverkan. Varje förändring kommer till ett pris och att se varje förändring som att vi köpslår med helheten är ett bra sätt att se på det.

Bayesianskt eller Frekventistiskt? vad är skillnaden?

Ett så kallat Bayesianskt test, till skillnad från ett frekventistiskt, adresserar delvis denna problematik, men det är även här en viss erfarenhet i arbetet kommer in i bilden. Föreställ dig att du hittar ett mynt på marken, singlar slant och får krona 5 gånger i rad. Ditt resultat är osannolikt och du bestämmer dig för att ta reda på om myntet är ojämnt viktat eller inte—det vill säga om det är 50% sannolikhet att du får krona respektive klave?

Istället för att singla slant tusentals gånger för att bevisa att myntet är, eller inte är, jämnt viktat kan du med hjälp av en statistisk modell och med ett litet mått kontrollerad osäkerhet, dra en slutsats lite snabbare. Det är i valet av denna modell vi nu har två alternativ:

Bayesianskt: Du tänker att 5 utfall av ”krona” på raken är ett osannolikt resultat, men samtidigt vet du att nästan alla mynt som finns i världen är jämnt viktade. Vad är oddsen på att just det här myntet är något slags viktat mynt? Med denna vetskap singlar du slant ett par gånger till för säkerhets skull. Först efter ytterligare ett par utfall som krona drar du slutsatsen om att det måste röra sig om ett viktat mynt.

Frekventistiskt: Liknelsen blir lite märklig, men föreställ dig nu istället att en bebis istället hittar myntet och utför samma test, med samma utfall: fem ”krona” i rad. Sannolikheten att detta sker slumpvis är som sagt liten, men en nyfödd bebis har däremot inte någon tidigare erfarenhet av mynt eller att singla slant, därmed ingen kunskap om att det nästan alltid är 50/50 sannolikhet för krona kontra klave. Bebisen har därför ingen anledning till att fortsätta testet, eller dra någon annan slutsats än att det här är ett ojämnt viktat mynt.

Så kan du förbättra din produkt

Produktivitet är ett användbart mått på effektiviteten av produktionen. Den mäts genom att dividera förädlingsvärdet, alltså värdet på det som produceras, med antalet arbetade timmar. Om produktionen skapar ett stort värde per arbetstimme är produktiviteten hög och tvärtom.

Ett inlägg i positiv anda, om vad som ökat produktiviteten framför vad som sänker den, hade antagligen fångat ett större allmänt intresse eftersom vi lockas av nya perspektiv och potentiella lösningsförslag på våra problem mer än alternativet. Det vill säga än att öppna källardörren till vårt samvete och se till de problem vi redan identifierat, men inte vill kännas vid. Rent psykologiskt är vi också ca. 130% mer motiverade att arbeta för att inte förlora något, än vad vi är att förbättra något, så även ur denna aspekt kändes det mer rimligt att se på produktiviteten utifrån den motsatta positionen: vad som är ineffektivt och icke-produktivt. Är vi mer benägna att råda bot på vår ineffektivitet, kan det också antas vara ett effektivare sätt att bli mer effektiv på. Eller hur?

Till sist är det också väldigt mycket enklare att uppmärksamma och identifiera vad som är oproduktivt, än vad som redan fungerar bra eller som alla är nöjda med. Av alla dessa anledningar, likt hur forskarens arbete i huvudsak går ut på att motbevisa en hypotes snarare än att bevisa den, är det här hur du kan vinna i produktutvecklingen. Öppna för möjligheten att det enda sökandet efter alternativa lösningar leder till är att du trotsar dig själv. En princip inom vetenskaplig metod är den så kallande Ockhams rakkniv, vilket innebär att du inte ska anta fler företeelser eller ting än vad som behövs för att förklara de observationer man gjort.

Förbättra produkten genom självkalibrering

Vetenskapligt arbete, därmed arbete med data- och beteendeanalys, är svårt eftersom vi så lätt färgas av våra förhoppningar och intensioner. Det är svårt att hålla sig till sanningen som den föreligger, framför hur man anser att den borde vara. Ibland, i utvecklingen, så överlappar de dessutom.

Flodmyter har varit ett återkommande tema för att representera problem som konsekvenser av något vi inte gjort eller föregått. Det kan finnas goda skäl till att något inte blivit gjort—såväl som dåliga. De uppenbara lösningarna på våra problem hittas däremot ofta på just den plats där vi ännu inte varit villiga att leta. Att öppna denna ”källardörr” till vårt samvete är symboliskt ekvivalent med ett fall eller nedstigning i ovisshetens mörker. Vi använder faktiskt samma symbolik i vårt språk när vi pratar om kärlek: vi säger att vi "faller" för någon, eller på engelska ”to fall in love”, vilket springer ur en blottelse av vårt inre, inklusive våra brister. En förtroendebaserad uppgivelse som denna öppnar för risken att bli sårad, bedragen eller kritiserad på samma sätt som en plan för hur något ska uppnås samtidigt dikterar villkoren för när vi misslyckas. Detta vill vi undermedvetet skydda oss själva ifrån. Men alternativet till att inte ha en plan är dock att vi, lyckligt ovetande, alltjämt misslyckas i vår avsaknad av mål och riktning. Vikten av detta mål finns vidareutvecklat i inläggets första del.

Att låta en liten del av säkerhet kring vem vi var, eller hur något var, dö för att ersättas av en ovisshet eller tomrum är svårare desto mer av vår kunskap som var avhängt på denna sanning. Men fördelen med våra idéer är att vi kan låta dem dö istället för att behöva göra det själva. Tillåt dig själv att ta ett steg åt sidan, ut ur din kropp och stå bredvid dig själv, likt ett tredjepersonsperspektiv att se på dig själv objektivt—i vetskapen om att ditt sinne kan bli förvrängd eller korrupt. Lek med tanken att för att förbli rimlig, är det inte rimligt att ibland ”go out of our mind”, för något som helst relation till den objektiva världens verklighet.

Oproduktivitet kan komma i många olika skepnader, men i och med att allt artificiellt är designat bottnar det till stor del i den mänskliga faktorn. Den grekiske filosofen Epictetus sa att det finns saker i livet vi kan påverka och det finns saker i livet vi inte kan påverka. Sluta försöka påverka allt sådant som inte är inom din kontroll ändå. Han tillade också att det egentligen bara finns två saker vi faktiskt har kontroll över: våra tankar och våra handlingar. Med denna inställning:

Sluta trotsa dig själv
Planera ditt arbete i relation till ett mål
Var ihärdig i genomförandet men agil i din process
För nyskapande går det inte alltid att tänka objektivt. Objektivitet är bara ordet för den minsta mängd av subjektivitet vi kan förmå.