A/B-testit

[Mr.Freshh]

Arvon pelaajat,

Viime aikoina olemme saaneet kommentteja koskien A/B-testejä ja sitä, miten olemme niitä suorittaneet. Olemme etenkin saaneet kommentteja Forge Plus -ominaisuuden A/B-testeistä ja päivittäisten haasteiden päivityksestä. Siksi ajattelimme, että olisi hyvä, jos saisitte lisätietoja lähestymistavastamme A/B-testeihin ja siitä, miksi ne ovat olennainen osa Forge of Empiresin kehitystä.

Aloitetaan A/B-testin määritelmällä. A/B-testi on alan perustesti, jota kehittäjät käyttävät usein seuratakseen pelaajien reaktioita johonkin ominaisuuteen. Tällaisissa testeissä kaksi tai useampi ryhmä valitaan satunnaisesti. Ne koostuvat testiryhmästä (ryhmä "A"), joka saa käyttöönsä ominaisuuden, ja kontrolliryhmästä (ryhmä "B"), joka ei saa. Tämän vertailun avulla kehittäjät voivat suoraan seurata pelaajien käyttäytymisen muutosta ja arvioida testatun ominaisuuden vaikutusta. Tämä tapahtuu sekä määrällisen että laadullisen palautteen avulla. Ja meidän on otettava huomioon molemmat, mutta yritäthän pitää mielessä, että foorumipalaute on vain yksi osa monista alueista, joilta saamme palautetta.

Otetaanpa esimerkkinä äskettäinen päivittäisten haasteiden päivitys. Kun katsomme molempia ryhmiä voimme vertailla monia näkökohtia (kuten päivittäistä osallistumista, ominaisuuden käyttöastetta, osallistujien ikää jne.). Tämä auttaa meitä selvittämään, oliko tämä muutos hyödyllinen ja houkutteleva pelaajillemme. Jos tulokset eivät osoita myönteistä suuntausta, voimme katsoa syvemmälle ja tarkistaa, oliko kyseessä jokin ongelma. Lopulta voimme puuttua asiaan ja joko mukauttaa ominaisuutta tai poistaa sen kokonaan.

Siksi A/B-testit ovat meille olennaisen tärkeitä. Niiden avulla saamme käyttöömme merkityksellisempää tietoa, joka perustuu elävään testausympäristöön. Näiden tietojen avulla voimme tarkentaa ominaisuuksiamme ja tunnistaa mahdolliset ongelmat.

Lisäksi uuden ominaisuuden julkaiseminen pienemmälle käyttäjäryhmälle antaa meille mahdollisuuden seurata palautetta tehokkaammin ja estää mahdollisen turhautumisen purkautumisen, joka voisi tapahtua, jos julkaisisimme ominaisuuksia heti koko yhteisölle.

Forge of Empires on tietenkin suuri peli. Sitä tukevat sadattuhannet pelaajat monissa maailmoissa. Mutta se tarkoittaa myös, että paljon voi mennä pieleen. A/B-testit ovat ehdoton edellytys, kun tavoitteena on vähentää mahdollisia riskejä, jotka liittyvät uuden ominaisuuden esittelyyn näin suurelle yleisölle. Testaamattoman ominaisuuden julkaisun seuraukset voivat aiheuttaa negatiivista vuorovaikutusta pelin kanssa - sekä meille että teille.

On myös tärkeää korostaa, että A/B-testit eivät ole valikoivia. Yksikään pelaaja ei säilytä minkäänlaista pitkäaikaista etua tai ole ennalta valikoitunut testiryhmään. Olette varmasti huomanneet, että on joitakin ominaisuuksia, joita emme voi A/B-testata, koska edut olisivat liian suuria ollakseen oikeudenmukaisia, ja haluamme säilyttää oikeudenmukaisuuden pelissä. Valinta testeihin on puhtaasti satunnaista, eikä reiluus ole ainoa syy tähän, vaan se johtuu myös siitä, että satunnaistettu elementti on olennainen osa testitulosten laatua.

Toivottavasti tämä selkeyttää, miksi A/B-testit ovat avainasemassa kehitysstrategiassamme ja pysyvät myös tulevissa päivityksissä.

Terveisin,

Forge of Empires -tiimi