Tvoříme bezpečnější digitální prostor s AI moderováním obsahu pro Elv.ai

Elv.ai je technologický startup zaměřený na moderování obsahu v online prostoru, zejména na sociálních sítích a webech. Mezi hlavní klienty patří mediální domy, digitální agentury a veřejné instituce na Slovensku, v Česku a Polsku. Každý den systémem projde více než 50 tisíc komentářů, které je třeba vyhodnotit. Platforma využívá efektivnost umělé inteligence a odborné znalosti vyškolených lidských moderátorů k vytváření bezpečných a slušných online diskusí.

Projekt vznikl během epidemie onemocnění COVID-19, kdy se internetem začalo šířit velké množství dezinformací a nenávistných komentářů, které nebyly nijak moderovány.

Cílem každého, kdo tvoří obsah v online prostoru, je získání co nejvyššího počtu interakcí a komentářů. S nárůstem počtu komentářů je však výrazně těžší vykonávat nad nimi jakoukoli moderaci manuálně, protože to vyžaduje mnoho lidských kapacit a času. Takové řešení se stává neudržitelné a vytváří prostor pro automatizaci pomocí AI.

Fáze návrhu jsme zahájili úvodním průzkumem, který zahrnoval rozhovory se skutečnými uživateli. Tento proces nám pomohl identifikovat několik kritických oblastí ke zlepšení.


Při práci s předchozím nástrojem uživatelé narazili na konkrétní obtíže, mezi které patřily:

• Nadbytečné procházení dlouhým seznamem nevyřešených problémů, což často vedlo k neúmyslnému přeskakování mezi komentáři. 
• Nepřehledné a špatně organizované uživatelské rozhraní.


Tyto problémy zakrývaly podstatné informace, které byly pro moderátory zásadní při rozhodování, zda komentář skrýt nebo schválit, což mělo vliv na efektivnost a kvalitu jejich rozhodnutí.

Na základě informací, které jsme získali během výzkumné fáze, jsme si uvědomili, že nedostatečně strukturované informace v rozhraní mohou uživatele zpomalit, proto jsme se rozhodli pro čisté a minimalistické uživatelské rozhraní.

Vytvořili jsme tzv. režim soustředění, ve kterém mohou uživatelé řešit připomínky z nevyřízených položek jednu po druhé, aniž by je to rušilo. Navrhli jsme zároveň dark mode aplikace, který pomůže snížit namáhání očí uživatelů pracujících při slabém osvětlení.

Nová aplikace zároveň obsahuje i přehledné klientské rozhraní, ve kterém si klient může prohlížet statistiky zpracování komentářů nebo samotné vyřešené komentáře a v případě potřeby změnit rozhodnutí

Po navržení rozhraní jsme provedli i testování použitelnosti, které nám pomohlo lépe strukturovat informace na kartě komentářů a ukázalo se, že uživatelé řeší komentáře rychleji v režimu soustředění, a to i díky podpoře klávesových zkratek.

Při moderování diskusí se jedná primárně o zpracování textu. Této problematice se věnuje NLP (Natural Language Processing). NLP patří pod tzv. “Weak AI” a je to druh AI, mezi které patří například i známý ChatGPT.

Při hledání vhodného modelu jsme se podívali na to, který z dostupných má dobré výsledky při klasifikaci textu ve více jazycích. Vzhledem k tomu, že Elv.ai v současnosti obsluhuje více jazyků a zároveň plánuje v budoucnosti expandovat na další zahraniční trhy a přidat podporu nových jazyků, je vícejazyčný model opravdu rozhodující.

Původně komentáře na sociálních sítích klientů Elv.ai moderovali jen “elfové”. Lidský moderátor však během své pracovní doby nestíhal procházet dostatek komentářů. Při integraci umělé inteligence do tohoto procesu jsme přemýšleli, jak nastavit nový systém tak, aby umělá inteligence mohla elfům co nejvíce pomáhat a zároveň jsme mohli zaručit kvalitu rozhodnutí. Jsme přesvědčeni, že zachování lidí v celém procesu je klíčové. Díky nim dokážeme individuálně posuzovat situace a nejednoznačné komentáře, přičemž zohledňujeme skutečný kontext příspěvku a samotný komentář.

Elfové zároveň provádějí náhodné kontroly v systému. Na každé službě kontroloři prověřují rozhodnutí AI a systém jim sám doporučí vzorek komentářů, které mají zkontrolovat. Pomocí tohoto procesu můžeme monitorovat kvalitu během celého procesu a zasáhnout, pokud vidíme, že se snižuje.

Rozhodli jsme se, že AI by měla elfy oprostit od nejhorších komentářů, protože jsme je chtěli chránit před toxickým obsahem. Zároveň můžeme pomocí AI odfiltrovat i komentáře, které jsou jednoznačně v pořádku. Takže jsme na elfy přesunuli komentáře, při kterých si AI nebyla dostatečně jistá při jejich zařazení do jedné ze skupin.

Velkou výzvou pro nás bylo samotné nastavení infrastruktury. Modely, které používáme, jsou poměrně velké a jejich načítání trvá určitý čas. Proto jsme přemýšleli, jak navrhnout infrastrukturu, aby byla snadno škálovatelná v případě zvýšené návštěvnosti a zároveň nevyžadovala zbytečně velké provozní náklady. Provedli jsme průzkum u několika poskytovatelů cloudových služeb a nakonec jsme se rozhodli pro AWS. Zde jsme se pokusili celou infrastrukturu nastavit, spustit a otestovat. Celý systém se skládá z několika menších aplikací a všechny se musí v případě potřeby škálovat nahoru nebo dolů.

Největší výzvou bylo najít vhodnou instanci GPU a spustit na ní aplikaci. Náš DevOps tým měl s tímto nastavením mnoho práce, ale nakonec jsme celý systém úspěšně spustili a provedli zátěžové testy. Aplikace obvykle zpracovává 45 tisíc komentářů za den. Na nové infrastruktuře se nám podařilo zpracovat 45 tisíc komentářů za 15 minut, přičemž náklady na provoz byly přibližně o 30 % nižší než na původní.

Dlouhodobým cílem je vyvinout kvalitní produkt. I když první iterace přinesly skutečně stabilní a efektivní řešení, je důležité neustále měřit a zlepšovat jeho kvalitu. Společnost v současnosti expanduje na nové trhy a součástí vstupu na nový trh je doladění existujícího modelu, aby lépe rozuměl jazyku a doméně. Zároveň je důležité pravidelně přidávat do modelu nové příklady z existujících jazyků, aby lépe rozuměl novým kontextům a situacím.

Kromě odstraňování nevhodného obsahu považujeme za nezbytné, aby naši klienti znali své publikum a efektivně s ním pracovali. Proto do aplikace postupně přidáváme další funkce, které slouží k tomuto účelu. První z nich je například možnost automatizovat odpovídání na komentáře přímo z aplikace nebo přidání odpovědi na komentář.