Tvoříme bezpečnější digitální prostor s AI moderováním obsahu pro Elv.ai
Pro Elv.ai jsme s pomocí AI technologií vytvořili efektivní řešení, která pomohou zvládnout neustálý nárůst dezinformací a nenávistných komentářů.
![](/_next/image?url=https%3A%2F%2Fgoodrequest-web.s3.eu-central-1.amazonaws.com%2FGood_Request_AI_moderovanim_obsahu_pre_Elv_ai_68d4f5f6a6.jpg&w=3840&q=75)
Informace
- Klient: Elv.ai
- Typ projektu: Webová aplikace
- Služby: Research, UI/UX design, Usability Testing, AI, Backend, Frontend
- Rok: 2023 - současnost
Klient
Elv.ai je technologický startup zaměřený na moderování obsahu v online prostoru, zejména na sociálních sítích a webech. Mezi hlavní klienty patří mediální domy, digitální agentury a veřejné instituce na Slovensku, v Česku a Polsku. Každý den systémem projde více než 50 tisíc komentářů, které je třeba vyhodnotit. Platforma využívá efektivnost umělé inteligence a odborné znalosti vyškolených lidských moderátorů k vytváření bezpečných a slušných online diskusí.
V číslech:
100+
Médií, společností a institucí na platformě
20M+
Zkontrolovaných komentářů
3M+
Skrytých a smazaných komentářů
3.
Nejperspektivnější startup na Slovensku
5K+
Identifikovaných falešných účtů
99%
Přesnost
Jak to začalo
Výzva
Projekt vznikl během epidemie onemocnění COVID-19, kdy se internetem začalo šířit velké množství dezinformací a nenávistných komentářů, které nebyly nijak moderovány.
Cílem každého, kdo tvoří obsah v online prostoru, je získání co nejvyššího počtu interakcí a komentářů. S nárůstem počtu komentářů je však výrazně těžší vykonávat nad nimi jakoukoli moderaci manuálně, protože to vyžaduje mnoho lidských kapacit a času. Takové řešení se stává neudržitelné a vytváří prostor pro automatizaci pomocí AI.
![](/_next/image?url=https%3A%2F%2Fgoodrequest-web.s3.eu-central-1.amazonaws.com%2Fintro_Elvai_cs_806e32595d.png&w=3840&q=75)
Uživatelský výzkum
Pochopení problému
Fáze návrhu jsme zahájili úvodním průzkumem, který zahrnoval rozhovory se skutečnými uživateli. Tento proces nám pomohl identifikovat několik kritických oblastí ke zlepšení.
Při práci s předchozím nástrojem uživatelé narazili na konkrétní obtíže, mezi které patřily:
- Nadbytečné procházení dlouhým seznamem nevyřešených problémů, což často vedlo k neúmyslnému přeskakování mezi komentáři.
- Nepřehledné a špatně organizované uživatelské rozhraní.
Tyto problémy zakrývaly podstatné informace, které byly pro moderátory zásadní při rozhodování, zda komentář skrýt nebo schválit, což mělo vliv na efektivnost a kvalitu jejich rozhodnutí.
![](/_next/image?url=https%3A%2F%2Fgoodrequest-web.s3.eu-central-1.amazonaws.com%2FUser_research_cs_a86fd1a3ce.png&w=3840&q=75)
Návrh řešení
Uživatelské rozhraní pro efektivnější práci
Na základě informací, které jsme získali během výzkumné fáze, jsme si uvědomili, že nedostatečně strukturované informace v rozhraní mohou uživatele zpomalit, proto jsme se rozhodli pro čisté a minimalistické uživatelské rozhraní.
Vytvořili jsme tzv. režim soustředění, ve kterém mohou uživatelé řešit připomínky z nevyřízených položek jednu po druhé, aniž by je to rušilo. Navrhli jsme zároveň dark mode aplikace, který pomůže snížit namáhání očí uživatelů pracujících při slabém osvětlení.
Zkušenosti uživatelů
Přehledné klientské rozhraní
Lepší zákaznická zkušenost
Nová aplikace zároveň obsahuje i přehledné klientské rozhraní, ve kterém si klient může prohlížet statistiky zpracování komentářů nebo samotné vyřešené komentáře a v případě potřeby změnit rozhodnutí
Testování použitelnosti
Testování a iterace
Po navržení rozhraní jsme provedli i testování použitelnosti, které nám pomohlo lépe strukturovat informace na kartě komentářů a ukázalo se, že uživatelé řeší komentáře rychleji v režimu soustředění, a to i díky podpoře klávesových zkratek.
![](/_next/image?url=https%3A%2F%2Fgoodrequest-web.s3.eu-central-1.amazonaws.com%2Ftesting_Elvai_fe85e21be9.jpg&w=3840&q=75)
Development
Vytváření AI řešení
Při moderování diskusí se jedná primárně o zpracování textu. Této problematice se věnuje NLP (Natural Language Processing). NLP patří pod tzv. “Weak AI” a je to druh AI, mezi které patří například i známý ChatGPT.
Při hledání vhodného modelu jsme se podívali na to, který z dostupných má dobré výsledky při klasifikaci textu ve více jazycích. Vzhledem k tomu, že Elv.ai v současnosti obsluhuje více jazyků a zároveň plánuje v budoucnosti expandovat na další zahraniční trhy a přidat podporu nových jazyků, je vícejazyčný model opravdu rozhodující.
![](/_next/image?url=https%3A%2F%2Fgoodrequest-web.s3.eu-central-1.amazonaws.com%2FAi_riesenie_Elvai_cs_cdfd511deb.png&w=3840&q=75)
Data
Při trénování AI modelu jsme použili komentáře získané z profilů klientů na sociálních sítích za jeden rok. AI model rozhoduje, zda komentář schválit nebo skrýt problematické, které tvoří 25–30 % všech komentářů.
Zároveň je velmi důležité vždy s dostatečnou přesností vyhodnocovat komentáře. Proto bylo při vytváření datasetu důležité zajistit, aby byl vyvážený, tzn. obsahoval stejné zastoupení obou tříd. Vzhledem k tomu, že vzorek souboru údajů byl dostatečně velký, rozhodli jsme se pro první verzi modelu provést tzv. downsampling nad převažující kategorií.
Spolupráce elfů a umělé inteligence
Integrace AI do moderování komentářů
Původně komentáře na sociálních sítích klientů Elv.ai moderovali jen “elfové”. Lidský moderátor však během své pracovní doby nestíhal procházet dostatek komentářů. Při integraci umělé inteligence do tohoto procesu jsme přemýšleli, jak nastavit nový systém tak, aby umělá inteligence mohla elfům co nejvíce pomáhat a zároveň jsme mohli zaručit kvalitu rozhodnutí. Jsme přesvědčeni, že zachování lidí v celém procesu je klíčové. Díky nim dokážeme individuálně posuzovat situace a nejednoznačné komentáře, přičemž zohledňujeme skutečný kontext příspěvku a samotný komentář.
Elfové zároveň provádějí náhodné kontroly v systému. Na každé službě kontroloři prověřují rozhodnutí AI a systém jim sám doporučí vzorek komentářů, které mají zkontrolovat. Pomocí tohoto procesu můžeme monitorovat kvalitu během celého procesu a zasáhnout, pokud vidíme, že se snižuje.
Ochrana elfů
Využití umělé inteligence k filtrování komentářů
Rozhodli jsme se, že AI by měla elfy oprostit od nejhorších komentářů, protože jsme je chtěli chránit před toxickým obsahem. Zároveň můžeme pomocí AI odfiltrovat i komentáře, které jsou jednoznačně v pořádku. Takže jsme na elfy přesunuli komentáře, při kterých si AI nebyla dostatečně jistá při jejich zařazení do jedné ze skupin.
Zkušenosti uživatelů
Efektivní cloudové řešení
Optimalizace infrastruktury pro škálovatelnost aplikace
Velkou výzvou pro nás bylo samotné nastavení infrastruktury. Modely, které používáme, jsou poměrně velké a jejich načítání trvá určitý čas. Proto jsme přemýšleli, jak navrhnout infrastrukturu, aby byla snadno škálovatelná v případě zvýšené návštěvnosti a zároveň nevyžadovala zbytečně velké provozní náklady. Provedli jsme průzkum u několika poskytovatelů cloudových služeb a nakonec jsme se rozhodli pro AWS. Zde jsme se pokusili celou infrastrukturu nastavit, spustit a otestovat. Celý systém se skládá z několika menších aplikací a všechny se musí v případě potřeby škálovat nahoru nebo dolů.
Největší výzvou bylo najít vhodnou instanci GPU a spustit na ní aplikaci. Náš DevOps tým měl s tímto nastavením mnoho práce, ale nakonec jsme celý systém úspěšně spustili a provedli zátěžové testy. Aplikace obvykle zpracovává 45 tisíc komentářů za den. Na nové infrastruktuře se nám podařilo zpracovat 45 tisíc komentářů za 15 minut, přičemž náklady na provoz byly přibližně o 30 % nižší než na původní.
Výsledky a dopad
Zlepšení rychlosti a efektivity moderování pomocí AI
Elv.ai přináší řešení:
80%
Lepší konzistence
4x
Rychlejší moderování
2x
Vyšší přesnost
Spolupráce nekončí
Budoucí kroky a rozvoj
Dlouhodobým cílem je vyvinout kvalitní produkt. I když první iterace přinesly skutečně stabilní a efektivní řešení, je důležité neustále měřit a zlepšovat jeho kvalitu. Společnost v současnosti expanduje na nové trhy a součástí vstupu na nový trh je doladění existujícího modelu, aby lépe rozuměl jazyku a doméně. Zároveň je důležité pravidelně přidávat do modelu nové příklady z existujících jazyků, aby lépe rozuměl novým kontextům a situacím.
Kromě odstraňování nevhodného obsahu považujeme za nezbytné, aby naši klienti znali své publikum a efektivně s ním pracovali. Proto do aplikace postupně přidáváme další funkce, které slouží k tomuto účelu. První z nich je například možnost automatizovat odpovídání na komentáře přímo z aplikace nebo přidání odpovědi na komentář.