Boj proti nenávisti a dezinformacím: Elv.ai s pomocí AI moderuje obsah na sociálních sítích a webech

S jeho spoluzakladatelem a ředitelem Jakubem Šusterem jsme se bavili o tom, jak moderování obsahu přesně funguje, jaké má výsledky, jak se on sám staví k obviňování, že jeho firma svou činností omezuje svobodu slova a také o toxickém prostředí v online prostoru vůbec.

Obsah videa

Odkaz se otevře v novém okně na příslušném místě.

• 00:48 – Jak Elv.ai moderuje obsah v online prostoru
• 10:27 – Skrývat nebo mazat?
• 16:54 – Regulace sociálních sítí, riziko omezování svobody slova
• 29:11 – Příběh Elv.ai, vývoj modelu a koordinace AI s lidskými moderátory
• 40:49 – Elv.ai v zahraničí

Zpět na začátek

To nejdůležitější, co v rozhovoru zaznělo

Nenávistné komentáře, dezinformace i vulgarismy jsou bohužel nedílnou součástí prostředí sociálních sítí a negativně ovlivňují veřejnou diskuzi. Slovenská společnost Elv.ai se zaměřuje na jejich vyhodnocování a moderování komentářů pod příspěvky na sociálních sítích i na webech.  

Jejími zákazníky jsou firmy, média i veřejné instituce, které se potýkají s velkým objemem komentářů, které není v lidských silách vyhodnocovat. 

Elv.ai přišel s kombinací umělé inteligence a lidských moderátorů. Právě umělá inteligence dokáže na základě dat a předpokladů vyhodnotit komentář: pokud je v pořádku, schválí jej, pokud obsahuje něco nevhodného, skryje ho nebo smaže. Velkou výhodou je i to, že AI dokáže pracovat nepřetržitě 24/7. 

„V případě, že si není jistá na více než devadesát pět procent, jde komentář k posouzení lidskému moderátorovi, který rozhodne, ohodnotí data, a následně na základě těchto dat model dále trénujeme, aby byl přesnější a ještě lepší,“ říká Jakub Šuster. 

Jaký obsah je v pořádku a jaký už neprojde? 

Elv.ai učí umělou inteligenci rozpoznávat komentáře obsahující vulgarismy, expresivní slova, nadávky, výzvy k násilí, dezinformace nebo zprávy typu „klikněte sem, váš účet bude zablokován“ apod.  

Jak zdůrazňuje Jakub Šuster, od samého začátku mají ve firmě pravidlo, že pokud si s příspěvkem „na hraně“ není jistý vedle AI ani člověk, komentář vždy nechávají a neskrývají jej, ani nemažou. Sami klienti mají možnost skryté komentáře znovu zobrazit, pokud jej považují za vhodné. 

Vliv moderování komentářů na toxicitu prostředí sociálních sítí 

K jednotlivým mediím přistupují v Elv.ai různě. Zatímco na webech klientů nevhodné komentáře častěji rovnou mažou, na sociálních sítích je skrývají. „Na začátku fungování projektu jsme si všimli, že pokud se komentáře mazaly, vyvolalo to další vlnu nenávisti, což situaci na sociálních sítích ještě eskalovalo,“ zdůvodňuje toto rozhodnutí Jakub Šuster. 

V rozhovoru v této souvislosti zmiňuje výzkum kolumbijské univerzity, který zjistil, že v případě skrývání komentářů na Facebooku klesla toxicita diskuze přibližně o 35 procent, na Twitteru kolem 20 procent. Skryté komentáře totiž i nadále vidí ti, kteří je viděli před skrytím i jeho autor. Už ale dál nedostává lajky a pochvalné související komentáře, což vede ke zklidnění diskuze. 

Kdo je tady cenzor? 

Do budoucna je však možné, že autoři skrytých komentářů budou muset být o této skutečnosti informováni. Zatím ale tato politika neplatí.  

Za zásadní postoj vnímá absolutní transparentnost firmy a rozhodnutí, aby mohl každý vyjádřit svůj politický názor, pokud je sdělen slušně bez vulgarit. „To, co děláme, slouží vyššímu a pozitivnímu cíli – bezpečné diskusi v online prostoru pro všechny,“ zdůrazňuje. 

Jakub Šuster je přesvědčen, že práci, kterou Elv.ai v současnosti dělá, by měla být součástí činnosti samotných sociálních sítí: „To, co teď řešíme, jsou důsledky absence regulace sociálních sítí, ať už ze strany států, nebo nadnárodních společenství. Dlouho se nekladl důraz na to, že sociální sítě už nejsou jen prostředkem pro sdílení fotek z dovolené, kočiček a psíků, ale pro velkou část populace se staly hlavním zdrojem informací.“ 

Připomíná také, že Evropská unie přišla s určitou legislativou a snahou nastavit mantinely až po přibližně dvanácti až čtrnácti letech, co sociální sítě kolem roku 2008 zažívaly boom. Konkrétně má na mysli Digital Service Act, který vešel v platnost v roce 2024. 

S kritikou, že obsah cenzurují, si velkou hlavu nedělá. Svoboda slova je jednou ze základních demokratických svobod, což ale podle něj neznamená, že je neomezená. „Jedna věc je vyjádřit nesouhlas, že se mi něco nelíbí. Druhá věc je, když někoho posílám do plynu nebo mu přeji smrt. To musí mít určité limity,“ upozorňuje Jakub Šuster. 

Velké mezery vidí také v digitální a mediální gramotnosti napříč celou společností, přístupu ke kritickému myšlení a s tím souvisejícím ověřováním faktů. 

Vznik projektu a přesah do zahraničí 

Projekt, na jehož základech Elv.ai vznikl, se datuje období, kdy Rusko napadlo Ukrajinu v roce 2022, kdy se na Slovensku objevovaly toxické komentáře pod příspěvky medií. Prvním klientem se staly Aktuality, následovala další média. 

Zprvu komentáře procházelo sedm lidí, po čtyřech měsících jich bylo 47, ale počet komentářů stále narůstal. V tu dobu zapojili do týmu vývojáře a začali proces automatizovat. Na konci roku 2022 tak s týmem 13 lidí zvládali vyhodnocovat půl milionu komentářů. Prošli transformací, získali investora a z prvotního projektu se stal byznys. 

V současnosti startup pracuje na projektech v Polsku, Velké Británii a USA. Vedle moderace obsahu a ochrany před toxickým obsahem se zaměřují na podporu pozitivní diskuze pod příspěvky a interakci s publikem. 

Jak vyhodnocovat emocionální pocity lidí? A jaká je v této oblasti ve světě konkurence? Podívejte se na celý rozhovor. 

Zpět na začátek

Přepis rozhovoru Martina Ziky s Jakubem Šusterem

Martin Zika: Naším hostem ve studiu je dnes Jakub Šuster, zakladatel a ředitel startupu Elv.ai. Vítám vás, dobrý den. 

Jakub Šuster: Děkuji za pozvání.  

MZ: Kdybyste měl stručně popsat, čím se zabýváte, jak byste to formuloval? Vaše řešení, nebo bychom měli říci technologie, se zaměřuje na boj proti nenávisti a nenávistným komentářům na sociálních sítích a možná i na internetu obecně. Můžete nám podrobněji vysvětlit, co přesně děláte? Jakým způsobem toho dosahujete? 

JŠ: Určitě ano, popsal jste to velmi přesně. To je naše mise, kterou jsme si stanovili – boj proti nenávisti a dezinformacím. Přistupujeme k tomu tak, že se snažíme moderovat a vyhodnocovat komentáře pod příspěvky na sociálních sítích, ale také na webech. To znamená, že procházíme jednotlivé komentáře, ale jde o kombinaci umělé inteligence a lidských moderátorů. Snažíme se vyhodnocovat ty, které jsou nenávistné, šíří dezinformace, obsahují vulgarismy nebo jiným způsobem negativně ovlivňují veřejnou diskusi v online prostoru. 

MZ: Říkáte sociální sítě a internet, tzn. jaké sociální sítě a jaké webové stránky? 

JŠ: Je to velmi jednoduché, klasicky se jedná o sociální sítě společnosti Meta, tedy Facebook a Instagram. Dokážeme pokrýt také YouTube nebo diskusní plugin Disqus. Zároveň jsme schopni naše řešení připojit přes jakékoli API i na webové stránky, ať už jde o zpravodajské weby, e-shopy nebo stránky jiných provozovatelů. 

MZ: Čili, funguje to tak, že si u vás zadavatel objedná tuto službu a vy de facto moderujete diskusi, která probíhá buď na jeho webových stránkách, nebo na jeho profilu na sociálních sítích?

JŠ: Je to přesně tak, a to právě z toho důvodu, že velké firmy, především média a veřejné instituce, se potýkají s obrovským množstvím komentářů. Není v lidských silách, aby člověk všechny tyto komentáře procházel jeden po druhém a vyhodnocoval. Právě proto je kombinace umělé inteligence a lidských moderátorů efektivnější a zároveň přesnější, než moderátoři samotní, což ukazují i naše data. 

MZ: Jak to tedy přesně funguje? Znamená to, že naučíte umělou inteligenci podle určitých kritérií vyhledávat tzv. toxické komentáře? A ona je sama smaže, nebo…? 

JŠ: Je to přesně tak. V rychlosti vysvětlím ten proces, aby si to lidé dokázali snadněji představit. Máme nějakou integraci a k nám do systému proudí komentáře ze sociálních sítí, webů atd. V prvním kroku se na ně podívá umělá inteligence, která je natrénovaná na základě historických dat a určitých předpokladů, které jsme do ní vložili. Umělá inteligence vyhodnocuje, zda komentář splňuje, nebo nesplňuje kritéria toxicity či vulgarity.

Pokud si je jistá na více než devadesát pět procent, provede akci sama – buď komentář schválí jako v pořádku, nebo ho skryje či smaže, pokud obsahuje něco nevhodného. V případě, že si není jistá na více než devadesát pět procent, jde komentář k posouzení lidskému moderátorovi, který rozhodne, ohodnotí data, a následně na základě těchto dat model dále trénujeme, aby byl přesnější a ještě lepší. 

Díky tomu jsme schopní nepřetržitě 24/7 filtrovat to nejhorší, nejtoxičtější obsah, a zároveň máme jasně stanovená pravidla pro to, kde je ta šedá zóna, a kde to musí vidět člověk. A to rozhodnutí musí udělat, protože operujeme v oblasti, která je velmi citlivá, zejména v kontextu svobody slova. Naši klienti, kterými jsou především média a veřejné instituce, na to kladou velký důraz. Právě tady narážíme na limity umělé inteligence, která může dělat chybné rozhodnutí (tzv. falešně pozitivní nebo falešně negativní hodnocení).

V šedé zóně, kde si umělá inteligence není jistá více než na šedesát procent, je nutné, aby rozhodnutí udělal člověk. Abychom předešli chybným rozhodnutím vedoucím k nechtěné cenzuře, nastavili jsme systém tak, že pokud si umělá inteligence není stoprocentně jistá (tj. její odhad je mezi devadesáti a devadesáti pěti procenty), posílá komentář na posouzení lidskému týmu. Tím zajistíme, že se minimalizují chyby v rozhodování a že nedochází k tomu falešně pozitivnímu nebo falešně negativnímu hodnocení. 

MZ: Teď si nejsem úplně jistý, že jsem dobře rozuměl. Říkal jste, že umělá inteligence při rozhodování si je jistá zhruba na devadesát procent, ale zároveň jste říkal, chápu to tak, že nejen těch deset procent jde na ten lidský faktor, ale že ti lidé asi toho kontrolují víc, tedy? 

JŠ: Určitě ano. Lidé kontrolují jednak ta rozhodnutí nebo komentáře, kde si umělá inteligence není jistá na více než 95 procent, to je jedna věc. Druhá věc je, že komentáře, které umělá inteligence nějakým způsobem nedokáže vyhodnotit, protože nikdy nic podobného neviděla, jdou automaticky na posouzení lidem.

Navíc lidé také provádějí zpětnou kontrolu rozhodnutí, která učinila umělá inteligence, a zároveň kontrolují případy, kdy se predikce umělé inteligence a lidský zásah neshodovaly. To jsou pro nás velmi důležitá data, která nám pomáhají zlepšovat naše modely. 

MZ: Jakým způsobem se umělá inteligence učí vyhledávat tzv. „toxické“ nebo ty příspěvky, které by měla skrýt nebo smazat? Předpokládám, že máte stanovená nějaká kritéria, asi poměrně jasná. Jak to funguje?

JŠ: Určitě, jsou to vlastně dvě věci, které je potřeba k tomuto říct. První je, že kritéria jsou poměrně jasná v tom, že pokud komentář obsahuje nějakou formu vulgarity, tedy expresivní slova, nadávky, výzvy k násilí, nebo obsahuje podloženou dezinformaci, která byla někým fakt-checkována a prokazatelně je nepravdivá, nebo se jedná o zprávy typu „klikněte sem, váš účet bude zablokován“ či „jsem perský princ, který potřebuje pomoc“ atd., tak to je jedna věc.

Druhá důležitá věc je, že se učíme z dat, která přicházejí ze sociálních sítí. To znamená, že jsme schopni mít silný základ, ale zároveň díky modelům, které jsme nastavili kombinací síly umělé inteligence a lidského rozumu, jsme schopni reagovat i na nečekané společenské události. Ať už jde o nový dezinformační narativ, nebo nečekanou událost, jako byl například teroristický útok v Praze nebo útok na premiéra Fica, dokážeme rychle zareagovat a označit tato data pro nový model. 

MZ: Myslím si, že ty hranice nejsou úplně jasné. Stává se vám někdy, že vás někdo obviní z toho, že jste skryli nebo smazali něco, co podle jeho názoru nepatří do té kategorie, kterou jste vyjmenovali? 

JŠ: Určitě ano. To, co je potřeba říct hned na začátku, je, že máme od samého počátku fungování projektu jedno velmi důležité pravidlo – pokud je komentář „na hraně“ a ani člověk si není jistý, zda by měl být skrytý, smazaný nebo ponechaný, vždy zůstane. A to proto, abychom předešli tomu, kdy by jeden člověk považoval komentář za nevhodný a skrytý, zatímco druhý by ho vnímal jako v pořádku. To je první věc.

Druhá věc je, že naši klienti v našem systému mohou vidět tato rozhodnutí a mají možnost je kdykoliv zvrátit. To znamená, že pokud bylo skryto něco, co by nemělo být, a klient to považuje za vhodné, může tuto akci kdykoliv vrátit zpět. 

Pokud vás zajímá, jaké v Česku existují pozoruhodné inovativní firmy, pak vám v orientaci pomůžou naše rozhovory. Před časem jsme se například zaměřili na špičkové zdravotnické technologie. Povídali jsme s Janou Trdou, ředitelkou společnosti VR Vitalis, o její inovativní aplikaci, která ve spojení s brýlemi na virtuální realitu umožňuje provádět rehabilitace na dálku. Také si můžete poslechnout rozhovor s Lukášem Doskočilem, ředitelem firmy Stimvia, jejíž unikátní přístroj umí pomocí stimulace nejhlubších mozkových struktur opravovat příslušné dráhy centrální nervové soustavy, a to vůbec poprvé neinvazivní metodou. To by měl významně zlepšit život lidem trpícím vážnými chorobami, jako je například tzv. hyperaktivní močový měchýř. 

MZ: Je to tedy tak, že to vaše řešení komentáře maže nebo skrývá? Jak to funguje? 

JŠ: Záleží samozřejmě na platformě a technických specifikacích. Na sociálních sítích preferujeme skrývání, zatímco na webech se většinou jedná o mazání. Má to dva důvody. Prvním důvodem je, že jsme si na začátku fungování projektu všimli, že pokud se komentáře mazaly, vyvolalo to další vlnu nenávisti, což situaci na sociálních sítích ještě eskalovalo. Následně jsme tedy začali upřednostňovat skrývání.

Shodou okolností, přibližně půl roku poté, co jsme s tímto přístupem začali, vyšel výzkum univerzity v Kolumbii, který testoval, jaký vliv má skrývání komentářů na chování uživatelů. A zajímavým zjištěním bylo, že pokud se komentáře skrývaly, toxicita diskuse na Facebooku klesla o přibližně třicet pět procent a na Twitteru, pokud se nemýlím, o zhruba dvacet procent. A teď je samozřejmě na místě otázka, proč tomu tak je. 

Vysvětlení, které tato studie přináší, je, že když komentáře skrýváte, existuje rozdíl oproti jejich mazání. Když komentář smažete, nevidí ho nikdo – ani ten, kdo ho napsal, ani administrátor, a tato akce je nezvratná. Když ale komentář skryjete, ten, kdo ho napsal, ho stále vidí, stejně tak lidé, kteří ho viděli do té doby, a skrytí lze zpětně zvrátit. Podstatné je, že skrýváním komentářů omezujete jejich dosah, což znamená, že se toxický komentář nebude šířit dál. Autor komentáře pak nedostává zpětnou vazbu ve formě lajků, srdíček nebo pochvalných komentářů typu: „No tak si mu to teda ukázal. Dobře si mu to řekl.“ 

A tím pádem nedostane ten dopamin z toho, že mu lidé lajkují komentář a říkají, že je to super. To se nabízí jako vysvětlení, proč lidé přestávají být tak toxičtí a diskuse se mění k lepšímu. Začnou volit jiný jazyk v diskusi. 

MZ: Je to tak, že ten člověk, který napíše takový komentář, tak dostane nějaké upozornění, že ten příspěvek byl skrytý? 

JŠ: Aktuálně ne, ale uvidíme, jak se bude celá tato situace vyvíjet v kontextu nové regulace AI Act. Podle ní musíte lidi informovat, že jejich obsah byl vyhodnocen umělou inteligencí, a pokud byl skryt nebo smazán, měli by dostat notifikaci. V současnosti sociální sítě takovou možnost nenabízejí, ale na webech je možné tuto funkcionalitu customizovat. Jsme na to připraveni a jakmile bude úplně jasné, jak regulace vypadá a jak má fungovat, rádi se tomu přizpůsobíme. 

MZ: Už jste to naznačil, ale kdo jsou vaši hlavní klienti? 

JŠ: Našimi hlavními klienty jsou média a veřejné instituce na Slovensku, v Česku i v zahraničí. Zároveň nyní vidíme, že naše služby mohou využívat i klienti z oblasti e-commerce. Tam je to velmi relevantní, protože například na sociálních sítích máte zapnuté reklamy na produkty, a někdo začne vulgárně komentovat, proč se mu reklama zobrazuje. To může rozproudit vlnu nenávisti, která není o kvalitě produktu, ale jen o urážení. Právě v tomto nyní testujeme řešení s jedním velkým klientem v Česku, abychom jim pomohli v oblasti e-commerce. 

MZ: Z určitého úhlu pohledu se dá říct, že to, co děláte vy, by do značné míry měly dělat ty sociální sítě. Jak se k tomu staví? 

JŠ: Jednoznačně, řekněme si to úplně otevřeně. To, co teď řešíme, jsou důsledky absence regulace sociálních sítí, ať už ze strany států, nebo nadnárodních společenství. Dlouho se nekladl důraz na to, že sociální sítě už nejsou jen prostředkem pro sdílení fotek z dovolené, kočiček a psíků, ale pro velkou část populace se staly hlavním zdrojem informací. To vytváří úplně jiný prostor a měly by být vnímány jinak. To je první věc.

Druhá věc je úroveň diskuse – nenávist, vulgarity nebo dezinformace jsou důsledkem určitých příčin. Kdyby sociální sítě, státy a další aktéři řešili tyto příčiny, neseděli bychom tu dnes a neřešili jsme tady to, co děláme. Snažíme se dohnat to, co měli dělat jiní – ať už sociální sítě nebo státy. 

MZ: To názorové spektrum a to, co s tím udělat, je poměrně široké. Nestává se vám, že býváte označováni za cenzory? 

JŠ: Od prvního dne, co jsme spustili projekt. Takže to je… 

MZ: Jak na to reagujete? 

JŠ: Jsme absolutně transparentní v tom, co děláme. To je věc číslo jedna. Druhá věc je, že od samého začátku fungování projektu máme zásadu, že nikdy nikdo nebude skryt nebo smazán za to, že vyjádřil svůj politický názor, ať se nám to líbí nebo ne. Základní pravidlo je, že pokud je politický názor vyjádřen slušně, bez vulgarismů, dezinformací a výhrůžek, musí zůstat.

To je někdy náročné, ale nezbytné, abychom mohli otevřeně mluvit o tom, co děláme, a abychom se mohli sami sobě podívat do zrcadla. To, co děláme, slouží vyššímu a pozitivnímu cíli – bezpečné diskusi v online prostoru pro všechny. Je jedno, zda souhlasím s vaším politickým názorem nebo ne, ale v demokratické společnosti máte právo ho vyjádřit slušně a bez obav, že vám někdo bude přát smrt nebo vás posílat do plynu. 

MZ: Mluvil jste o tom, že svým způsobem řešíte důsledky něčeho neřešeného. Jak by to podle vás mělo být ideálně vyřešeno nebo nastaveno? 

JŠ: To je velmi komplexní otázka, ale pokusím se to shrnout. První věc je regulační rámec, což je velmi důležité. 

Sociální sítě tu nejsou poslední rok nebo dva, jejich boom vidíme minimálně od roku 2008. Trvalo nám téměř dvanáct až čtrnáct let, než Evropská unie přišla s nějakou legislativou, která se snaží toto prostředí regulovat a nastavit mantinely. 

Konkrétně je to Digital Services Act, který vešel v platnost letos, to je věc číslo jedna. Druhý, mnohem složitější a běh na dlouhou trať, je ale společenský problém – edukace lidí a aktérů o tom, jak přistupovat k informacím a diskusi. To zahrnuje digitální a mediální gramotnost, kritické myšlení a ověřování faktů.

Co mě občas trochu děsí, je, že tyto věci jsou u nás velmi podceňované a neklade se na ně dostatečný důraz. Zeptejte se sami sebe, svých dětí nebo vnoučat, co se učí ve škole – jak se učí kriticky myslet, vyhodnocovat informace a co vědí o médiích. 

MZ: To jsou věci, které by měly být součástí základního vzdělávaní od nejnižších stupňů. 

JŠ: Jednoznačně. Je to přesně o tom, jak se vyvíjí společnost a společenské narativy, vyvíjejí se i technologie. A to je třeba něco, co se nyní hodně diskutuje, a je dobře, že se o tom mluví, je umělá inteligence jako taková. U sociálních sítí jsme trochu zaspali dobu a teď se snažíme řešit jejich negativní důsledky pomocí regulace. Uvidíme, jak se nám to podaří.

Na druhou stranu umělá inteligence transformuje naše každodenní životy způsobem, jaký jsme si před pár lety nedokázali představit. Obávám se, že pokud to nebudeme řešit – a je dobře, že řešíme AI Act – mohli bychom mít mnohem větší problémy s řešením negativních důsledků. Otázka je, co by to mohlo způsobit, kdybychom to neřešili.

MZ: Pokud se vrátíme o krok zpět na úroveň sociálních sítí a internetu, co by tam mělo být jinak než nyní z vašeho pohledu? Měly by platformy skutečně řešit tyto věci, co dnes děláte vy? Jak by to podle vás mělo vypadat?

JŠ: Určitě, jednoznačně. Můžeme to přirovnat ke klasickým médiím. Když se podíváte na mediální trh a to, co média v naší společnosti musí splňovat, například vyváženost a další pravidla, a jak je přistupováno k regulaci, proč by to samé nemělo platit pro sociální sítě, které se stávají hlavním zdrojem informací pro většinu lidí? Pro mě je to úplně bez debat, nemůžeme se tvářit jinak.

I když se sociální sítě rády tváří, že jen řeší obrázky kočiček a psíků, a že chtějí, aby si lidé mezi sebou psali, to už dávno není pravda. Musíme si přiznat, jakou roli dnes sociální sítě hrají. Každý z nás si to může vyhodnotit sám – jak velkou úlohu hrají sociální sítě v jeho životě. Statistiky jasně ukazují, že většina lidí vstává a uléhá s telefonem před očima. To je jasný signál toho, jak důležité jsou tyto technologie a jak významnou roli hrají v našich každodenních životech.

MZ: A vy sám tipujete, že se toto může stát, že se to někdy změní? Vzhledem k tomu, že ty firmy jsou dneska opravdoví giganti, je možné, že svou tržní silou a významem převálcují jakékoliv snahy o regulaci. 

JŠ: To je velmi dobrá otázka a uvidíme to podle mě v následujících měsících, kdy v Evropské unii dojde k implementaci Digital Services Act. Digital Services Act je zajímavý tím, že velkým platformám nebude udělovat pokuty v nominální výši, jako třeba 10 milionů eur, ale bude pracovat s procenty z jejich obratů.

A pokud máte obraty v řádu stovek milionů, už to jsou věci, které už budou muset řešit a nestojí nám to za náklady na právníka, na pokuty apod. To je dobrý směr, jakým státy Evropské unie upozorňují na to, co je pro ně podstatné a co chcete, aby se řešilo. Vnímám to velmi pozitivně. Uvidíme, jak dopadnou první audity Evropské komise a jak na to budou reagovat sociální sítě. 

MZ: Zajímalo by mě, jak se díváte na hlasy, které tvrdí, že jakékoliv snahy o regulaci nebo zásahy proti nenávistnému obsahu a dezinformacím jsou porušením svobody slova a označují to za cenzuru. Jak se na to díváte? Někteří lidé, kteří jsou extrémně liberální, ale opravdu mluví o tom, že hrozí nebezpečí, že postupnými, nenápadnými kroky se budou utahovat šrouby, až to povede k cenzuře a k totalitní společnosti. 

JŠ: Určitě je to velmi dobrá otázka. Původně jsem vystudoval politologii, takže bychom mohli jít do velkého detailu o autoritářských a totalitních režimech. Ale abych to zkrátil a zjednodušil – ano, základní svobody, na kterých stojí demokracie, a svoboda slova je jednou z nich, jsou velmi důležité. Na druhou stranu, tyto svobody nejsou neomezené. Jedna věc je vyjádřit nesouhlas, že se mi něco nelíbí.

Druhá věc je, když někoho posílám do plynu nebo mu přeji smrt. To musí mít určité limity. Stejně jako nemáte absolutní svobodu jít ven a někoho zmlátit nebo zastřelit. Jsou tu nějaké zákony. A to samé by mělo platit i v online světě, že pravidla a zákony jsou vynucovány. To je jedna věc.  

Druhá věc, a teď trochu politologické okénko, je, že nevýhoda demokracie je, že se můžete svobodně přehlasovat do totality. Už se nám to stalo a máme i evropskou zkušenost, kdy k tomu došlo. Myslím, že je na nás, abychom o demokracii pečovali a starali se o to, aby se nestalo, že se jednoho dne probudíme a buď tu budou tanky, nebo naši vlastní představitelé nám omezí svobodu slova. Najednou volební právo nebude skutečné, ale jen naoko, jen hra.

Tak to vnímám já. Neříkám, že je to jediné správné vysvětlení, ale z mého pohledu, pokud se nebudeme starat o demokracii a hodnoty a nebudeme důsledně přemýšlet o důsledcích našich činů, může se nám snadno stát, že se vzbudíme a budeme čelit následkům, které jsme nezamýšleli. 

MZ: My to dnes pravděpodobně můžeme už vnímat na výsledcích různých voleb, ten vliv dezinformací atd., ale toto je určitě téma na samostatný podcast. Možná by bylo fajn si říct, jak ten projekt začal. Jak vás to napadlo a jak to vzniklo? 

JŠ: Celá aktivita původně začala poté, co Rusko napadlo Ukrajinu v roce 2022. V té době byl projekt ještě součástí komunikační agentury, kde jsem pracoval já i naši spoluzakladatelé. Říkali jsme si, že komunikační agentury dělají kampaně na podporu, ať už utečenců nebo ukrajinské strany, a celkově šíří pozitivní povědomí. My jsme si ale řekli, že místo podobné kampaně, jejíž výsledky se těžko vyhodnocují, můžeme řešit reálný problém. Identifikovali jsme, že tím problémem jsou toxické komentáře pod příspěvky médií na Slovensku. 

V té době za námi přišel Milan Dubec, jeden z našich otců zakladatelů, a řekl, že to chce řešit a že bychom to mohli vyzkoušet na prvním klientovi – Aktualitách. Tak jsme začali. Úplně jednoduše, když jsme přemýšleli, jak to řešit, řekli jsme si, že najdeme lidi, kteří budou procházet komentář po komentáři. A když najdou něco špatného, prostě na to kliknou. 

To byla velmi dobrá myšlenka, ale po pár měsících jsme zjistili, že je těžko škálovatelná. Když se ostatní média dozvěděla, že Aktuality něco takového mají, přišla další média. Z těch sedmi lidí, se kterými jsme začínali, jich po čtyřech měsících nebylo sedm, ale 47, a místo pár desítek tisíc komentářů měsíčně jsme najednou řešili čtvrt milionu.

Pochopili jsme, že tato aktivita, která byla mimochodem CSR aktivitou, kde jsme negenerovali zisk – média platila jen lidi, kteří procházeli komentáře – nebyla škálovatelná. Média stále chtěla víc a zároveň nám to bralo obrovské množství času. Původní myšlenka byla, že to budeme dělat při práci, na kávě, večer a o víkendu, ale řídit 47 lidí a několik klientů už takto nešlo. 

V té době jsme se spojili s naším prvním vývojářem, který řekl, že potřebujeme automatizaci a umělá inteligence je ten způsob. Řekli jsme si, že za vyzkoušení nic nedáme. Natrénovali jsme první model, otestovali ho a nasadili do ostrého provozu. Zjistili jsme, že to funguje a velmi to ulehčuje práci moderátorům, protože nemusí procházet ty nejhorší komentáře, ale zároveň mají velký dohled na to, aby byla diskuse kvalitně moderovaná. Tak jsme si uvědomili, že to má smysl, a že když jsme schopní velkou část práce automatizovat, nebudeme potřebovat tolik lidí a zvládneme toho mnohem víc.

Na konci roku 2022 jsme řešili zhruba půl milionu komentářů s pouhými 13 lidmi. V tu chvíli jsme si řekli, že to má i obchodní potenciál. Měli jsme dvě možnosti: buď to zabalit, protože to zabíralo hodně času a energie, vytvořit pěknou case study a říct si, že naše práce je hotová. Nebo projekt oddělit, přejmenovat, získat investora a začít ho škálovat jako byznys. Rozhodli jsme se jít do toho a od roku 2023 jsme prošli transformací, oddělením projektu, získáváním investorů a následně další expanzí. 

MZ: Jak se vám dařilo s hledáním investora, rozvojem a samotným programováním aplikace? A jak funguje trénování umělé inteligence? Je to víc otázek, ale pojďme se tomu věnovat. 

JŠ: Určitě, začněme investory. Pro nás bylo přirozené oslovit Milana Dubce, který je na Slovensku známý jako investor a zakladatel úspěšných mediálních společností. Naše první kroky vedly k němu a řekli jsme: „Ty jsi byl u zrodu myšlenky, pojďme to posunout dál. Půjdeš do toho s námi?“ Řekl jasně, a tak se stal naším andělským investorem a poskytl nám první finanční prostředky na to, abychom se oddělili a stabilizovali technologii. Bylo to 300 tisíc eur na začátku.

Následně jsme zjistili, že 300 tisíc eur zní jako velký balík peněz – skoro 10 milionů korun – ale když vyvíjíte takovou technologii, která vyžaduje hodně testování a odborné kapacity, zjistíte, že to není tak jednoduché. Takže jsme potřebovali další kapitál, abychom mohli škálovat i do zahraničí. 

MZ: Tohle je zajímavé. Můžete třeba trochu více přiblížit, co všechno zatím je, než vznikne výsledný produkt? 

JŠ: Kde začít? Musíte si nakreslit tok informací, vytvořit checks and balances mezi umělou inteligencí a lidskými moderátory. Zároveň musíte dbát na lidské moderátory, jak jim nastavíte směny, aby to bylo efektivní a aby nebyli přetížení, což je důležitá téma – jejich well-being.

Dále je tu trénování modelu, vytváření frontend a backend aplikace, až po samotnou implementaci. Musíte projít hodnotícím procesem se sociálními sítěmi, abyste se stali ověřenou aplikací. Jak víme, komunikace se sociálními sítěmi je sama o sobě náročná, ale pokud vyvíjíte technologie, které pracují s jejich daty, je to ještě mnohem složitější. Celý proces trval více než půl roku, než projdete všemi koly.

Potom je tu samozřejmě zlepšování samotného modelu. Jedna věc je, že něco funguje, ale objevují se nové informace a události. Zároveň chcete zkoušet další odvětví, protože to, co funguje na zpravodajských médiích, určitě nebude fungovat v e-commerce. Těch věcí je tedy opravdu hodně. 

MZ: Jaký o to byl zájem? Jak na to tvářili vaši potenciální klienti, když jste jim představovali? Asi to pro ně bylo něco nového. 

JŠ: Určitě ano. Zpočátku jsme pozorovali obrovský zájem médií, protože asi nenajdete velká média, která by s tímto problémem nějakým způsobem nezápasila. Problém toxických diskusí byl všude.

Když jsme přišli a řekli, že to řešíme, tak ze začátku byly reakce velmi pozitivní: „Tohle přesně potřebujeme. Konečně někdo, kdo to řeší.“ To bylo skvělé. Druhá věc je, že když jdete do zahraničí nebo do jiného odvětví, je to samozřejmě jiné. Musíte se přizpůsobit a reagovat na konkrétní potřeby klientů. 

Prvotní odezva byla velmi pozitivní, což nás samotné překvapilo. V prvním roce jsme nedělali vůbec žádný prodej, protože klienti a média k nám přicházeli sami. Měli jsme plné ruce práce jen s tím, abychom obsloužili to, co k nám samo přišlo. Samozřejmě to má své limity, a když chcete jít do zahraničí, kde se o tom tolik nepíše nebo nemluví, je to už něco jiného. 

MZ: Pro zajímavost, dokázal byste říct, kolik lidí se podílelo na vývoji aplikace? Jak velký je teď váš tým, jaké funkce tam jsou, co je pro vás důležité? 

JŠ: Určitě. Je to velmi komplexní otázka, protože kombinace umělé inteligence a lidských moderátorů umožnila, aby každý moderátor dával cenné podněty do vývoje. Jsou tu moderátoři, programátoři, ale i další lidé, kteří řeší každodenní operativu, prodej, operations, marketing a podobně.

Začínali jsme jako velmi malý tým, kde jsem byl já, naši spoluzakladatelé a manažerka, která nám pomáhala řídit Elfo. Za dva roky jsme se rozrostli na více než 20 moderátorů a core tým má 10 lidí, tedy aktuálně asi 30 lidí. 

MZ: Abych to upřesnil, zmiňoval jste Elfy – projekt, ze kterého váš startup vznikl. 

JŠ: Přesně tak. Původně, když byl projekt ještě součástí komunikační agentury, se celý projekt jmenoval Elfovia. Bylo to takové mystické nebo i mytologické souboj dobra a zla – elfů a trollů. Naší misí je bojovat proti trollům na internetu a vytvářet bezpečnější prostředí. Proto jsme se spolu s umělou inteligencí transformovali na Elv.ai, kde slovo ‚elf‘ zůstává, ale přidali jsme i umělou inteligenci. 

MZ: Mimochodem, je tam nějaké propojení s Českými elfy? 

JŠ: Ne, není. To byla také jedna z věcí, kterou jsme zvažovali při expanzi do Česka – že by mohlo dojít k nějakému zmatení. I proto přišel rebranding, aby bylo vše jasné a oddělené. 

MZ: Už jste několikrát zmiňoval zahraničí. Jak to dnes vypadá? 

JŠ: Je to úplně jiné než začínat v Čechách nebo na Slovensku, kde máte nějaký network a můžete postupně budovat a škálovat. To, co nám pomáhá, je naše mise jako taková. Když cílíte na B2B segment a větší firmy, je to jiné než u B2C, kde jsou vaši klienti velkou populací.

Zkoušeli jsme různé přístupy k expanzi, a co nám funguje nejlépe, je přítomnost na těch trzích – ať už na konferencích, eventech atd., kde můžete lidi poznat, spojit se s nimi a představit jim, co děláte a můžete si to otestovat. Je totiž velmi těžké expandovat do země, kde o vás nikdy nikdo neslyšel a kde nikoho neznáte. Aktuálně pracujeme na projektech v Polsku a také máme rozjeté věci na západě, ve Velké Británii a v USA. 

MZ: Mluvil jste o tom, že je tam hodně věcí jinak. Můžete uvést příklad? Museli jste něco významně měnit oproti základnímu slovenskému modelu? 

JŠ: Je dobré navázat na otázku, kterou jste položil, a na kterou jsem ještě neodpověděl, ohledně funkcionalit. Jedna věc je moderace obsahu, kde chráníme stránky, média nebo klienty před toxickým obsahem – to je první část. Druhá část je, že nestačí mít jen ochranný štít před toxickým obsahem. Chceme podporovat pozitivní diskusi a pozitivní engagement.

Na základě zpětné vazby od klientů vyvíjíme nové funkcionality právě pro podporu pozitivní diskuse. Vidíme zde tři hlavní pilíře: ochranu a moderaci obsahu, analýzu emocí a sentimentu, a engagement. Engagement zahrnuje funkce pro lepší interakci s publikem, rychlejší a efektivnější odpovědi na komentáře, které umožňují prakticky okamžitě reagovat. 

MZ: Mohl byste to prosím více vysvětlit? Mluvil jste o tom, že pracujete na funkcích, které budou podporovat pozitivní část komunikace. Možná jsem tomu úplně neporozuměl dobře. Mohl byste to prosím vysvětlit ještě jednou? 

JŠ: Určitě, určitě. Vezměme si praktický příklad: máte příspěvek na sociální síti, kde zveřejníte článek nebo příspěvek o nějakém tématu. Rozvine se diskuse, kde část diskutujících nepřišla diskutovat, ale „otrávit“ diskusi. Tito lidé potřebují být nějakým způsobem odfiltrováni.

Pak je tu část lidí, kteří přišli skutečně diskutovat, a chcete s nimi nějakým způsobem interagovat. Protože vám záleží na tom, aby diskutovali, zajímali se a aby bylo možné odpovědět na jejich otázky. Prvním krokem, který musíte udělat abyste pochopili publikum a dokázali s ním efektivně interagovat, je analýza – ať už sentimentu nebo emocí.

Potřebujete zjistit, co si lidé myslí, jak se na téma dívají, jestli je to rozčiluje, překvapuje nebo se těší. Následně chcete interagovat, tedy odpovědět na dotazy, poděkovat nebo vysvětlit nejasnosti. To je klíčové. Zejména pokud máte velkou stránku, kde máte, dejme tomu, pět tisíc komentářů denně, tak je důležité se v tom neztratit, aby to podstatné nezapadlo. 

MZ: Jak to může fungovat prakticky? Znamená to, že to do určité míry dokážete zautomatizovat? 

JŠ: Ano, to je směr, kterým se chceme vydat. Jednak odstranit toxický obsah a zároveň klasifikovat ten, který zůstane, a vyfiltrovat ten, který stojí za odpověď. Klient, který má přístup k aplikaci, pak může odpovědět přímo nebo dostane navrženou odpověď, kterou může použít. 

MZ: Už tomu začínám rozumět i já. To je dobré. Zaujalo mě, že vyhodnocujete –⁠⁠⁠⁠⁠⁠ nevím, jestli to funguje nebo to připravujete –⁠⁠⁠⁠⁠⁠ emocionální pocit lidí, kteří se účastní diskuse. Znamená to, že dokážete zjistit, jaké emoce téma u lidí vyvolává, a tyto informace předáváte klientům. Předpokládám ale, že to neznamená, že by například zpravodajský portál přestal o určitém tématu psát. Spíše se to týká třeba e-shopů nebo podobných oblastí, je to tak? 

JŠ: Ano, přesně tak. Je tu rozdíl mezi komerčními klienty a médii. Pokud jste zpravodajské médium, nemáte moc na výběr, že budete informovat o aktuálních událostech. Co je však zajímavé i pro média, je vyhodnocování sentimentu a emocí ve vztahu k návštěvnosti webu. Mnoho médií má byznys model postavený na tom, že čtenář přijde na stránku, přečte si článek, buď si zaplatí předplatné, nebo vidí reklamy, což generuje část příjmů. Pro média je tedy velmi důležitý provoz ze sociálních sítí kvůli jejich byznys modelu. Zajímavé je pak sledovat metriky návštěvnosti webu a zjistit, které příspěvky přivedly nejvíce uživatelů na web. 

To je pak zajímavé pozorovat. Například můžete vidět na sociálních sítích v business manageru, že máte vysoký engagement u nějakého příspěvku, což ale nemusí nutně znamenat, že lidé šli i na vaši stránku. Třeba byl engagement vysoký, protože emoce ve vztahu k příspěvku byly velmi negativní. Naopak, můžete mít příspěvek s menším počtem interakcí, ale s vyšší mírou pozitivních emocí, což více motivuje uživatele jít na váš web, přečíst si článek a dál interagovat, ať už na webu, nebo na sociálních sítích. Dává to takto smysl? 

MZ: Už tomu rozumím, děkuji. Chtěl jsem se ještě zeptat – když se snažíte uspět v zahraničí, jak to vypadá z pohledu konkurence? Existují na Západě nebo kdekoliv jinde podobné projekty? 

JŠ: Určitě ano. Je třeba říci, že moderace obsahu není úplně nové odvětví. Už zde existují hráči, kteří to dělají. Je důležité říci v kontextu moderace obsahu, že jsou tu dva přístupy. Prvním je úplná automatizace, kde umělá inteligence dělá vše bez lidského zásahu. To se snadněji škáluje a bude to super. Druhým přístupem je kombinace lidských moderátorů a umělé inteligence, kde ano, lidé se hůře škálují, ale umožňují lépe vychytávat mouchy a rychleji reagovat na nové, nečekané situace. To jsou tedy dva přístupy k moderaci obsahu. 

My věříme, že právě kombinace umělé inteligence a lidských moderátorů je nejefektivnější, což potvrzují i výzkumy. Proč? Protože tento přístup umožňuje efektivněji a rychleji trénovat umělou inteligenci. 

Řeknu to úplně jinak – pokud by bylo možné moderaci obsahu stoprocentně automatizovat, sociální sítě by to už dávno dělaly. Praktickým příkladem je Elon Musk a Twitter (X). Když převzal síť, první věc, kterou udělal, bylo propuštění všech moderátorů obsahu. 

K překvapení mnohých, našemu ale moc ne, po pár měsících oznámil, že to úplně nefunguje, a nedá se to úplně automatizovat, že je potřeba najmout v Austinu dalších 100 lidí na moderaci obsahu. Právě v této oblasti se ukazuje, že kombinace lidské práce a automatizace dává největší smysl. 

MZ: Ještě se k tomu vrátím. Jak v zahraničí reagují na váš projekt? Jaký je o to zájem? Jak tam vypadá situace? 

JŠ: Myslím, že velmi pozitivně. Největší bariérou je dostat se k těm nejrelevantnějším klientům, médiím a institucím. Jakmile se k nim dostanete a představíte, co děláte, tak je to velmi zajímá a chtějí to otestovat a nějakým způsobem to funguje. První krok, najít relevantního člověka a domluvit si s ním schůzku, je ale často extrémně obtížný. 

MZ: Předpokládám, že se obracíte především na zahraniční média. Znamená to, že máte problém najít tam někoho, s kým by bylo možné o tom ve firmě mluvit? 

JŠ: Samozřejmě, běžní redaktoři nebo editoři si s vámi popovídají, ale to nejsou lidé s rozhodovací pravomocí, kteří mohou říct: „Ano, jdeme to vyzkoušet, co potřebujete? Povolení na Facebooku, přihlášení do aplikace?“ To bývá největší problém – dostat se k osobě, která může říct: „Líbí se mi to, dává to smysl, pojďme to otestovat.“ 

MZ: Takže vám v tom může pomoci to, co jste zmiňoval – účast na oborových konferencích nebo podobných akcích? 

JŠ: Jednoznačně, to se nám zatím osvědčilo nejvíc – začít budovat vztahy. Bude to znít možná staromódně, ale funguje face-to-face. Když někam jdete, setkáte se s lidmi, podáte si ruku, představíte, co děláte. Oni řeknou: „Dává mi to smysl, pošlete mi prezentaci, spojíme se na online call, vezmu s sebou kolegu nebo kolegyni, kteří to řeší, a pojďme to vyzkoušet.“ 

MZ: Jaké má elv.ai plány do budoucna? Co chystáte a na co se těšíte? 

JŠ: Plánů je hodně, od vývoje nových funkcionalit pro klienty, přes obchodní cíle a expanzi do dalších zemí, až po testování nových segmentů, kde vidíme potenciál. Jak bývá ve startupovém světě zvykem, čeká nás také získávání dalších financí a investorů. V příštích 12 měsících se zaměříme na získání investic pro další expanzi a vývoj, a také na testování nových funkcionalit a odvětví.

Těšíme se, je to extrémně dynamické prostředí. Od malého CSR projektu, který řešil konkrétní problém, který jsme viděli, až po byznys, který může být mezinárodní. Je to obrovská výzva, ale i krásná cesta, která mě osobně, ale i celý tým, učí spoustu nových věcí. 

MZ: Tak vám přeji úspěch a moc děkuji za rozhovor. 

JŠ: Děkuji moc za pozvání, mějte se. 

Zpět na začátek