Kunnen we haatzaaiende uitlatingen op sociale media beëindigen?

Ondanks de collectieve verslaving van onze samenleving aan het scrollen door sociale media, kunnen velen van ons niet anders dan een vleugje angst voelen bij het zien van meldingen die we hebben gemist. Voor elke slimme meme, sprankelend feit of schattig dier dat onze feeds kruist, is de kans net zo groot dat we een snauwerige aanval, racistische opmerkingen of haatdragende opmerkingen tegenkomen.

Maar de potentiële gevaren gaan veel verder dan angst. A Pew Research-peiling 2021 ontdekte dat een kwart van de Amerikanen te maken heeft gehad met ernstige vormen van intimidatie online, waaronder fysieke bedreigingen, stalking, seksuele intimidatie en aanhoudende intimidatie, vaak gekoppeld aan hun politieke overtuigingen. En dit omvat niet de extra schade die wordt veroorzaakt door haatzaaiende uitlatingen, desinformatie en desinformatie, die nog moeilijker te meten zijn.

Hoewel veel sociale-mediabedrijven gemeenschapsrichtlijnen ontwikkelen en investeren in zowel menselijke als algoritmische contentmoderators om deze te helpen handhaven, lijken deze inspanningen nauwelijks voldoende om het tij van toxiciteit te keren. En zelfs als platforms erin slagen problematische inhoud te verwijderen en daders te verbieden, blijven mensen die het doelwit zijn van online haat of intimidatie uiterst kwetsbaar. Een uitgesloten gebruiker heeft immers maar een paar klikken nodig om een ​​nieuw account aan te maken of verwijderde inhoud opnieuw te posten.

Bij UC Berkeley bedenken onderzoekers opnieuw hoe ze de vrijheid van meningsuiting online kunnen ondersteunen en tegelijkertijd de kans op schade kunnen minimaliseren. Door socialemediabedrijven verantwoordelijk te houden, tools te ontwikkelen om online haatzaaiende uitlatingen te bestrijden en de overlevenden van onlinemisbruik te steunen, werken ze aan het creëren van veiligere en gastvrijere onlineruimtes voor iedereen.

“Er zijn veel spannende dingen aan sociale media die het, denk ik, onweerstaanbaar maken. We kunnen realtime samenwerken, we kunnen onze prestaties delen, we kunnen onze dromen, onze verhalen en onze ideeën delen. Dit soort crowdsourced-expertise heeft echte waarde”, zegt Claudia von Vacano, uitvoerend directeur van Berkeley’s D-Lab en leider van de Het meten van haatzaaiende uitlatingen. “Maar ik denk dat we instrumenten moeten gebruiken om ervoor te zorgen dat het klimaat een klimaat is waarin niemand het zwijgen wordt opgelegd of wordt gemarginaliseerd of, erger nog, in daadwerkelijk fysiek gevaar wordt gebracht.”

“Verschrikkelijk, maar wettig”

Het Eerste Amendement beperkt de mogelijkheden van de Amerikaanse overheid om te dicteren wat wel en niet online mag worden geplaatst, en laat het grotendeels aan de sociale-mediabedrijven over om te beslissen welke soorten inhoud zij toestaan. Dankzij een federaal standbeeld uit 1996, genaamd Section 230, kunnen socialemediabedrijven ook niet aansprakelijk worden gesteld voor door gebruikers gegenereerde inhoud, wat betekent dat ze niet kunnen worden aangeklaagd voor haatzaaiende uitlatingen, smaad of ander schadelijk materiaal dat gebruikers op hun sites plaatsen.

Als gevolg hiervan “denk ik dat de vrijheid van meningsuiting online floreert”, zei hij Brandie Nonneckedirecteur van de CITRIS Beleidslaboratorium En Ons betere internet project. “Wij zeggen dat het verschrikkelijk is, maar het is legaal.”

Sectie 230 geeft deze bedrijven echter ook de vrijheid om door gebruikers gegenereerde inhoud naar eigen inzicht te modereren. De wet is zelfs opgenomen in de Communications Decency Act uit 1996 om bedrijven aan te moedigen pornografie en gewelddadige inhoud van hun platforms te verwijderen.

“Iedereen probeert Sectie 230 de schuld te geven van de reden waarom er haatzaaiende uitlatingen en schadelijke inhoud online zijn. Maar dat is eigenlijk niet waar”, zei Nonnecke. “Sectie 230 geeft platforms feitelijk de mogelijkheid om inhoud te modereren zonder de dreiging van een rechtszaak.”

Socialmediabedrijven zijn misschien niet aansprakelijk voor de inhoud die op hun platforms wordt geplaatst, maar ze hebben nog steeds een morele plicht om de schade die door hun technologieën wordt veroorzaakt te beperken, zegt Nonnecke.

In sommige gevallen kunnen zij ook een wettelijke verplichting hebben. Hoewel de specifieke inhoud die op sociale media wordt geplaatst, beschermde meningsuiting is, zijn de platforms zelf dat niet. Als deze technologieën op een schadelijke manier functioneren – bijvoorbeeld als een algoritme routinematig gevaarlijk gedrag aanmoedigt – kan dit worden beschouwd als nalatig productontwerp. In dit geval kunnen de bedrijven verantwoordelijk worden gehouden op dezelfde manier waarop autobedrijven verantwoordelijk worden gehouden voor veiligheidsgebreken, of dat de tabaksindustrie verantwoordelijk wordt gehouden voor het misleiden van het publiek over de gevaren van sigaretten.

In een 2023 Bedraad artikelNonnecke en Hany Farideen professor aan de afdeling Elektrotechniek en Computerwetenschappen en aan de School of Information in Berkeley, beschrijft een rechtszaak waarin SnapChat werd gedwongen zijn snelheidsfilter te verwijderenwaarmee gebruikers hun snelheid in realtime konden registreren en delen, nadat dit leidde tot de dood van drie tieners uit Wisconsin bij een snelle crash. De onderzoekers beweren dat andere sociale-mediabedrijven op dezelfde manier verantwoordelijk zouden moeten zijn voor gevaarlijk productontwerp.

‘Het bloed kleeft aan hun handen,’ zei Nonnecke. “Als het duidelijk is dat ze hun platform zo hebben gebouwd dat gevaarlijk en schadelijk gedrag wordt gestimuleerd, wat reële menselijke kosten met zich meebrengt, moeten ze daarvoor aansprakelijk zijn.”

Het meten van haatgevoelens

Zelfs voor platforms die te goeder trouw inspanningen leveren om door gebruikers gegenereerde inhoud te modereren, blijft een fundamentele vraag bestaan: hoe kunnen we daadwerkelijk definiëren haatzaaien? Een uitspraak die voor de een onschadelijk lijkt, kan voor een ander uiterst kwetsend zijn. En zonder een overeengekomen definitie van wat als schadelijk geldt, is het onmogelijk om te weten hoeveel haatzaaiende uitlatingen er online voorkomen, laat staan ​​hoe we deze moeten aanpakken.

Het Measurement Hate Speech Project, gelanceerd door Claudia von Vacano en haar team van het D-Lab als reactie op de presidentsverkiezingen van 2016, helpt deze vragen te beantwoorden. Het project combineert sociaalwetenschappelijke methodologieën met diepgaande algoritmen om nieuwe manieren te ontwikkelen om haatzaaiende uitlatingen te meten en tegelijkertijd de effecten van menselijke vooroordelen te verzachten.

“Het Measurement Hate Speech Project biedt de meest gedetailleerde intersectionele analyse van haatzaaiende uitlatingen van alle projecten die we zijn tegengekomen”, aldus Von Vacano. “Veel mensen die op dit gebied werken, hebben geen opleiding in de sociale wetenschappen gevolgd, en dus denken ze niet noodzakelijkerwijs na over vooroordelen en identiteiten op de genuanceerde manier waarop wij dat doen. Omdat we sociale wetenschappers zijn, zijn we geïnformeerd door kritische rassentheorieën en intersectionele theorieën, en we brengen al die kennis mee naar het werk.”

Socialemediabedrijven gebruiken steeds vaker algoritmen om haatdragende inhoud op hun platforms te detecteren, maar deze algoritmen weerspiegelen vaak de vooroordelen van hun makers – in de VS voornamelijk blanke mannen en anderen met een hoge mate van sociaal privilege. Andere platforms vertrouwen op gebruikersrapporten om problematische inhoud te markeren die op vergelijkbare wijze de mening van dominante groepen kan bevorderen.

Op deze manieren kunnen slecht ontworpen systemen voor inhoudsmoderatie uiteindelijk juist de gemeenschappen schaden die ze moesten beschermen, aldus Von Vacano.

“In (landen) waar wetten zijn aangenomen om haatzaaiende uitlatingen te controleren, weten we dat die wetten feitelijk meer tegen de beschermde groepen zijn gebruikt dan tegen dominante groepen”, zei Von Vacano. “Dit gebeurt absoluut ook online. We zien dus bijvoorbeeld dat groepen als de Black Lives Matter-beweging een grotere kans hebben om systematisch gecensureerd te worden.”

Het Measureing Hate Speech Project gebruikt een tweeledige methode om haatzaaiende uitlatingen te beoordelen. Eerst lezen annotators voorbeeldreacties op sociale media en beoordelen elke reactie op haatdragendheid. In plaats van opmerkingen te markeren als ‘aanzetten tot haat’ of ‘geen haatzaaien’, wordt aan de annotators een reeks vragen over elke opmerking gesteld. Het gaat onder meer om vragen over het sentiment van de opmerking, of deze op een specifieke groep is gericht of impliceert dat de ene identiteit superieur is aan de andere, en of er wordt gepleit voor geweld, naast andere vragen.

De antwoorden worden vervolgens gebruikt om een ​​deep learning-algoritme te trainen, dat kan worden toegepast op nieuwe online-inhoud om het type en de mate van haatgevoelens te peilen die mogelijk aanwezig zijn.

“Het Measurement Hate Speech Project stelt dat haatzaaiende uitlatingen geen binair fenomeen zijn – het is een veelzijdig, complex fenomeen,” zei Pratik Sachdevaeen onderzoekswetenschapper bij het D-Lab die de tool samen met Von Vacano verfijnde. “Zelfs als je iets haatdragende taal noemt, wordt ervan uitgegaan dat het een bepaalde drempel heeft bereikt, maar ik denk dat het nuttiger is om na te denken over de mate van haat. Er zit veel nuance tussen een eikel op internet en genocidaal zijn.”

Gezien de complexe en vaak subjectieve aard van haatzaaiende uitlatingen stelt de tool elke annotator ook gedetailleerde vragen over zijn eigen identiteit. Sachdeva heeft deze informatie gebruikt om te analyseren hoe iemands identiteit zijn gevoeligheid voor verschillende soorten haatzaaiende uitlatingen beïnvloedt. In een artikel uit 2023 liet hij zien dat annotators dat wel waren Het is waarschijnlijker dat commentaren die gericht zijn op hun eigen identiteitsgroep, worden beoordeeld als elementen van haatzaaiende uitlatingen.

“Mijn hoop is dat we de manier waarop mensen denken over contentmoderatie kunnen hervormen, en ook het belang kunnen benadrukken van diep nadenken over hoe we datasets voor machinaal leren creëren voor echte toepassingen”, aldus Sachdeva. “Als je bij het vormgeven van de dataset alleen prioriteit geeft aan mensen die op jou lijken, mis je een heel spectrum aan geleefde ervaringen, die erg belangrijk zijn voor de manier waarop deze algoritmen werken.”

Het ondersteunen van overlevenden

Het doel van moderatie van online-inhoud is doorgaans het verwijderen van schadelijke inhoud en, indien van toepassing, het opschorten of verbannen van de gebruiker die de inhoud heeft geplaatst.

Maar deze aanpak negeert een belangrijke speler in de interactie: de persoon die schade heeft geleden.

Geïnspireerd door het raamwerk van herstelrecht, Sijia Xiao wil onze focus verleggen naar de overlevenden van online schade. Als afgestudeerde student aan Berkeley werkte ze met professoren Niloufar Salehi En Coy Cheshire om de behoeften van overlevenden te bestuderen en hulpmiddelen te ontwikkelen om deze te helpen aanpakken.

“Een belangrijk aspect van mijn onderzoek gaat over het veranderen van de manier waarop mensen denken over online schade en de manieren waarop we deze kunnen aanpakken”, zegt Xiao, die nu postdoctoraal onderzoeker is aan de Carnegie Mellon University na zijn afstuderen met een Ph.D. van de UC Berkeley School of Information in mei 2024. “Het gaat niet alleen om het krijgen van excuses van de dader of het verbieden van de dader. Er kunnen verschillende vormen van herstelrecht zijn en verschillende manieren waarop we overlevenden kunnen helpen.”

Door interviews en co-ontwerpactiviteiten met adolescenten die interpersoonlijke schade had ervaren in een online gaminggemeenschap, kon Xiao vijf behoeften van overlevenden identificeren. Deze omvatten het begrijpen van wat er is gebeurd, het ontvangen van emotionele steun, het veilig voelen, het stoppen van de voortzetting van schade en het transformeren van de online omgeving.

Als onderdeel van haar Ph.D. werk, creëerde ze een online platform om aan deze behoeften te voldoen. Het platform creëert een gemeenschap van overlevenden die elkaar kunnen steunen en hun ervaringen kunnen begrijpen. Het helpt overlevenden ook contact te maken met externe bronnen en actieplannen op te stellen om de voortzetting van de schade in hun gemeenschap te helpen verminderen.

“Mijn hoop is dat we een gemeenschap van overlevenden kunnen opbouwen waar mensen hun ervaringen kunnen delen, elkaar kunnen valideren en zich geïnspireerd kunnen voelen om actie te ondernemen om die schade aan te pakken”, zei Xiao. “Het zou ook kunnen worden gebruikt als een hulpmiddel voor contentmoderators, of zelfs daders, om de ervaringen van overlevenden te begrijpen. Als daders bereid zijn de dingen van de kant van de overlevenden te bekijken – om te begrijpen welke impact ze op anderen hebben – kunnen ze misschien hun gedrag veranderen.”

Dit artikel is oorspronkelijk gepubliceerd op Berkeley-nieuws. Lees de origineel artikel.