Sistema di segnalazione di abusi/Sintesi dei test del prodotto minimo funzionante

Il sistema di segnalazione di abusi (Incident Reporting System o IRS) ha lo scopo di facilitare agli utenti la segnalazione sicura di abusi. La presenza di un sistema di segnalazione è un requisito del nuovo codice universale di condotta e una raccomandazione della strategia del movimento.

All'inizio del 2023 abbiamo condotto una ricerca nelle wikipedie indonesiana e coreana con l'obiettivo di capire le molestie, come vengono denunciate e come chi risponde alle segnalazioni svolge il proprio lavoro. Nel novembre 2023, i volontari sono stati invitati a testare un prodotto minimo con cui effettuare test (Minimum Testable Product o MTP) per il sistema di segnalazione di abusi.

Ora abbiamo una prima iterazione dell'IRS (vedere le schermate del prototipo MVP qui sotto) e dobbiamo capire se siamo sulla strada giusta.

Nel marzo 2024 il team Trust & Safety Product ha condotto i test utente del Minimum Viable Product (MVP) del Incident Reporting System.

Sintesi

“Ci saranno sempre persone su Internet che amano creare confusione. Ma se c'è un modo per segnalarle, credo che sia una buona cosa.”

Punto di ingresso della segnalazione

Durante i test utente tutti i partecipanti hanno trovato il punto di ingresso per segnalare l'abuso e lo user flow è stato ben compreso.

Tipi di segnalazioni

C'è stata un po' di confusione su due delle opzioni di segnalazione: "qualcuno potrebbe fare autolesionismo" e "messaggio di minaccia di danno pubblico".

Gestione delle segnalazioni

Due partecipanti hanno anche fatto ipotesi sul fatto che il sistema sia automatizzato. Un partecipante era preoccupato per l'automazione e desiderava una risposta umana, mentre l'altro si sentiva rassicurato dall'idea che il sistema avrebbe controllato se l'autore dell'abuso avesse precedenti di minacce e reati, cancellando di conseguenza il commento offensivo. Tutti i partecipanti si aspettavano una risposta tempestiva (in media 2-3 giorni) dopo aver inviato una segnalazione.

Obiettivi dell'analisi

Volevamo apprendere quanto segue:

1. Gli utenti sanno dove segnalare un'emergenza?
2. Lo user flow ha senso e sembra intuitivo?
3. Gli utenti sono in grado di completare l'attività senza bisogno di ulteriore aiuto?
4. Quali sono le aspettative degli utenti nell'effettuare una segnalazione?

Partecipanti e tipi di test

Un test non moderato basato su un compito, utilizzando un prototipo e card sort, è stato condotto su Userlytics con volontari dei wiki portoghesi e italiani.

Partecipanti

• Sono stati reclutati 11 utenti
• Tutti i partecipanti erano volontari attivi (< 10 modifiche negli ultimi 3 mesi)
• Tutti i partecipanti hanno interagito con altri utenti su wiki
• 7 participants erano di progetti wiki portoghesi
• 4 partecipanti erano provenienti da wiki italiani
• Due partecipanti sono stati esclusi a causa di difficoltà tecniche

Attività e domande

Videata prototipo	Domande
Videata di una pagina di discussione utente con un esempio di commento molesto.	1. Trovare un commento molesto sulla pagina di discussione tua o di qualcun altro: Cosa fai in questa situazione? A chi chiedereste aiuto in questa situazione? Se vedessi un commento molesto come in questo esempio, cosa faresti?
Pagina di discussione utente che mostra un esempio commento molesto e menu di segnalazione	2. Ricevere aiuto Quali opzioni vedi in questa schermata? Quale delle opzioni pensi che possa essere di aiuto? Cosa pensi che succederà quando sceglierai questa opzione?
Schermata del modulo di segnalazione degli incidenti con pulsanti di opzioni	3. Segnalare un incidente Puoi spiegarci il significato di ciascuna opzione? Che opzione sceglieresti in questo caso?
Schermata del modulo di segnalazione di emergenza	4. Cosa riferirai? Quali sono le informazioni da includere in genere per segnalare un messaggio molesto? A chi pensi che andrà questa segnalazione? Cosa farai dopo?
Schermata del messaggio di conferma dell'invio della segnalazione	5. Che succede adesso? Cosa pensi sia successo? Cosa pensi che succederà dopo? Quanto tempo pensi ci vorrà? Come ti senti con riferimento all'accaduto?

Card sort

Volevamo capire di quali informazioni e indicazioni hanno bisogno le comunità per segnalare comportamenti non rischiosi degli utenti. Ai partecipanti è stato presentato un insieme di schede nella categoria "Segnalazione del comportamento degli utenti". I partecipanti sono stati poi invitati a classificare le schede per importanza (in ordine decrescente di importanza).

Classifica	Informazioni necessarie per la segnalazione del comportamento degli utenti
1. Più importante	Istruzioni su cosa fare in questo caso
2.	Nome e contatto delle persone che si possono contattare
3.	Link alle pagine dove pubblicare un abuso sulla tua pagina di discussione
4.	Linee guida per la discussione con l'utente molesto
5.Meno importante	Altre opzioni di auto-aiuto

Risultati chiave

Sintesi

• Tutti i partecipanti hanno trovato il punto di ingresso per segnalare la molestia.
• Quasi tutti i partecipanti hanno capito sotto quale categoria segnalare l'abuso.
• Alcuni partecipanti sono stati confusi dalle categorie "qualcuno potrebbe fare autolesionismo" e "messaggio di minaccia di danno pubblico".
• Alcuni partecipanti hanno detto che non avrebbero segnalato problemi minori di comportamento degli utenti.
• Per la maggior parte dei partecipanti, il periodo di tempo ideale per ricevere una risposta è di 2-3 giorni. Il tempo massimo previsto è di 1 settimana e il minimo è di poche ore.
• La maggior parte dei partecipanti ritiene che i seguenti elementi siano più importanti in una pagina di orientamento della comunità, quando si segnalano comportamenti dell'utente non pericolosi per la vita:
  1. Istruzioni su cosa fare in questo caso
  2. Nome e contatto delle persone che si possono contattare
• Due partecipanti hanno parlato di automazione. Mentre un partecipante era preoccupato che la sua segnalazione non venisse letta da un umano, un altro pensava che un sistema automatizzato avrebbe controllato se l'autore dell'abuso avesse precedenti di minacce e reati, cancellando di conseguenza il commento offensivo.

Raccomandazioni

Ho un po' paura che venga inviata a un sistema automatico e che non venga letta da esseri umani.

Adesso

1. Tenere lo user flow com'è ora, poiché tutti i partecipanti hanno capito dove segnalare un incidente.
2. Fornire maggiore chiarezza sulle categorie "qualcuno potrebbe fare autolesionismo" e "messaggio minaccioso di danno pubblico": modificando la formulazione o prendendo in considerazione altri modi per classificare i tipi di abuso che gli utenti vogliono segnalare.
3. Per alleviare le preoccupazioni degli utenti, è necessario chiarire che a rispondere sarà un "essere umano" e non un sistema automatizzato.

Idee per il futuro

1. Costruire un sistema intelligente per ridurre i tempi di risposta/azione sulla base di una segnalazione.
2. Utilizzate un punteggio di reputazione 'utente' per decidere la probabilità che una segnalazione sia vera o falsa.
3. Utilizzare le query in linguaggio naturale del segnalante per identificare la migliore linea d'azione (ad esempio: "Qualcuno mi ha dato del maiale sulla mia pagina di discussione", "Vedo qualcuno fuori dalla mia porta con una mazza da baseball"...).
4. Consentire l'aggiunta di ulteriori prove come immagini, messaggi vocali ecc.
5. Test A/B: rimuovere un messaggio molesto dopo che è stato segnalato o mantenerlo nella pagina di discussione rassicurando che è stato segnalato.