Sistema de Notificação de Incidentes/Resumo do Teste do Produto Mínimo Viável por Pessoas Usuárias

O Sistema de Notificação de Incidentes (SNI) tem como objetivo facilitar a notificação de incidentes nocivos de forma segura por parte de pessoas usuárias. É um requisito do novo Código Universal de Conduta ter um sistema de notificações em vigor, bem como uma recomendação da Estratégia de Movimento.

No início de 2023, realizamos uma pesquisa nas Wikipédias em indonésio e coreano com o objetivo de entender o assédio, como o assédio é denunciado e como aquelas pessoas que respondem às denúncias realizam seu trabalho. Em novembro de 2023, pessoas editoras foram convidadas a testar um Produto Mínimo Testável (MTP, na sigla em inglês) para o Sistema de Notificação de Incidentes.

Agora temos uma primeira iteração do SNI (veja as telas do protótipo de um Produto Mínimo Viável abaixo) e precisamos saber se estamos indo no caminho certo.

Assim, em março de 2024, a equipe de Produto de Confiança e Segurança realizou testes de usuário do Produto Mínimo Viável (MVP, na sigla em inglês) do Sistema de Notificação de Incidentes.

Resumo executivo

“Sempre haverá pessoas na Internet que gostam de causar problemas. Mas se houver alguma maneira de denunciar essas pessoas, acredito que isso seja uma coisa boa.”

Ponto de entrada da notificação

Durante o teste das pessoas usuárias, todos as pessoas participantes encontraram o ponto de entrada para notificar um incidente e o fluxo atual da pessoa usuária e bem compreendido.

Tipos de notificações

Houve alguma confusão sobre duas das opções de notificação: “alguém pode se automutilar” e “mensagem de ameaça de dano público”.

Processamento e resposta das notificações

Duas pessoas participantes também fizeram suposições sobre o sistema ser automatizado. Uma delas ficou preocupada com a automação e queria uma resposta humana, enquanto a outra se sentiu segura pela ideia de que o sistema verificaria se a pessoa agressora tinha algum histórico de ameaças e ofensas, e excluiria o comentário ofensivo de acordo. Todas as pessoas participantes esperavam uma resposta oportuna (uma média de 2 a 3 dias) após enviar uma notificação.

Objetivos da pesquisa

Queríamos saber o seguinte:

1. as pessoas usuárias sabem para onde ir para notificar um incidente de emergência?
2. O fluxo da pessoa usuária faz sentido e parece intuitivo?
3. As pessoas usuárias conseguem concluir a notificação sem precisar de ajuda adicional?
4. Quais são as expectativas das pessoas usuárias ao enviar uma notificação?

Participantes e formato do teste

Um teste não moderado baseado em tarefas usando um protótipo e classificação de cartão, foi realizado em Userlytics com pessoas editoras de wikis em português e italiano.

Participantes

• 11 pessoas usuárias foram recrutadas
• Todas as pessoas participantes eram pessoas editoras ativas (< 10 edições nos últimos 3 meses)
• Todas as pessoas participantes interagiram com outras pessoas usuárias em wikis
• 7 pessoas participantes eram de wikis em português
• 4 pessoas participantes eram de wikis em italiano
• 2 pessoas participantes foram eliminadas devido a dificuldades técnicas

Tarefa e perguntas

Tela do protótipo	Perguntas
Captura de tela da página de discussão de pessoa usuária exibindo um exemplo de mensagem abusiva.	1. Você encontra uma mensagem abusiva na sua página de discussão ou na de outra pessoa: O que você faz numa situação como esta? A quem você recorreria para pedir ajuda nesta circunstância? Se você visse uma mensagem de ódio como neste exemplo, o que você faria?
Página de discussão de pessoa usuária exibindo um exemplo de mensagem abusiva e menu de notificação	2. Obtendo ajuda Que opções você vê nesta tela? Qual das opções você acha que vai lhe ajudar? O que você acha que vai acontecer quando você escolhe essa opção?
Captura de tela do formulário de notificação de incidente com botões de opção	3. Notificar um incidente Você pode nos dizer o que cada opção significa? Qual opção você vai escolher neste caso?
Captura de tela do formulário de notificação de emergência	4. O que você vai notificar? Que informações você geralmente incluirá para notificar uma mensagem de ódio? Para quem você acha que esta notificação será enviada? O que você fará a seguir?
Captura de tela da mensagem informando o envio bem-sucedido da notificação.	5. O que acontece agora? O que você acha que aconteceu? O que você acha que vai acontecer a seguir? Quanto tempo você acha que vai demorar? Como você se sente sobre isso?

Classificação de cartão

Nosso objetivo era entender quais são as informações e orientações que as comunidades precisam ter para notificar comportamento sem risco de vida por parte de pessoas usuárias. As pessoas participantes receberam um conjunto de cartões na categoria "Notificação de comportamento de pessoa usuária". As pessoas participantes foram então solicitadas a classificá-los por importância (1 sendo o mais importante).

Classificação	Informações necessárias para notificar o comportamento de uma pessoa usuária
1. Mais importante	Instruções sobre o que você deve fazer neste caso
2.	Nome e contato das pessoas com quem você pode entrar em contato
3.	Link para páginas onde você pode postar sobre uma agressão ocorrida em sua página de discussão
4.	Diretrizes sobre como ter uma discussão com a pessoa que cometeu a agressão
5.Menos importante	Outras opções de autoajuda

Principais resultados

Resumo

• Todas as pessoas participantes encontraram o ponto de entrada para notificar um incidente.
• Quase todas as pessoas participantes entenderam sob qual categoria notificar o incidente.
• Algumas pessoas participantes ficaram confusas com as categorias “alguém pode se automutilar” e “mensagem de ameaça de dano público”.
• Algumas pessoas participantes disseram que não notificariam pequenos problemas de comportamento da pessoa usuária.
• Para a maioria das pessoas participantes, o período de tempo ideal para receber uma resposta é de 2 a 3 dias. O tempo máximo esperado é de 1 semana e o mínimo é de algumas horas.
• A maioria das pessoas participantes considerou que o mais importante em uma página de orientação da comunidade ao notificar comportamentos que não representam risco de vida por parte de pessoas usuárias seria:
  1. Instruções sobre o que você deve fazer neste caso
  2. Nome e contato das pessoas com quem você pode entrar em contato
• Automação foi assunto entre duas pessoas participantes. Enquanto uma delas estava preocupada com o fato de sua notificação não ser lida por um humano, a outra pensou que um sistema automatizado verificaria se a pessoa agressora tinha algum histórico de ameaças e ofensas e consequentemente excluiria o comentário ofensivo.

Recomendações

“Tenho um pouco de receio de que a notificação vai ser enviada para um sistema automatizado e que não vai ser realmente lida por seres humanos.”

Agora

1. Manter o fluxo da pessoa usuária como está, já que todas as pessoas participantes entenderam onde notificar um incidente.
2. Esclarecer melhor as categorias “alguém pode se automutilar” e “mensagem de ameaça de dano público”: alterando o texto ou considerando outras maneiras de categorizar os tipos de agressão que as pessoas usuárias desejam notificar.
3. Estabelecer expectativas de que um humano responderá, e não um sistema automatizado, para aliviar as preocupações das pessoas usuárias.

Ideias futuras

1. Criar um sistema inteligente para reduzir o tempo de resposta/ação com base em uma notificação.
2. Utilizar uma 'pontuação de reputação da pessoa usuária' para decidir sobre a probabilidade de uma notificação ser verdadeira ou falsa.
3. Usar consultas em linguagem natural da pessoa que notifica para identificar o melhor caminho a seguir (por exemplo, "Alguém me chamou de porco na minha página de discussão", "Tem alguém na minha porta com um taco de beisebol"...)
4. Permitir que evidências adicionais sejam adicionadas, como tais como imagens, notas de voz etc.
5. Teste A/B remover uma mensagem abusiva depois de ter sido notificada versus mantê-la na página de discussão com a garantia de que foi notificada.