En un mundo cada vez más polarizado, donde las redes sociales se han convertido en campos de batalla de opiniones extremas y discursos de odio, surge la pregunta: ¿cómo podemos rescatar el potencial de las plataformas para el diálogo constructivo? Desde Data Voices, una startup argentina especializada en desarrollar soluciones tecnológicas con inteligencia artificial, dimos un paso audaz para enfrentar este desafío. Cumplimos un año desde que comenzamos a colaborar con la ONG Civic Health Project de Estados Unidos, en el lanzamiento de una herramienta innovadora, el Social Media Detoxifier (SMD), cuyo objetivo es reducir la toxicidad en las interacciones en redes sociales, particularmente en la plataforma X (ex Twitter).
Primero lo primero: el problema de la toxicidad en redes sociales
Las redes sociales, con su capacidad para conectar a millones de personas, también han exacerbado un fenómeno preocupante: la polarización. Estas plataformas, diseñadas para maximizar la participación a través de algoritmos que premian el contenido altamente emocional y conflictivo, a menudo se convierten en caldo de cultivo para la difusión de discursos de odio, desinformación y actitudes extremas. La falta de contacto “cara a cara”, y las características despersonalizadas de las interacciones en línea contribuyen a una dinámica donde los usuarios se sienten libres para actuar de manera más agresiva que en interacciones presenciales.
Esto no les gusta a los autoritarios
El ejercicio del periodismo profesional y crítico es un pilar fundamental de la democracia. Por eso molesta a quienes creen ser los dueños de la verdad.
En este contexto, la toxicidad no solo afecta la calidad de las conversaciones, sino que también erosiona la confianza en las instituciones democráticas y promueve un clima de intolerancia hacia las opiniones divergentes. Según estudios recientes, una parte significativa de los usuarios de redes sociales en EE. UU. cree que la violencia puede ser necesaria para resolver conflictos políticos, un indicador alarmante del grado de radicalización que están fomentando estos entornos.
Presión económica y desinformación: un informe reveló las tácticas de Rusia para expandir su influencia en América Latina
El nacimiento del “Social Media Detoxifier”
Ante esta realidad, Civic Health Project, una organización dedicada a mitigar la polarización social en Estados Unidos, se asoció con Data Voices para crear una solución que combine tecnología avanzada y principios de intervención social. El resultado de esta colaboración es el Social Media Detoxifier (SMD), una herramienta diseñada para combatir la toxicidad en redes sociales de manera escalable y efectiva.
El SMD es una plataforma impulsada por inteligencia artificial que identifica hilos de conversación tóxicos en redes sociales y proporciona a los usuarios humanos —denominados «counterspeakers»— una serie de respuestas recomendadas para intervenir en estos hilos con contenido prosocial. Estas recomendaciones, generadas por un modelo de lenguaje avanzado, están optimizadas para fomentar empatía, reencuadrar discusiones de manera positiva y promover normas de interacción constructiva.
¿Cómo funciona el Social Media Detoxifier?
El proceso detrás del Social Media Detoxifier es a la vez simple e innovador. La herramienta, utilizando el API de Google Jigsaw Perspectives, analiza millones de hilos de conversación en X, identificando aquellos con niveles altos de toxicidad y un alcance significativo. Una vez que se detecta un hilo problemático, el SMD lo clasifica y lo muestra a los «counterspeakers» en su panel de control.
Aquí es donde entra en juego la inteligencia artificial. El modelo de lenguaje entrenado del SMD ofrece varias respuestas posibles para que el usuario humano elija, modifique o utilice directamente. Estas respuestas no solo están diseñadas para desactivar la toxicidad del hilo, sino también para transformar las normas de interacción dentro de la conversación, modelando comportamientos prosociales que otros usuarios puedan seguir.
Lo más destacado de esta herramienta es que no pretende silenciar a los usuarios tóxicos ni alterar los algoritmos de las plataformas. En lugar de eso, empodera a las personas para que intervengan de manera efectiva y constructiva, utilizando el poder de la inteligencia artificial para maximizar el impacto de su intervención. Los «counterspeakers» no son bots, sino usuarios humanos que eligen cómo y cuándo participar, conservando siempre el control sobre el contenido que publican.
Las big tech invertirán US$ 200.000 millones en Inteligencia Artificial este año
El potencial de impacto en la polarización social
El potencial de esta herramienta es impresionante. Actualmente, en su primera versión, el SMD está diseñado para intervenir en hasta el 70% de los hilos de conversación más tóxicos de X, con planes de expansión a otras plataformas como Facebook y YouTube en 2025. Las pruebas iniciales han demostrado que los usuarios humanos que utilizan la herramienta logran intervenir en hasta 20 hilos por hora, con un promedio de 20 visualizaciones por cada respuesta. Esto significa que en una hora de intervención, un solo usuario puede llegar a influir en hasta 400 personas.
Pero el verdadero potencial radica en la posibilidad de escalar este esfuerzo. En su versión 2.0, el equipo de Data Voices estima que podrán aumentar la capacidad de intervención a 100 hilos por hora, con un impacto de hasta 20,000 personas por usuario. Esta escala podría transformar significativamente la conversación pública en torno a temas políticamente sensibles, reduciendo la influencia del discurso de odio y fomentando un clima de mayor entendimiento y respeto.
La importancia del Social Media Detoxifier en el contexto actual
El lanzamiento del Social Media Detoxifier no podría llegar en un momento más crítico. En todo el mundo, la polarización política y social está alcanzando niveles peligrosos, impulsada en gran parte por el contenido que circula en las redes sociales. El auge de teorías conspirativas, la radicalización de las opiniones políticas y la creciente intolerancia hacia quienes piensan diferente son síntomas de un entorno digital tóxico que amenaza con socavar los cimientos de las democracias.
En este contexto, herramientas como el SMD ofrecen una respuesta innovadora y pragmática al problema de la toxicidad en las redes. Al aprovechar la inteligencia artificial no para censurar, sino para guiar e inspirar a los usuarios humanos a intervenir de manera constructiva, Data Voices está mostrando cómo la tecnología puede ser parte de la solución para reducir el odio y promover el diálogo civilizado.
Hay futuro
El Social Media Detoxifier representa un avance significativo en la lucha contra la toxicidad en las redes sociales. Su enfoque centrado en el ser humano, combinado con el poder de la inteligencia artificial, abre nuevas posibilidades para que las plataformas digitales recuperen su propósito original: conectar a las personas, en lugar de dividirlas.
Con el apoyo de instituciones como Civic Health Project y la visión innovadora de Data Voices, el futuro de las redes sociales podría ser uno donde las conversaciones difíciles se aborden con empatía y respeto, y donde la polarización y el odio ya no dominen la interacción en línea. Este es solo el comienzo de un camino hacia un entorno digital más sano, y el impacto que puede tener en nuestras sociedades y democracias es incalculable.
(*) CEO & Cofounder de Data Voices