Proponer una serie de métricas (analíticos) derivadas de las distintas conversaciones y opiniones vertidas en Twitter-X, respecto de los tres candidatos a las elecciones presidenciales de México 2024.
Esto con la finalidad y objetivos de entender sí; las conversaciones en Twitter-X son un proxy o no de preferencia electoral. Si las conversaciones en Twitter-X son una buena representación de patrones narrativos de comportamiento electoral. Y más que nada para abrir una conversación sobre la lectura, interpretación e implicaciones de un análisis de esta naturaleza en los albores de una elección presidencial.l
Desarrollamos distintas métricas (analíticos) a partir de tres modelos de procesamiento natural del lenguaje con redes neuronales que nos permitieran tazar similitudes, relaciones y aproximaciones a las preferencias electorales desde lo que se comenta y dice en Twitter-X.
Las métricas que desarrollamos son las siguientes:
Clasificador de Sentimiento:
Predecir si un tuit es Positivo, Negativo o Neutro respecto de algún candidato
Clasificador de Movilización:
Predecir si un tuit significa participación y movilización a votar por algún candidato
Segmentación
Agrupación de los distintos candidatos a partir de ciertos significados, palabras relaciones semántica y mensajes.
Afinidad Ideológica
La diferencia que existe entre lo que un candidato dice a partir de sus discursos y lo que se expresa en los tuits que los mencionan. A menor afinidad, menor es la cercanía entre textos, es decir, entre lo que dice el candidato y entre lo que dice el tuit. A mayor afinidad, mayor es la cercanía entre textos, es decir, entre lo que dice el candidato y entre lo que dice el tuit.
Preferencia
Una métrica compuesta que promedia las métricas de sentimiento, de participación o movilización y la distancia ideológica.
¿Cómo?
A partir de un Large Language Model (LLM) pre-entrenado de código abierto, de la plataforma HuggingFace (Robertuito)*, clasificamos de manera automática, 7349 tuits que tuvieran como criterio de selección alguna mención a cualquiera de los tres candidatos a la presidencia en: Positivo, Negativo y Neutro. Y de la misma manera, con otro algoritmo de código abierto llamado (Roberta)* clasificamos los textos como si invitan o no a la participación o a la movilización de alguno de los candidatos.
A demás, de manera manual, un equipo de tres personas clasificamos otros 3000 tuits que tuvieran como criterio de selección alguna mención a cualquiera de los tres candidatos a la presidencia en: Positivo, Negativo y Neutro.
Con la clasificación manual y con la automática hicimos una calibración del (LLM) para que la clasificación de textos fuera más prístina, clara y reflejara sentimientos, emociones, actitudes y valoraciones reales respecto de los candidatos a la presidencia y que estuviera adaptado a los localismos semánticos y sintácticos del mexicano.
Realizamos posteriormente, un proceso de limpieza adicional de los textos con criterios extras de clasificación como incluir ciertos hashtags como negativos y positivos, así como algunas palabras frecuentes con connotaciones positivas y negativas encontradas en la clasificación manual y de igual manera seleccionamos una serie de palabras adicionales que significaran apoyo, participación y movilización para alguno de los candidatos.
Para calcular la distancia ideológica empleamos una métrica llamada (Cosine Similarity) que nos dice, qué tan diferentes son dos textos. Y con ello, tener una métrica de diferencia entre lo que dicen los candidatos y lo que dicen los tuits.
¿Qué es un LLM?
Es un tipo de inteligencia artificial, que utiliza redes neuronales para entender y generar el lenguaje humano de manera coherente y útil.
Se entrena utilizando grandes cantidades de texto para aprender los patrones de lenguaje, gramática y conocimiento general.
Estos modelos son utilizados para responder preguntas, clasificar textos, traducir idiomas, resumir textos, etc.
El LLM que utilizamos de pre-entrenamiento para desarrollar nuestras métricas fue entrenado con 500 millones de tuits.*
La lógica detrás de estos modelos (arquitectura) es que pueden predecir con base en una serie de probabilidades las palabras que siguen en una oración, así como entender sus posibles correlaciones y contextos.
Representatividad
Una de las principales cosas que debemos de tener en consideración es que la representatividad del universo que estamos retratando y analizando es acotada. La principal razón de ello es porque las unidades de medición no son individuos sino cuentas únicas de Twitter-X.
Estas unidades de medición no son representativas geográficamente ni sociodemográficamente de la población de México, sin embargo, consideramos que sí son representativas del universo de cuentas única que hay en Twitter-X México (17.5 millones) *
Así, el universo muestral que buscamos representar es el siguiente:
Muestra: 300 tuits diarios a partir del 18 de Marzo hasta el 2 de Junio.
Aleatoriedad: Descargas a distintas horas del día, bajo el criterio de que sean cuentas únicas minimizando la incidencia de Bots y excluyendo RT.
Fuentes
*https://arxiv.org/abs/2111.09453
*https://huggingface.co/pysentimiento/robertuito-sentiment-analysis
*https://huggingface.co/bertin-project/bertin-roberta-base-spanish
*https://github.com/pysentimiento/robertuito
*https://www.statista.com/statistics/242606/number-of-active-twitter-users-in-selected-countries/
Actualizado: 30/May/2024 (N=11,288 Tuits)
Nuestra métrica de sentimiento, pretende englobar a partir de un algoritmo de LLM una clasificación de los distintos tuits para cada candidato, de manera tal, que refleje sentimientos, emociones, actitudes y valoraciones en tres categorías: Negativo, Neutro y Positivo.
Estas gráficas nos muestran del total de tuits al momento, qué proporción de éstos son Negativos, Neutros y Positivos para cada candidato, así como para el total. Tanto de manera agregada como en el tiempo.
Nuestra métrica de movilización pretende englobar a partir de un algoritmo de LLM una clasificación de los distintos tuits para cada candidato, de manera tal, que refleje actitudes e intenciones que invitan a la participación, apoyo y movilización hacia algún candidato.
Estas gráficas nos muestran del total de tuits al momento, qué proporción de éstos sí reflejan una apoyo, movilización y participación abierta y activa hacia algún candidato y cuáles no. Tanto de manera total y agregada como en el tiempo.
La idea de hacer una segmentación a partir de una serie de palabras claves asociadas a los distintos candidatos es poder entender qué tipos de relaciones simbólicas y de significados existen hacia ellos.
Así, lo que mostramos a continuación es primero: una conjunto de mapas que representan una serie de agrupaciones de palabras en dos dimensiones; la relevancia de estos mapas (TSNE) es que se pueda identificar la cercanía de ciertas palabras y sus diferentes agrupaciones, la cercanía entre palabras y su agrupación en bloques nos puede dar algunas claves sobre las distintas relaciones simbólicas y de significados que hay para los candidatos.
En segundo lugar: después de estos mapas encontraremos una serie de tablas que agrupan distintas palabras en diferentes segmentos o clusters. Así como su distribución en porcentajes; esto es, qué proporción de los tuits pertenecen a cada segmento o cluster según el candidato.
Y finalmente, ofrecemos un cruce de los distintos segmentos de palabras con su sentimiento, esto es; qué proporción de los distintos segmentos de palabras para cada candidato tiene una connotación positiva, negativa o neutral.,
La métrica propuesta a continuación tiene como objetivo plantear que tan diferente es lo que expresa un candidato en sus discursos de lo que las distintas cuentas de usuarios expresan, respecto de ese candidato.
Para ello, elaboramos un índice a partir de una (Cosine Similarity) que mide la distancia que hay entre dos vectores, dado que las palabras en un modelo de NLP son vectores es posible calcular la distancia entre ellos.
Así, entre menor es el número del índice (números cercanos a cero); menor es la cercanía entre textos; y entre más grande es el número del índice (números cercanos a uno), mayor es la cercanía entre textos.
Las gráficas a continuación, muestran la distribución de este índice por candidato. Con ello, es posible observar para cada candidato, qué tanta afinidad hay entre lo que dicen sus discursos y lo que los tuits que los mencionan dicen. Valores cercanos a uno, significa que los tuits repiten casi en su totalidad los discursos de los candidatos.
Nota, para los discursos de los candidatos se tomaron los discursos de cierre de la pre-campaña y los discursos inaugurales del inicio de campañas.
Esta es una métrica compuesta que resulta de promediar (promedio aritmético) las métricas anteriores de sentimiento, movilización y el índice de afinidad ideológica.
Con ello, lo que buscamos es tener en una sola métrica la agregación de distintas dimensiones que hablan de los afectos, las adhesiones psicológicas, y las posturas narrativas que se vierten en las redes sociales. Y así abrir la conversación sobre otro universo que forma parte de la opinión pública y que posiblemente tiene un grado de influencia en la sociedad.
