Procesamiento del Lenguaje Natural: principales aplicaciones

El Procesamiento de Lenguaje Natural (NLP) es un campo de la Inteligencia Artificial que se encarga de hacer comprensible el lenguaje humano a las computadoras. Es un tema de mucha actualidad y que día a día juega un papel cada vez más importante, pero ¿cuáles son las aplicaciones del NLP? y, sobre todo, ¿cómo puede una computadora comprender el lenguaje humano?

El objetivo de este post es entender cuáles son y serán las aplicaciones de este campo del aprendizaje automático (ML) y qué técnicas nos permiten desarrollar.

¿Qué es el Procesamiento del Lenguaje Natural y cuáles son sus aplicaciones?

Para ver las primeras apariciones del procesamiento de lenguaje natural tenemos que remontarnos a 1950. En sus inicios la capacidad de los primeros sistemas estaba limitada y se basaba principalmente en reglas. Es entre 1990 y 2010 donde, inicialmente, se toma un enfoque más estadístico que mejora los sistemas anteriores y, posteriormente, se extiende el uso de redes neuronales permitiendo alcanzar resultados sorprendentes.

Hoy en día contamos con una gran cantidad de datos de tipo texto sobre la que se puede trabajar, y es que tan solo tenemos que acudir a la red social de preferencia para poder recuperar, por ejemplo, las noticias de actualidad junto a las opiniones de los usuarios. Podemos usar como ejemplo Twitter, donde es posible extraer comentarios para su posterior análisis y tratar de predecir los movimientos en los mercados financieros.

-Tal vez te interese: La importancia de la interpretación de datos-

Por tanto, contar con herramientas que nos permitan trabajar con este tipo de datos es fundamental. Entre las principales aplicaciones del procesamiento del lenguaje natural podemos encontrar las que se listan a continuación:

• Análisis de sentimiento
• Clasificación de documentos
• Chat Bot
• Asistentes virtuales
• Traducción de texto
• Resumen de texto
• Corrección de texto

Estas aplicaciones son las que más se utilizan en la actualidad, pero hay que tener en cuenta que el campo del NLP está en constante evolución y poco a poco se desarrollan nuevas técnicas. Un ejemplo de técnica novedosa y que todavía no tiene mercado puede ser la conversión de texto a imagen.

Bases del NLP

Es fundamental entender que los ordenadores funcionan con valores binarios y la gran mayoría de algoritmos de aprendizaje automático solo aceptan valores numéricos como entrada, es por esto que en muchos casos no es viable suministrar el texto directamente. Dicho esto, es evidente que el primer paso para lograr que un sistema comprenda el lenguaje humano es obtener una representación numérica del texto.

Una de las técnicas más básicas para representar la información obtiene el nombre de Bag of Words (BoW), la cual se puede ver en cierta medida como una transformación one hot encoding vector. La técnica consiste en crear una lista en la que cada posición representa una de las palabras que queremos insertar en nuestro modelo. Una vez definida esta lista, conocida como bolsa de palabras, podemos obtener la representación vectorial de una palabra simplemente creando un vector en el que todas las posiciones son cero menos en la componente correspondiente a la palabra representada, donde incluiremos un uno.

-Quizás te interese: 6 librerías imprescindibles de Python para Machine Learning-

Este ejemplo se puede extender fácilmente a la representación de documentos completos, donde el vector que representa el documento tendrá ceros en las posiciones correspondientes a palabras no presentes en el documento y el número de repeticiones de cada palabra si la palabra está presente en el contenido. La siguiente imagen ilustra un ejemplo de codificación siguiendo esta técnica:

La técnica de BoW es útil en ciertas situaciones, pero es cierto que al tratarse de un método sencillo tiene sus puntos negativos. El primer problema que encontramos es la alta dimensionalidad que pueden llegar a tener las representaciones, lo cual hace que el proceso de aprendizaje sea más complicado. Por otro lado, la técnica sólo es capaz de representar aquellas palabras que se encuentran presentes en la bolsa de palabras. Por último, este tipo de representación no tiene en cuenta las relaciones semánticas entre palabras, dado que cada palabra tiene una representación ortogonal al resto de palabras.

Esta serie de problemas que aparecen al utilizar BoW fueron parcialmente resueltos en 2013 por Tomas Mikolov y la introducción del modelo de representación Word2Vec. Este modelo hace uso de redes neuronales para crear una representación de las palabras donde la dimensionalidad es fija. Esta representación hace que las palabras no sean necesariamente ortogonales, permitiendo que aquellas que tengan relación semántica obtengan una representación similar. Uno de los ejemplos más famosos que nos permite visualizar la bondad de esta representación lo podemos ver en la siguiente imagen. Como se puede apreciar en la representación vectorial de las palabras, podemos realizar operaciones vectoriales sobre las palabras preservando el significado y obteniendo equivalencias (rey – hombre + mujer = reina).

Estado del arte y futuros desarrollos del Procesamiento del Lenguaje Natural

En los últimos años se han desarrollado distintas arquitecturas enfocadas al campo del NLP y, concretamente los Transformers, una de las más recientes, es la que más éxito está teniendo. Prueba de ello es el desarrollo de GPT-3 (Generative Pre-trained Transformer 3), el cual podemos considerar como uno de los chatbot más potente que se ha desarrollado hasta la fecha y que hace uso de esta arquitectura. Este sistema ha sido entrenado con una gran cantidad de datos, logrando aprender a resolver problemas para los que no fue diseñado. Un ejemplo de esto se puede ver cuando le pedimos al modelo que complete la operación “5 + 7 es igual a” y la realiza correctamente, es decir, el modelo aprende a realizar sumas cuando su tarea original era completar y generar texto de manera lógica.

-Te puede interesar: Machine Learning vs Deep Learning-

En el siguiente video se pueden visualizar las distintas funcionalidades del modelo GPT-3 y se evidencian sus capacidades y limitaciones.

Probando a GPT-3. ¡El Chatbot más avanzado!

Otra aplicación que está ganando fuerza últimamente es la de combinar el procesamiento del lenguaje natural con la generación y manipulación de imágenes. La organización openAI ha desarrollado la herramienta Dall-e, la cual permite crear imágenes proporcionando una descripción de lo que queremos al modelo. Un ejemplo de los resultados que puede generar la herramienta lo podemos ver en la siguiente imagen. Se proporciona como descripción: “inodoro rojo con forma pentagonal”.

Para tener una idea de la velocidad con la que está avanzando el campo del NLP, basta con mirar el siguiente gráfico que muestra la cantidad de parámetros utilizados en los distintos modelos a lo largo del tiempo. Como se puede ver, destaca GPT-3, el cual se publicó a finales de 2020 y contiene 1,75 mil millones de parámetros. Estas cifras pueden compararse en cierta medida con el número de neuronas del cerebro de un ratón.

Todavía no ha transcurrido un año desde el anuncio de GPT-3. En este contexto, la Academia de Inteligencia Artificial de Beijing (BAAI) anunció que estaba desarrollando un modelo 10 veces más grande que el GPT-3. Este modelo ha sido bautizado como Wu Dao y seguro que nos dará grandes sorpresas.

-Sigue leyendo: MLOps: desarrollo en el aprendizaje automático–

Conclusiones sobre el Procesamiento del Lenguaje Natural

En resumen, el procesamiento del lenguaje natural es el campo de la Inteligencia Artificial que tiene como propósito permitir que el lenguaje humano sea comprensible por una máquina, facilitando de este modo la extracción de información de datos de tipo texto y haciendo más efectiva la interacción entre ser humano y máquina.

Esperamos que las dudas con respecto al concepto ´Procesamiento de lenguaje natural y sus usos´ hayan quedado resueltas. ¡Si tienes cualquier pregunta, puedes ponerte en contacto con nosotros! Hasta la próxima 😊

Autor: Giovanni Emanuele Bonaventura