Vectores de Soporte Regresión – Teoría

Las Máquinas de Vectores de Soporte puede aplicarse no solo a problemas de clasificación sino también a casos de regresión, manteniendo todas las características principales que caracterizan el algoritmo de margen máximo.

Los Vectores de Soporte Regresión utiliza los mismos principios que los de clasificación, con solo algunas diferencias menores. En primer lugar, dado que la salida es un número real, se vuelve muy difícil predecir la información disponible, que tiene infinitas posibilidades, sin embargo, la idea principal es siempre la misma: minimizar el error, individualizar el hiperplano que maximiza el margen, teniendo en cuenta que se tolera parte del error.

Este algoritmo funciona muy bien para datos lineales como no lineales, pero realicemos la explicación con datos lineales para que sea más fácil de entender. Entonces expliquemos paso a paso como se construye este algoritmo.

Tenemos el siguiente conjunto de datos, que, como podemos observar son datos lineales:

Vectores de Soporte Regresión Teoría 1

Lo primero que debemos realizar es obtener un hiperplano que mejor represente el comportamiento de los datos, como el ejemplo que estamos usando son datos líneales este hiperplano es simplemente una línea, pero cuando se trabaja con datos no lineales el hiperplano es mucho más complicado a este. La formula para este hiperplano será la misma a la de una línea:

Vectores de Soporte Regresión Teoría 2

El siguiente paso es construir unas bandas paralelas al hiperplano que cubra la mayor cantidad de datos, a estas bandas se le conoce como vectores de apoyo o de soporte.

Vectores de Soporte Regresión Teoría 3

Ahora bien, como podemos observar estas bandas no cubrieron todos los datos, todavía tenemos puntos fuera de la misma, estos datos serían los errores y los que se deben considerar para la formula del algoritmo. Acá lo que se calcula es la distancia entre las bandas y el punto, a está distancia se le da el nombre de epsilon.

Al final la formula completa para el cálculo de este algoritmo, utilizando datos lineales es la siguiente:

Vectores de Soporte Regresión Teoría 4

En donde:

w es la magnitud del vector o hiperplano

C es una constante y debe ser mayor a 0, determina el equilibrio entre la regularidad de la función y la cuantía hasta la cual toleramos desviaciones mayores que las bandas de soporte.

ξ y ξ* son las variables que controlan el error cometido por la función de regresión al aproximar a las bandas.

Si el valor de la constante C es muy grande, en el caso límite C tiende a infinito , estaríamos considerando que el conjunto está perfectamente representado por nuestro hiperplano predictor, ξ tiende a 0. Al contrario, un número demasiado pequeño para C permitirá valores de ξ elevados, es decir, estaríamos admitiendo un número muy elevado de ejemplos mal representados.

Por su parte para datos no lineales el procedimiento es exactamente igual, la diferencia es que se implementa de un Kernel para convertir los datos lineales. Sobre el Kernel hablaremos en otra entrada dedicado completamente explicar sobre todo lo referente a este tema. Acá lo importante es mostrar es que una vez llegados estos datos de forma lineal el procedimiento explicado acá es exactamente igual.

Vectores de Soporte Regresión Teoría 5

El rendimiento del algoritmo de Vectores de Soporte Regresión depende de una buena configuración de los parámetros C y de los del Kernel. El problema de la selección óptima de parámetros se complica aún más por el hecho de que la complejidad del modelo de Vectores de Soporte Regresión depende de estos parámetros. Por tal motivo se debe usar librerías de programación que tenga muy bien desarrollados la implementación de este algoritmo como por ejemplo Scikit Learn.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *