¿Te interesa la visión por computador? ¿Te gustaría saber cómo se puede reconocer el contenido visual de las imágenes y clasificarlas a partir de su contenido? En este curso aprenderás diferentes métodos de representación y clasificación de imágenes. El temario del curso te permitirá conocer el esquema básico de clasificación de imágenes conocido como Bag of Visual Words. A partir de este esquema básico aprenderás cómo utilizar varios descriptores locales de la imagen así como los métodos de clasificación más habituales. También describiremos diferentes extensiones del esquema básico que permiten combinar distintos descriptores, incluir información espacial o mejorar la representación final de la imagen. Finalizar el curso te permitirá: • Diseñar soluciones adaptadas para diferentes problemas de clasificación y reconocimiento de imágenes • Conocer las principales técnicas usadas para la descripción y clasificación de una imagen • Acceder a las herramientas que permiten el desarrollo de aplicaciones reales de clasificación de imágenes El curso está orientado tanto a estudiantes universitarios de algún grado relacionado con la informática, la ingeniería o las matemáticas, como a otros estudiantes con conocimientos de programación, interesados en aprender cómo utilizar técnicas de visión por computador para extraer información de las imágenes.
Características locales de la imagen
Loading...
Из курса от партнера Universitat Autònoma de Barcelona
Clasificación de imágenes: ¿cómo reconocer el contenido de una imagen?
66 оценки
Universitat Autònoma de Barcelona
66 оценки
Из урока
Introducción a la clasificación de imágenes
En esta primera semana explicaremos los fundamentos de la clasificación de imágenes y presentaremos todos los pasos de un primer sistema de clasificación básico. Para ello, primero veremos algunos conceptos básicos sobre el procesamiento de una imagen que nos servirán para introducir un primer método para detectar y describir características locales (SIFT) en una imagen. Luego veremos cómo podemos agrupar estas características locales para representar toda la imagen y explicaremos un primer clasificador simple, k-NN. Finalmente comentaremos los aspectos básicos de la evaluación del rendimiento de un sistema de clasificación de imágenes.
Познакомьтесь с преподавателями
Ernest ValvenyCatedrático Escuela Universitaria
Departamento de Ciencias de la Computación
Jordi Gonzàlez SabatéProfesor Titular de Universidad
Departamento de Ciencias de la Computación
Ramon Baldrich CasellesProfesor titular
Departamento de Ciencias de la Computación
[MÚSICA] En el primer vídeo hemos introducido el problema de la
clasificación de imágenes y hemos presentado este esquema que vemos aquí
y que será el que iremos siguiendo a lo largo de todo el curso.
En este esquema ya podemos ver todos los pasos que intervienen
en un sistema de clasificación de imágenes.
Tal como comentamos en el vídeo anterior la clasificación se va a basar siempre en
un primer paso de detección y descripción de características locales en lo que
consideraremos puntos de interés de la imagen, características que nos interesará
que sean repetitivas en varias imágenes y que además sean discriminativas.
En este vídeo lo que vamos a hacer es introducir algunos conceptos básicos sobre
las imágenes y sobre las técnicas que vamos a utilizar para procesarlas
y para poder detectar las características locales.
Vamos a explicar solo aquello que consideramos imprescindible para poder
entender correctamente los detectores de características,
que iremos viendo a lo largo del curso.
Empezaremos por el concepto mismo de imagen, en general vamos a trabajar
con imágenes en color que estarán capturadas por cámaras digitales estándar.
El resultado que se obtiene cuándo capturamos una imagen con una cámara
depende esencialmente de tres factores.
En primer lugar el color de la luz que ilumina la escena,
en segundo lugar el tipo de material de la escena que estamos capturando y que
tendrá unas propiedades de la refracción de la luz diferentes para cada material
y por último la sensibilidad de la cámara que estamos utilizando que
evidentemente será diferente en función del modelo y de la calidad de la cámara.
Hay que decir que normalmente las cámaras tienen tres sensores, que son sensibles
a diferentes longitudes de onda de la luz y que habitualmente estas longitudes
a las que son sensibles se corresponden con los colores rojo, verde y azul.
Es con estos tres sensores que las cámaras intentan cubrir la sensibilidad
a todo el espectro visible.
De esta forma, el resultado final cuando capturamos una imagen es una matriz de
puntos, lo que normalmente conocemos como los píxeles de la imagen.
Si ampliamos una eternidad la zona de esta imagen
podemos ver que el valor del color con cada uno de los píxeles de la imagen se
obtiene como la combinación de tres valores.
Que corresponden al canal rojo, al canal verde y al canal azul,
RGB de las siglas en inglés de red, green and blue.
Por lo tanto cada píxel viene dado por tres valores numéricos, que en general
están en el rango entre 0 y 255, donde el 0 indica la ausencia de color
y el 255 indica la máxima representación de ese color en un punto.
En este caso el color del pixel es un color turquesa claro,que viene dado por
valores altos de verde y de azul y un color un valor medio del color rojo.
En muchos casos, en vez de trabajar con la imagen en color,
trabajaremos con la imagen de intensidad que
se relaciona únicamente con la cantidad de luz que cada punto de la escena emite.
En este caso entendemos que la intensidad de cada píxel se representa en niveles de
gris y se puede estimar a partir de los valores del color rojo, verde y azul.
A partir de la suma de los tres valores normalizado en este caso por el máximo del
rojo, el verde y el azul, para mantener la intensidad tenga el rango de 0 a 255.
En general intensidades menores corresponden a valores oscuros,
y las mayores intensidades corresponden a las zonas claras de la imagen.
La imagen de intensidad aparte de cómo una matriz de píxeles,
también se puede ver como una función bidimensional, donde para cada punto,
para cada píxel de la imagen vamos a tener una coordenada en el EGX y
una coordenada en el EGY griega, y un valor de la función de intensidad.
Si dibujamos esta función de intensidad en 3D, cómo
tenemos en esta figura de aquí podemos ver que los picos los, los valores altos de
esta función de intensidad se corresponden con las zonas claras de la imagen.
Mientras que los valores bajos de esta función de intensidad,
lo que serían los valles en esta representación 3D,
se corresponden con las zonas oscuras de la imagen.
Esta visión de la imagen como una función bidimensional
es la que nos va a ayudar a poder definir las características locales de la imagen,
de una forma matemática muy bien definida.
Empecemos definiendo el concepto de característica local ó Local
feature en inglés.
Una característica local describe las propiedades de un píxel de la imagen,
con respecto a su entorno más local.
Estas características pueden representar diferentes estructuras cómo por ejemplo
regiones de intensidad homogénea,
lo que llamaremos blobs ó bien los contornos de la imagen.
Y lo importante de estas características es que se van a poder obtener
analizando de forma matemática las propiedades de la función de intensidad.
por ejemplo una de las características locales más comunes en
visión por computador, son los contornos de los objetos que aparecen en una imagen,
ya que nos van a dar información directa sobre qué objetos tenemos en una imagen.
En este caso, por ejemplo,
los contornos principales de esta imagen podrían ser estos de aquí.
Y podemos ver que se corresponden con aquellas zonas de la
imagen donde tenemos un alto contraste de forma local.
Si ampliamos una de las zonas de esta imagen,
en este caso por ejemplo un contorno principal estaría aquí.
Y si lo representamos también como una función entre 3D vemos que
estos puntos de la imagen se corresponden con esta zona de la función aquí,
que corresponde precisamente a los puntos donde tenemos una mayor
variación local de la función de intensidad.
Sabemos que para analizar las variaciones locales de una función tenemos el concepto
de derivada, y por lo tanto los contornos se podrán detectar
analizando puntos máximos en la derivada de la función de intensidad.
La manera práctica más habitual de realizar este análisis
local del entorno de los píxeles, en la función de intensidad,
es mediante la utilización de filtros locales.
Un filtro como por ejemplo este que vemos aquí nos define una serie de pesos que se
van a aplicar a cada uno de los vecinos de un determinado píxel,
de forma que vamos a obtener un nuevo valor que nos va a dar la respuesta
de ese píxel a la característica local que nos está definiendo el filtro.
Vamos a verlo con un ejemplo,
y vamos a ampliar una pequeña zona de la imagen anterior y obtenemos esta matriz,
donde tenemos lados valores de intensidad de cada uno de los píxeles en la región.
Si queremos aplicar el filtro anterior en uno de los píxeles de esta imagen,
por ejemplo este de aquí, el resultado va a ser la combinación de los píxeles
vecinos ponderados por el valor del filtro si lo centramos en este píxel determinado.
En este caso la vecindad que vamos a considerar va a ser una vecindad
de 3 por 3, ya que este es el tamaño del filtro que estamos considerando.
Al aplicar el filtro los píxeles situados a la izquierda del píxel
central se van a ponderar con un valor más 1,
ya que este es el valor que tenemos en la columna izquierda del filtro.
Y los píxeles que tenemos a la derecha del valor central se van a ponderar con un
valor menos 1, ya que este es el valor que tenemos en la columna derecha del filtro.
Los píxeles de la columna central como tenemos un 0 en el
filtro no se van a tener en cuenta.
El resultado final de aplicar el filtro va a ser la suma de todos los
píxeles situados a la izquierda menos la suma de
todos los píxeles situados en la columna derecha, ya que esta es la ponderación
de los píxeles en cada una de estas vecindades del píxel en cuestión.
El resultado final en este caso va a ser 116.
Esto nos da un valor medio del filtro ya que este píxel está ubicado en una zona
donde tenemos un cierto contraste en la dirección horizontal
que es precisamente la característica local que trata de detectar este filtro.
Sin embargo si y este mismo filtro lo aplicamos en un punto
donde tenemos bajo contraste, como por ejemplo este de aquí,
donde tenemos poca diferencia de izquierda a derecha el resultado a aplicar en el
centro el resultado va a ser 0, indicando que tenemos una baja respuesta de
este punto a la característica local en cuestión.
Para poner obtener las características locales en todos los píxeles de la imagen
lo que se puede hacer es aplicar el filtro secuencialmente en todos los píxeles de la
imagen original, empezando por el píxel situado en la parte superior izquierda
de la imagen, y vamos continuando por todos los píxeles de esta fila.
A continuación los de la segunda fila y así sucesivamente pasando todos los
píxeles de la imagen de manera que obtenemos cómo resultado una nueva imagen
donde el valor de cada píxel en esta nueva imagen es la respuesta de
la imagen original a la característica local definida por el filtro.
En este caso podemos ver que tenemos valores relativamente elevados en esta
diagonal, son estos valores de la imagen resultado, que se corresponden con
los píxeles de la imagen original también en esta diagonal que se son precisamente
los píxeles que tenían un elevado contraste en la dirección horizontal,
que como hemos dicho es la característica y está tratando de detectar este filtro.
La manera matemática informal de realizar esta aplicación de un filtro por la imagen
es mediante la utilización la operación de la convolución.
La convolución es una operación que se utiliza habitualmente en teoría de la
señal para descomponer una señal dada, en una serie de funciones más simples.
La convolución se define de la forma siguiente.
Es una operación que se aplica entre dos funciones, la función f,
que es la señal de entrada, y la función g, que es la función básica,
y lo que intenta es caracterizar el grado de solapamiento entre las dos funciones.
Como podemos ver, se expresa como el producto de las dos funciones
sobre una ventana del entorno del punto.
En visión por computador la convolución se ha usado para
cambiar el aspecto global de una imagen, ya sea suavizando sus contornos,
o agudizándolos y también, que es lo que básicamente nos importa a nosotros,
para la extracción de características locales.
Cuando aplicamos la convolución a la visión por computador para extraer las
características locales, la función f, la señal de entrada, se corresponde con la
imagen original, mientras que la función básica g, se corresponde con el
filtro que nos define la característica local que queremos detectar.
La convolución en este caso nos va a medir el
grado de solapamiento entre un punto de la imagen y el filtro, por lo tanto,
nos va a dar la respuesta de ese punto, a la característica local.
Fijémonos que el sumatorio viene definido por el tamaño del filtro,
que nos define el entorno local alrededor del punto de la imagen original.
Vamos a analizar con un poco más de detalle
el cálculo que nos define la convolución.
El primer aspecto que tenemos que considerar son las coordenadas x prima,
y prima del filtro.
Vemos que estas coordenadas se definen con origen en el punto central, es decir,
la coordenada (0,0) se corresponde con el punto central del filtro,
y las coordenadas del resto de puntos del filtro, se definen respecto a este origen,
de manera que el punto situado a la izquierda y arriba, es la coordenada
menos 1, menos 1, y el punto situado abajo a la derecha es el punto 1,1.
Cuando aplicamos el filtro definido con este sistema de coordenadas,
a la fórmula de la convolución,
obtenemos el siguiente sumatorio, como el entorno local se define a partir de
la diferencia de la coordenada en la imagen, menos la coordenada en el filtro,
nos queda que el punto del filtro en la coordenada menos 1, menos 1,
se combina con el punto en la imagen en la coordenada x+1, y+1.
De la misma forma, en valor del kerner en la posición 0,
menos 1 se combina con el valor en la imagen de la posición x,
y+1, mientras que el valor del kerner en la posición 1,
menos 1 se combina con el valor de la imagen en la posición x menos 1, y+1.
Y así para el resto de sumando de la expresión.
Podemos ver de esta forma que la coordinada superior izquierda del
filtro se combina con el punto que está situado a la derecha y abajo
del pixel de la imagen original, mientras que la coordenada inferior derecha
del filtro se combina con el punto que está situado en la coordenada
a la izquierda y arriba del pixel en la imagen original.
Así pues, podemos ver que hay un intercambio en la posición entre imagen
y el filtro, con lo que, el efecto de aplicar el filtro es el inverso al que
aparentemente podríamos esperar de los valores del filtro.
En este caso en concreto, aunque el filtro nos define como valores negativos los de
la columna izquierda y valores positivos los de la columna derecha,
el efecto de aplicar la convolución con este filtro es el inverso, es decir,
los píxeles en la columna izquierda se ponderan como positivos,
mientras que los píxeles de la columna a la derecha se ponderan como negativos.
Hay que tener en cuenta que esta inversión se va a producir tanto en
la dirección horizontal, como en la dirección vertical.
Sin embargo, como este filtro es simétrico en la dirección vertical,
la inversión solo se produce horizontalmente.
Para filtros que sean totalmente simétricos,
el efecto de la inversión será, por lo tanto, inexistente.
Finalmente, vamos a ver un ejemplo de como se puede aplicar la convolución para
detectar los contornos en una imagen.
Para ello definimos cuatro filtros que nos van a permitir detectar
los contornos tanto en dirección vertical como en dirección horizontal,
y además tanto si el contraste de izquierda a derecha es,
pasa de blanco a negro como si pasa de negro a blanco.
Este primer filtro de aquí nos va a permitir detectar contornos verticales,
donde tengamos un alto contraste de blanco a negro, por ejemplo,
en esta zona de la imagen tenemos una respuesta alta del filtro.
El segundo filtro también nos permite detectar contornos verticales,
pero cuando el cambio de contraste es de negro a blanco.
Por ejemplo, en esta zona de la imagen tenemos una alta respuesta de este filtro.
Los dos últimos filtros nos van a permitir detectar contornos horizontales.
En el primer paso cuando tenemos un alto contraste de negro a blanco,
por ejemplo, en esta zona de la imagen de aquí, tenemos una alta respuesta y,
en este último filtro, cuando tenemos un alto contraste,
una alta diferencia de contraste de blanco a negro,
por ejemplo en esta zona de la imagen de aquí, con esta respuesta del filtro.
En este vídeo, hemos explicado conceptos muy básico sobre cómo se obtiene
y cómo se representa una imagen, los necesarios para poder definir luego el
concepto de característica local como una herramienta que nos permite analizar
las propiedades de una imagen a partir de la vecindad de cada píxel.
Hemos introducido también el concepto de convolución como una herramienta
matemática, que nos va a permitir detectar características locales en la imagen.
En el próximo vídeo vamos a utilizar todos estos conceptos,
para ya introducir uno de los detectores de puntos de interés que más se utilizan
en la clasificación de la imagen, el que se conoce como detector shift.
[AUDIO EN BLANCO]
Ознакомьтесь с нашим каталогом
Присоединяйтесь бесплатно и получайте персонализированные рекомендации, обновления и предложения.
Coursera делает лучшее в мире образование доступным каждому, предлагая онлайн-курсы от ведущих университетов и организаций.
© Coursera Inc., 2019 Все права защищены.
