Ir al contenido principal

Convolutional Neural Networks and Long Short-Term Memory for skeleton-based human activity and hand gesture recognition

Publicado en Patter Recognition (PDF)

En este trabajo, abordamos los problemas de la actividad humana y el reconocimiento de los gestos de las manos utilizando secuencias de datos en 3D obtenidas a partir de esqueletos de cuerpo entero y de manos, respectivamente. Para ello, proponemos un enfoque basado en el aprendizaje profundo para que el 3D temporal plantee problemas de reconocimiento basado en la combinación de una Red Neural Convolucional (CNN) y una red recurrente de Larga Memoria a Corto Plazo (LSTM). También presentamos una estrategia de formación en dos etapas que, en primer lugar, se centra en la formación de CNN y, en segundo lugar, ajusta el método completo (CNN+LSTM). Las pruebas experimentales demostraron que nuestro método de entrenamiento obtiene mejores resultados que una estrategia de entrenamiento de una sola etapa. Además, proponemos un método de aumento de datos que también ha sido validado experimentalmente. Por último, realizamos un amplio estudio experimental sobre puntos de referencia de datos disponibles públicamente. Los resultados obtenidos muestran cómo el enfoque propuesto alcanza un rendimiento de vanguardia en comparación con los métodos identificados en la literatura. Los mejores resultados se obtuvieron para conjuntos de datos pequeños, donde la estrategia de aumento de datos propuesta tiene mayor impacto.

Entradas populares de este blog

Multiview 3D human pose estimation using improved least-squares and LSTM networks

Publicado en Neurocomputing En este artículo se presenta un método para estimar la pose del cuerpo humano en 3D a partir de múltiples vistas 2D utilizando aprendizaje profundo. El sistema está formado una sucesión de subsistemas. Primeramente, se obtienen las poses 2D usando una red de neuronas profunda que detecta los puntos claves de un esqueleto simplificado del cuerpo en las vistas disponibles. Luego, se recosntruyen las coordenadas 3D de cada punto utilizando una propuesta original, basada en optimización de mínimos cuadrados, que analiza la calidad de las anteriores detecciones 2D para decidir si aceptarlas o no. Una vez que se dispone de las poses 3D, se estima la posición completa del cuerpo, teniendo en cuenta la historia pasada para refinarla mediante una red LSTM. En la parte experimental, el artículo ofrece unos resultados competitivos cuando se compara con trabajos representativos de la literatura. In this paper we present a deep learning based method to estimate the

Off-line handwritten signature verification using compositional synthetic generation of signatures and Siamese Neural Networks

Publicado en Neurocomputing En este trabajo, se propone el uso de Siamese Neural Networks para ayudar a resolver el problema de verificación de firmas manuscritas fuera de línea con falsificaciones aleatorias en un contexto independiente del escritor. El sistema puede ser utilizado para verificar nuevos firmantes con tan solo una firma modelo con la que comparar. Se han analizado el uso de tres tipos de datos sintéticos para aumentar la cantidad de muestras y la variabilidad necesaria para el entrenamiento de redes neurales profundas: muestras de datos aumentados del conjunto de datos GAVAB, una propuesta de generación de firma sintética compositiva a partir de primitivas de forma y el conjunto de datos sintéticos GPDSS. Los dos primeros enfoques son generados "bajo demanda" y pueden utilizarse durante la fase de formación para producir un número potencialmente infinito de firmas sintéticas. El sistema se ha probado con los conjuntos de datos GPSSynthetic, MCYT, SigCo

ASTRID - Análisis y Transcripción Semántica para Imágenes de Documentos Manuscritos

Ministerio de Ciencias, innovación y universidades Advances in the development of methods for automatically extracting and understanding the content of handwritten digitized documents will continue being an important need for our society. This project addresses three challenging computational problems related to automatic handwritten text processing of document images: (1) document layout extraction over unstructured documents, (2) continuous handwritten text recognition under unrestricted conditions and (3) offline verification of human signatures using advanced deep neural models, respectively. The proposed solutions to previous problems will be adapted to several applications presenting a socio-economic interest. In particular: the analysis and transcription of historical documents, and some demographic prediction problems based on use of handwriting (for example, recognizing the gender or handedness of a person). In this project, we will emphasize the application of developments