Publicado como Conference Proceedings en Springer , un artículo presentado en el 23rd EPIA Conference on Artificial Intelligence celebrado en Viana do Castelo (Portugal). En este trabajo se ha utilizado redes convolucionales sobre la base de datos "Parkinson’s Disease Handwriting Database" (PaHaW), que está compuesta por el resultado de diferentes tareas manuscritas efectuadas tanto por pacientes de Parkinson como por sujetos de control. El objetivo de la investigación era el de crear un modelo para detectar y predecir, a nivel de trazo, sílaba y tarea, si un paciente presentaba la enfermedad de Parkinson.      

Publicación en Sensors . Este artículo presenta el uso de un modelo entrenable Pix2Pix, un tipo específico de red adversaria generativa condicional, como método para normalizar imágenes de texto escrito a mano. En el ámbito del reconocimiento de texto escrito a mano off-line , a lo largo de los años se han desarrollado numerosos algoritmos de normalización y preprocesamiento antes de aplicar los modelos de reconocimiento automático a imágenes escaneadas de texto manuscrito.  Estos algoritmos han demostrado eficacia para mejorar el rendimiento general de las arquitecturas de reconocimiento.  Sin embargo, muchos de estos métodos dependen en gran medida de estrategias heurísticas que no se integran perfectamente con la propia arquitectura de reconocimiento. Además, este algoritmo se puede integrar perfectamente como etapa inicial de cualquier arquitectura de aprendizaje profundo diseñada para tareas de reconocimiento escrito a mano. Además, este enfoque facilita el entrenamient...

Presentado en el congreso IWINAC 2022 y publicado como artículo en Lecture Notes in Computer Science .   Incluso hoy en día, el reconocimiento de texto manuscrito escaneado constituye un problema de investigación desafiante, especialmente cuando se trata de realizar tareas de reconocimiento en bases de datos históricas.  En este contexto, el objetivo principal del presente trabajo es exponer los resultados obtenidos tras entrenar una red convolucional profunda Seq2Seq con mecanismo de atención utilizando una combinación de imágenes de entrenamiento de palabras tanto de bases de datos contemporáneas como históricas, consiguiendose un error a nivel de palabra inferior al 40%. A la luz de los resultados obtenidos, se discute el efecto del uso de diferentes proporciones de texto moderno e histórico durante el proceso de entrenamiento sobre el rendimiento final del sistema.

Presentado en el congreso IWINAC 2022 y publicado como artículo en Lecture Notes in Computer Science .  En este trabajo se presenta una arquitectura neuronal profunda para el análisis de la estructura de postales históricas manuscritas.   La arquitectura se basa en una red de neuronas profunda de segmentación semántica que contempla diferentes tipos de categorías como: sellos, matasellos, texto manuscrito, ilustraciones y fondo.  El trabajo consigue unos resultados de acierto superiores al 92% a nivel de píxel.

Artículo publicado en la revista Pattern Recognition . Autores: Victoria Ruiz-Parrado, Ruben Heradio, Ernesto Aranda-Escolastico, Ángel Sánchez, José F. Vélez. El análisis automático de la escritura manuscrita es un reto muy importante. Hay que superar muchas dificultades (por ejemplo, diferentes estilos de escritura, alfabetos, idiomas, etc.) para abordar diversos problemas (reconocimiento de textos, verificación de firmas, identificación de escritores, localización de palabras, etc.). Este trabajo revisa la creciente literatura sobre el análisis de documentos manuscritos offlie en los últimos treinta años. Utilizando técnicas bibliométricas se examina una muestra de 5389 artículos. Este trabajo identifica (i) los artículos más influyentes en el área, (ii) los autores más productivos y sus redes de colaboración, (iii) los países e instituciones que han liderado la investigación sobre el tema, (iv) las revistas y conferencias que han publicado más artículos, y (v) los temas de investi...

Publicado en Sensors    Este trabajo compara una red SSD con una red YOLO para el problema de detección del paneles de publicidad exterior en entornos urbanos reales.  La detección de paneles de publicidad en imágenes ofrece importantes aplicaciones tanto en el mundo real como en el virtual. Por ejemplo, aplicaciones como Google Street View podrían utilizarla para actualizar o personalizar la publicidad que aparece en las imagenes de las calles.  En nuestros experimentos, tanto las redes SSD como las redes YOLO han producido resultados interesantes ante diferentes tamaños de paneles, condiciones de iluminación, perspectivas de visión, oclusiones parciales, fondos complejos y múltiples paneles en cada escenas.  Debido a la dificultad de encontrar imágenes anotadas para el problema considerado, creamos nuestro propio conjunto de datos para llevar a cabo los experimentos.  La mayor fortaleza del modelo SSD fue la casi eliminación de los casos de Falsos Po...

Publicado en Neurocomputing En este trabajo, se propone el uso de Siamese Neural Networks para ayudar a resolver el problema de verificación de firmas manuscritas fuera de línea con falsificaciones aleatorias en un contexto independiente del escritor. El sistema puede ser utilizado para verificar nuevos firmantes con tan solo una firma modelo con la que comparar. Se han analizado el uso de tres tipos de datos sintéticos para aumentar la cantidad de muestras y la variabilidad necesaria para el entrenamiento de redes neurales profundas: muestras de datos aumentados del conjunto de datos GAVAB, una propuesta de generación de firma sintética compositiva a partir de primitivas de forma y el conjunto de datos sintéticos GPDSS. Los dos primeros enfoques son generados "bajo demanda" y pueden utilizarse durante la fase de formación para producir un número potencialmente infinito de firmas sintéticas. El sistema se ha probado con los conjuntos de datos GPSSynthetic, MCYT, SigCo...

Publicado en Neurocomputing En este artículo se presenta un método para estimar la pose del cuerpo humano en 3D a partir de múltiples vistas 2D utilizando aprendizaje profundo. El sistema está formado una sucesión de subsistemas. Primeramente, se obtienen las poses 2D usando una red de neuronas profunda que detecta los puntos claves de un esqueleto simplificado del cuerpo en las vistas disponibles. Luego, se recosntruyen las coordenadas 3D de cada punto utilizando una propuesta original, basada en optimización de mínimos cuadrados, que analiza la calidad de las anteriores detecciones 2D para decidir si aceptarlas o no. Una vez que se dispone de las poses 3D, se estima la posición completa del cuerpo, teniendo en cuenta la historia pasada para refinarla mediante una red LSTM. En la parte experimental, el artículo ofrece unos resultados competitivos cuando se compara con trabajos representativos de la literatura. In this paper we present a deep learning based method to estimate the ...

Publicado en el congreso JENUI 2018 . El uso de ordenadores durante los exámenes de programación es una demanda muy habitual entre los estudiantes universitarios. En este trabajo se presenta una metodología para evaluar a los estudiantes de un curso de programación, que incorpora como novedad principal el uso del ordenador, por parte de los estudiantes, durante el examen. El trabajo comienza justificando las ventajas del uso del ordenador durante el examen y explicando los retos que introduce. Luego, se describen los diferentes procedimientos que componen la metodología propuesta: prácticas en casa, test unitarios, exámenes prácticos y exámenes tipo test. También se describen en este trabajo dos herramientas que se han desarrollado ad-hoc para complementar dicha metodología. La primera herramienta tiene por objetivo impedir el uso fraudulento del ordenador durante el examen. La segunda herramienta sirve para semiautomatizar la corrección de los exámenes. Finalmente, en ...

Publicado en Communications in Computer and Information Science The integration of geolocation, big data and cognitive agents has become one of the most boosting business tools of the digital era. By definition, geolocation represents the use of different technologies in a variety of applications to help locate humans and objects. To really achieve smart services, companies also require accessing huge volumes of related information to draw meaningful conclusions. With big data, it is possible to establish connections between a wide range of associated information, and use it to improve available services or create new ones. Today, the influence of geolocation, cloud data science and involved cognitive agents impacts many application fields, which include: safety and security, marketing, beacon technology, geofencing, location-sensitive services, transportation and logistics, healthcare, urban governance, intelligent buildings and smart cities, intelligent transport systems, advanced ...

Publicado en Lecture Notes in Computer Science Abstract Nowadays, Deep Learning is one of the most popular techniques which is used in several fields like handwriting text recognition. This paper presents our propose for a handwritten digit sequences recognition system. Our system, based in two stage model, is composed by Convolutional Neural Networks and Recurrent Neural Networks. Moreover, it is trained using on-demand scheme to recognize numbers from digits of the MNIST dataset. We will see that, with these training samples is not necessary segment or normalize the input images. Average recognition results were on 88,6% of accuracy in numbers of variable-length, between 1 and 10 digits. This accuracy is independent on the number length. Moreover, in most of the wrongly predicted numbers there was only one digit error.

Publicado en Neurocomputing Abstract This paper proposes the use of a new neural network architecture that combines a deep convolutional neural network with an encoder–decoder, called sequence to sequence, to solve the problem of recognizing isolated handwritten words. The proposed architecture aims to identify the characters and contextualize them with their neighbors to recognize any given word. Our model proposes a novel way to extract relevant visual features from a word image. It combines the use of a horizontal sliding window, to extract image patches, and the application of the LeNet-5 convolutional architecture to identify the characters. Extracted features are modeled using a sequence-to-sequence architecture to encode the visual characteristics and then to decode the sequence of characters in the handwritten text image. We test the proposed model on two handwritten databases (IAM and RIMES) under several experiments to determine the optimal parameterization of the model. C...

Publicado en Complexity Abstract Demographic handwriting-based classification problems, such as gender and handedness categorizations, present interesting applications in disciplines like Forensic Biometrics. This work describes an experimental study on the suitability of deep neural networks to three automatic demographic problems: gender, handedness, and combined gender-and-handedness classifications, respectively. Our research was carried out on two public handwriting databases: the IAM dataset containing English texts and the KHATT one with Arabic texts. The considered problems present a high intrinsic difficulty when extracting specific relevant features for discriminating the involved subclasses. Our solution is based on convolutional neural networks since these models had proven better capabilities to extract good features when compared to hand-crafted ones. Our work also describes the first approach to the combined gender-and-handedness prediction, which has not been addres...

Publicado en Expert Systems with Applications Abstract Automatic linguistic description of the available data about complex phenomena is a challenging task that is receiving the attention of data scientists in recent years. As an evolution of previous research results, there is a need of creating new linguistic computational models that allow us dealing with more complex phenomena and more complex descriptions of a growing amount of heterogeneous and real-time data. This paper contributes to this field by presenting three new ways of describing added-value information automatically extracted from data. Also, we extend previous computational models by including a description of the reliability of the available input data. Namely, we face this challenge by using a new implementation of the concept of Z-number proposed by Zadeh. We demonstrate the possibilities of the proposed extension with a practical application. The application generates automatic linguistic repor...

Publicado en Plos One Abstract One reason for the aggressiveness of the pancreatic cancer is that it is diagnosed late, which often limits both the therapeutic options that are available and patient survival. The long-term survival of pancreatic cancer patients is not possible if the tumor is not resected, even among patients who receive chemotherapy in the earliest stages. The main objective of this study was to create a prediction model for in-hospital mortality after a pancreatectomy in pancreatic cancer patients. We performed a retrospective study of all pancreatic resections in pancreatic cancer patients in Spanish public hospitals (2013). Data were obtained from records in the Minimum Basic Data Set. To develop the prediction model, we used a boosting method. The in-hospital mortality of pancreatic resections in pancreatic cancer patients was 8.48% in Spain. Our model showed high predictive accuracy, with an AUC of 0.91 and a Brier score of 0.09, which...

Publicado en Lecture Notes in Computer Science Abstract Goal-oriented human-machine situation-awareness systems focus on the challenges related to perception of the elements of an environment and their state, within a time-space window, the comprehension of their meaning and the estimation of their state in the future. Present computer-supported situation awareness systems provide real-time information fusion from different sources, basic data analysis and recognition, and presentation of the corresponding data using some augmented reality principles. However, a still open research challenge is to develop advanced supervisory systems, platforms and frameworks that support higher-level cognitive activities, integrate domain specific associated knowledge, learning capabilities and decision support. To address these challenges, a novel cognitive architecture framework is presented in this paper, which emphasizes the role of the Associated Reality as a new cognitive lay...

Publicado en Pattern Recognition Abstract In this work, we address human activity and hand gesture recognition problems using 3D data sequences obtained from full-body and hand skeletons, respectively. To this aim, we propose a deep learning-based approach for temporal 3D pose recognition problems based on a combination of a Convolutional Neural Network (CNN) and a Long Short-Term Memory (LSTM) recurrent network. We also present a two-stage training strategy which firstly focuses on CNN training and, secondly, adjusts the full method (CNN+LSTM). Experimental testing demonstrated that our training method obtains better results than a single-stage training strategy. Additionally, we propose a data augmentation method that has also been validated experimentally. Finally, we perform an extensive experimental study on publicly available data benchmarks. The results obtained show how the proposed approach reaches state-of-the-art performance when compared to the methods i...

Publicado en Advances in Intelligent Systems and Computing  We present our current work on building a deep learning architecture for the offline handwritten character recognition problem. The proposed system is based on training a deep Convolutional Neural Network (CNN) to recognize handwritten characters, using a new synthetic character database derived from UNIPEN dataset. The presented approach is inspired in some successfully-used neural architectures for image classification, specially the VGG-CNN. Our system reads each word with the help of a sliding window in a similar way to how humans do. An innovative feature of our proposal is using a synthetic character database specifically built, in a optimized way, to identify the characters as component elements of the words. Experiments with this new training synthetic dataset produced recognition rates of 98.4% for uppercase and 96.3% for lowercase, respectively.

Publicado en Expert Systems with Application Abstract This work presents an ensemble of Attractor Neural Networks (ANN) modules, that increases the patterns’ storage, at similar computational cost when compared with a single-module ANN system. We build the ensemble of ANN components, and divide the uniform random patterns’ set into disjoint subsets during the learning stage, such that each subset is assigned to a different component. In this way, a larger overall number of patterns can be stored by the ANN ensemble, where each of its modules has a moderate pattern load, being able to retrieve its corresponding assigned subset with the desired quality. Allowing some noise in the retrieval, we are able to recall a larger number of patterns while discriminating between pattern subsets assigned to each component in the ensemble. We showed that the ANN ensemble system with units is able to approximately triple the maximal capacity of the single ANN, with similar wiring costs. We test...

Publicado en 12th International Conference on Natural Computation and 13th International Conference on Fuzzy Systems and Knowledge Discovery Abstract The Computational Theory of Perceptions (CTP) provides capabilities for linguistic summarization of data and it aims the description of patterns emerging from these data by means of linguistic expressions. This technique is particularly well suited in applications where there is the need of understanding the information at different levels of expertise and/or when intense human-computer interaction is required. In this paper, we present a CTP-based system able to generate valuable linguistic reports from findings in breast image mammograms using the BI-RADS radiology standard. The implemented framework uses data obtained through the fusion of information provided by different medical experts on the same mammography. Then, our system automatically produces a collection of valid sentences describing: the breast lesion ...