Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas

Obtener datos etiquetados para el entrenamiento de redes neuronales en tareas de reconocimiento de lengua de señas es un desafío difícil y costoso. En este artículo investigamos la factibilidad de generar datos utilizando Generative Adversarial Networks (GAN), para mejorar el entrenamiento de redes...

Descripción completa

Guardado en:

Detalles Bibliográficos
Autores principales:	Ríos, Gastón Gustavo, Dal Bianco, Pedro Alejandro, Ronchetti, Franco, Quiroga, Facundo Manuel, Stanchi, Oscar, Hasperué, Waldo
Formato:	Objeto de conferencia
Lenguaje:	Español
Publicado:	2023
Materias:	Ciencias Informáticas Reconocimiento de señas Lengua de señas Red generativa antagónica SPADE ACGAN Estimación de pose
Acceso en línea:	http://sedici.unlp.edu.ar/handle/10915/164827
Aporte de:	SEDICI (UNLP) de Universidad Nacional de La Plata

id	I19-R120-10915-164827
record_format	dspace
spelling	I19-R120-10915-1648272024-04-15T20:03:11Z http://sedici.unlp.edu.ar/handle/10915/164827 Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas Ríos, Gastón Gustavo Dal Bianco, Pedro Alejandro Ronchetti, Franco Quiroga, Facundo Manuel Stanchi, Oscar Hasperué, Waldo 2023-10 2024 2024-04-15T16:01:32Z es Ciencias Informáticas Reconocimiento de señas Lengua de señas Red generativa antagónica SPADE ACGAN Estimación de pose Obtener datos etiquetados para el entrenamiento de redes neuronales en tareas de reconocimiento de lengua de señas es un desafío difícil y costoso. En este artículo investigamos la factibilidad de generar datos utilizando Generative Adversarial Networks (GAN), para mejorar el entrenamiento de redes neuronales. Específicamente, generamos imágenes de manos condicionando los modelos GAN con información semántica de poses y etiquetas. Comparamos los modelos ReACGAN y SPADE en la generación de nuevas imágenes de alta calidad. Evaluamos la generación de señas en dos conjuntos de datos: RWTH y HaGRID. Se entrenaron modelos generativos utilizando subconjuntos de tamaño reducido para probar el efecto de la reducción de datos de entrenamiento. Medimos la calidad de los modelos resultantes utilizando métricas cuantitativas (FID, IS, cobertura y densidad) y cualitativas (encuestas). Como resultado obtuvimos modelos GAN capaces de generar señas con un buen nivel de realismo que luego podrán ser utilizados para aumentar conjuntos de datos de lengua de señas. Red de Universidades con Carreras en Informática Instituto de Investigación en Informática Objeto de conferencia Objeto de conferencia http://creativecommons.org/licenses/by-nc-sa/4.0/ Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) application/pdf 18-26
institution	Universidad Nacional de La Plata
institution_str	I-19
repository_str	R-120
collection	SEDICI (UNLP)
language	Español
topic	Ciencias Informáticas Reconocimiento de señas Lengua de señas Red generativa antagónica SPADE ACGAN Estimación de pose
spellingShingle	Ciencias Informáticas Reconocimiento de señas Lengua de señas Red generativa antagónica SPADE ACGAN Estimación de pose Ríos, Gastón Gustavo Dal Bianco, Pedro Alejandro Ronchetti, Franco Quiroga, Facundo Manuel Stanchi, Oscar Hasperué, Waldo Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas
topic_facet	Ciencias Informáticas Reconocimiento de señas Lengua de señas Red generativa antagónica SPADE ACGAN Estimación de pose
description	Obtener datos etiquetados para el entrenamiento de redes neuronales en tareas de reconocimiento de lengua de señas es un desafío difícil y costoso. En este artículo investigamos la factibilidad de generar datos utilizando Generative Adversarial Networks (GAN), para mejorar el entrenamiento de redes neuronales. Específicamente, generamos imágenes de manos condicionando los modelos GAN con información semántica de poses y etiquetas. Comparamos los modelos ReACGAN y SPADE en la generación de nuevas imágenes de alta calidad. Evaluamos la generación de señas en dos conjuntos de datos: RWTH y HaGRID. Se entrenaron modelos generativos utilizando subconjuntos de tamaño reducido para probar el efecto de la reducción de datos de entrenamiento. Medimos la calidad de los modelos resultantes utilizando métricas cuantitativas (FID, IS, cobertura y densidad) y cualitativas (encuestas). Como resultado obtuvimos modelos GAN capaces de generar señas con un buen nivel de realismo que luego podrán ser utilizados para aumentar conjuntos de datos de lengua de señas.
format	Objeto de conferencia Objeto de conferencia
author	Ríos, Gastón Gustavo Dal Bianco, Pedro Alejandro Ronchetti, Franco Quiroga, Facundo Manuel Stanchi, Oscar Hasperué, Waldo
author_facet	Ríos, Gastón Gustavo Dal Bianco, Pedro Alejandro Ronchetti, Franco Quiroga, Facundo Manuel Stanchi, Oscar Hasperué, Waldo
author_sort	Ríos, Gastón Gustavo
title	Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas
title_short	Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas
title_full	Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas
title_fullStr	Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas
title_full_unstemmed	Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas
title_sort	generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas
publishDate	2023
url	http://sedici.unlp.edu.ar/handle/10915/164827
work_keys_str_mv	AT riosgastongustavo generaciondegestosdelenguadesenasconredesneuronalesgenerativasbasadasenposesyetiquetas AT dalbiancopedroalejandro generaciondegestosdelenguadesenasconredesneuronalesgenerativasbasadasenposesyetiquetas AT ronchettifranco generaciondegestosdelenguadesenasconredesneuronalesgenerativasbasadasenposesyetiquetas AT quirogafacundomanuel generaciondegestosdelenguadesenasconredesneuronalesgenerativasbasadasenposesyetiquetas AT stanchioscar generaciondegestosdelenguadesenasconredesneuronalesgenerativasbasadasenposesyetiquetas AT hasperuewaldo generaciondegestosdelenguadesenasconredesneuronalesgenerativasbasadasenposesyetiquetas
_version_	1807222931181273088

Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas

Ejemplares similares