Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Programa del Curso
Introducción a los modelos multimodales
- Información general sobre el aprendizaje automático multimodal
- Aplicaciones de los modelos multimodales
- Desafíos en el manejo de múltiples tipos de datos
Arquitecturas para modelos multimodales
- Explorando modelos como CLIP, Flamingo y BLIP
- Comprender los mecanismos de atención intermodal
- Consideraciones arquitectónicas para la escalabilidad y la eficiencia
Preparación de conjuntos de datos multimodales
- Técnicas de recopilación y anotación de datos
- Preprocesamiento de entradas de texto, imágenes y vídeo
- Equilibrio de conjuntos de datos para tareas multimodales
Técnicas de ajuste fino para modelos multimodales
- Configuración de canalizaciones de entrenamiento para modelos multimodales
- Administración de restricciones de memoria y computación
- Manejo de la alineación entre modalidades
Aplicaciones de los modelos multimodales afinados
- Respuesta visual a preguntas
- Subtítulos de imágenes y vídeos
- Generación de contenidos mediante insumos multimodales
Optimización y evaluación del rendimiento
- Métricas de evaluación para tareas multimodales
- Optimización de la latencia y el rendimiento para la producción
- Garantizar la solidez y la coherencia en todas las modalidades
Implementación de modelos multimodales
- Modelos de empaquetado para la implementación
- Scalable inferencia en plataformas en la nube
- Aplicaciones e integraciones en tiempo real
Casos de estudio y laboratorios prácticos
- Ajuste fino de CLIP para la recuperación de imágenes basada en contenido
- Entrenamiento de un chatbot multimodal con texto y video
- Implementación de sistemas de recuperación intermodales
Resumen y próximos pasos
Requerimientos
- Competencia en Python programación
- Comprensión de los conceptos de aprendizaje profundo
- Experiencia con el ajuste fino de modelos previamente entrenados
Audiencia
- Investigadores de IA
- Científicos de datos
- Profesionales del aprendizaje automático
28 Horas