Curso de Apache Spark MLlib

spark.mllib: tipos de datos, algoritmos y utilidades

• Tipos de datos
• Estadísticas básicas
  • Resumen estadístico
  • Correlaciones
  • Muestreo estratificado
  • Prueba de hipótesis
  • Pruebas de significación de streaming
  • Generación de datos aleatorios
• Clasificación y regresión
  • modelos lineales (SVM, regresión logística, regresión lineal)
  • Bayes ingenuo
  • Árboles de decisión
  • conjuntos de árboles (Random Forests y árboles potenciados por gradiente)
  • Regresión isotónica
• Filtrado colaborativo
  • mínimos cuadrados alternos (ALS)
• Agrupamiento
  • K-medias
  • Mezcla gaussiana
  • clústeres de iteración de energía (PIC)
  • Asignación de Dirichlet latente (LDA)
  • bisectriz K-means
  • Transmisión K-means
• Reducción de dimensionalidad
  • descomposición de valores singulares (SVD)
  • análisis de componentes principales (PCA)
• Extracción y transformación de características
• Minería de patrones frecuente
  • FP-crecimiento
  • Reglas de la asociación
  • PrefixSpan
• Métricas de evaluación
• Exportación de modelos PMML
• Optimización (desarrollador)
  • Descenso de gradiente estocástico
  • BFGS DE MEMORIA LIMITADA (L-BFGS)

spark.ml: API de alto nivel para canalizaciones de ML

• Resumen: estimadores, transformadores y tuberías
• Extracción, transformación y selección de características
• Clasificación y regresión
• Agrupamiento
• Temas avanzados