Descargar TransmogrifAI - Descargar el código fuente TransmogrifAI

TransmogrifAI

Otro código fuente

0.7.0

Descargar

Transmarrifai

Transmogrifai (pronunciado trăns-mŏgˈrə-fī) es una biblioteca Automl escrita en Scala que se ejecuta sobre Apache Spark. Se desarrolló con un enfoque en acelerar la productividad del desarrollador de aprendizaje automático a través de la automatización del aprendizaje automático y una API que hace cumplir la seguridad de tipo de compilación, modularidad y reutilización. A través de la automatización, logra precisiones cercanas a los modelos ajustados a mano con casi 100x reducción en el tiempo.

Use transmogrifai si necesita una biblioteca de aprendizaje automático para:

Cree aplicaciones de aprendizaje automático de producción de producción en horas, no meses
Construya modelos de aprendizaje automático sin obtener un Ph.D. En el aprendizaje automático
Construir flujos de trabajo de aprendizaje automático modular, reutilizable y fuertemente escrito

Para comprender la motivación detrás de TransMogrifai, consulte estos:

Abierto de abastecimiento transmarrifai: aprendizaje automático automatizado para datos estructurados, una publicación de blog de @snabar
Conozca a transmogrifai, código abierto Automl que alimenta las predicciones de Einstein, una charla de @tovbinm
Learning Machine Learning, una charla de @leAhmcGuire

Salte al inicio y la documentación rápida.

Predicción de sobrevivientes titánicos con transmarrifai

El conjunto de datos Titanic es un conjunto de datos a menudo citado en la comunidad de aprendizaje automático. El objetivo es construir un modelo aprendido a máquina que predice sobrevivientes del manifiesto de pasajeros Titanic. Así es como construiría el modelo usando transmogrifai:

 import com . salesforce . op . _
import com . salesforce . op . readers . _
import com . salesforce . op . features . _
import com . salesforce . op . features . types . _
import com . salesforce . op . stages . impl . classification . _
import org . apache . spark . SparkConf
import org . apache . spark . sql . SparkSession

implicit val spark = SparkSession .builder.config( new SparkConf ()).getOrCreate()
import spark . implicits . _

// Read Titanic data as a DataFrame
val passengersData = DataReaders . Simple .csvCase[ Passenger ](path = pathToData).readDataset().toDF()

// Extract response and predictor Features
val (survived, predictors) = FeatureBuilder .fromDataFrame[ RealNN ](passengersData, response = " survived " )

// Automated feature engineering
val featureVector = predictors.transmogrify()

// Automated feature validation and selection
val checkedFeatures = survived.sanityCheck(featureVector, removeBadFeatures = true )

// Automated model selection
val pred = BinaryClassificationModelSelector ().setInput(survived, checkedFeatures).getOutput()

// Setting up a TransmogrifAI workflow and training the model
val model = new OpWorkflow ().setInputDataset(passengersData).setResultFeatures(pred).train()

println( " Model summary: n " + model.summaryPretty())

Resumen del modelo:

 Evaluated Logistic Regression, Random Forest models with 3 folds and AuPR metric.
Evaluated 3 Logistic Regression models with AuPR between [0.6751930383321765, 0.7768725281794376]
Evaluated 16 Random Forest models with AuPR between [0.7781671467343991, 0.8104798040316159]

Selected model Random Forest classifier with parameters:
|-----------------------|--------------|
| Model Param           |     Value    |
|-----------------------|--------------|
| modelType             | RandomForest |
| featureSubsetStrategy |         auto |
| impurity              |         gini |
| maxBins               |           32 |
| maxDepth              |           12 |
| minInfoGain           |        0.001 |
| minInstancesPerNode   |           10 |
| numTrees              |           50 |
| subsamplingRate       |          1.0 |
|-----------------------|--------------|

Model evaluation metrics:
|-------------|--------------------|---------------------|
| Metric Name | Hold Out Set Value |  Training Set Value |
|-------------|--------------------|---------------------|
| Precision   |               0.85 |   0.773851590106007 |
| Recall      | 0.6538461538461539 |  0.6930379746835443 |
| F1          | 0.7391304347826088 |  0.7312186978297163 |
| AuROC       | 0.8821603927986905 |  0.8766642291593114 |
| AuPR        | 0.8225075757571668 |   0.850331080886535 |
| Error       | 0.1643835616438356 | 0.19682151589242053 |
| TP          |               17.0 |               219.0 |
| TN          |               44.0 |               438.0 |
| FP          |                3.0 |                64.0 |
| FN          |                9.0 |                97.0 |
|-------------|--------------------|---------------------|

Top model insights computed using correlation:
|-----------------------|----------------------|
| Top Positive Insights |      Correlation     |
|-----------------------|----------------------|
| sex = "female"        |   0.5177801026737666 |
| cabin = "OTHER"       |   0.3331391338844782 |
| pClass = 1            |   0.3059642953159715 |
|-----------------------|----------------------|
| Top Negative Insights |      Correlation     |
|-----------------------|----------------------|
| sex = "male"          |  -0.5100301587292186 |
| pClass = 3            |  -0.5075774968534326 |
| cabin = null          | -0.31463114463832633 |
|-----------------------|----------------------|

Top model insights computed using CramersV:
|-----------------------|----------------------|
|      Top Insights     |       CramersV       |
|-----------------------|----------------------|
| sex                   |    0.525557139885501 |
| embarked              |  0.31582347194683386 |
| age                   |  0.21582347194683386 |
|-----------------------|----------------------|

Si bien esto puede parecer un poco demasiado mágico, para aquellos que desean más control, TransMogrifai también proporciona la flexibilidad para especificar completamente todas las características que se extraen y todos los algoritmos que se aplican en su tubería ML. Visite nuestro sitio de documentos para obtener documentación completa, comenzar, ejemplos, preguntas frecuentes y otra información.

Agregar transmarrifai a su proyecto

Simplemente puede agregar transmografía como dependencia regular a un proyecto existente. Comience por elegir la versión transmarrifai para que coincida con las dependencias de su proyecto de la versión de la versión a continuación (si no estoy seguro, tome la versión estable ):

Versión transmogrifai	Versión de chispa	Versión de Scala	Versión java
0.7.1 (inédito, maestro), 0.7.0 (estable)	2.4	2.11	1.8
0.6.1, 0.6.0, 0.5.3, 0.5.2, 0.5.1, 0.5.0	2.3	2.11	1.8
0.4.0, 0.3.4	2.2	2.11	1.8

Para gradle en build.gradle Agregar:

 repositories {
    jcenter()
    mavenCentral()
}
dependencies {
    // TransmogrifAI core dependency
    compile ' com.salesforce.transmogrifai:transmogrifai-core_2.11:0.7.0 '

    // TransmogrifAI pretrained models, e.g. OpenNLP POS/NER models etc. (optional)
    // compile 'com.salesforce.transmogrifai:transmogrifai-models_2.11:0.7.0'
}

Para SBT en build.sbt Agregar:

scalaVersion : = " 2.11.12 "

resolvers + = Resolver .jcenterRepo

// TransmogrifAI core dependency
libraryDependencies + = " com.salesforce.transmogrifai " %% " transmogrifai-core " % " 0.7.0 "

// TransmogrifAI pretrained models, e.g. OpenNLP POS/NER models etc. (optional)
// libraryDependencies += "com.salesforce.transmogrifai" %% "transmogrifai-models" % "0.7.0"

Luego importe transmografía en su código:

 // TransmogrifAI functionality: feature types, feature builders, feature dsl, readers, aggregators etc.
import com . salesforce . op . _
import com . salesforce . op . aggregators . _
import com . salesforce . op . features . _
import com . salesforce . op . features . types . _
import com . salesforce . op . readers . _

// Spark enrichments (optional)
import com . salesforce . op . utils . spark . RichDataset . _
import com . salesforce . op . utils . spark . RichRDD . _
import com . salesforce . op . utils . spark . RichRow . _
import com . salesforce . op . utils . spark . RichMetadata . _
import com . salesforce . op . utils . spark . RichStructType . _