Configurando conexiones en Spoon

 

PDI no tiene problema en conectarse a cualquier base de datos del que dispongamos un driver JDBC.

La versión comunity por defecto contiene solo algunos drivers,  incluido MySQL Connector.

Si no disponemos del conector para nuestro gestor lo descargarmos y lo copiamos en la ruta /data-integration/libext/JDBC

En los siguientes enlaces podemos descargar los conectores para los gestores mas conocidos:

http://www.oracle.com/technetwork/database/features/jdbc/index-091264.html
http://jdbc.postgresql.org/
http://msdn.microsoft.com/en-us/sqlserver/aa937724.aspx
http://dev.mysql.com/downloads/connector/j/

Luego de esta configuración, iniciamos pentaho y creamos una nueva transformación.

En el panel izquierdo, en la pestaña View, damos clic derecho sobre Database connections -> New.

Damos un nombre a la conexión y llenamos los parámetros de nuestra conexión: Servidor, puerto, nombre de la base de datos, usuario y contraseña.

 

Probamos la conexión con el botón Test, y si la conexión es satisfactoria damos clic en OK.

Luego la conexión aparecerá en el panel izquierdo. Esta conexión solo funcionará para la transformación desde la que se creó. Si queremos compartirla simplemente damos clic derecho sobre la conexión y elegimos Share. Las conexión compartidas quedaran almacenadas en el archivo shared.xml del directorio .kettle (Este directorio por lo general queda en la carpeta del usuario en el sistema) y serán accesibles desde cualquier transformación o trabajo.

Con nuestra conexión creada, puede ser utilizada en todos los pasos que impliquen manejo de base de datos. Los mas conocidos son los que muestra la imagen:

 

Estos pasos nos permiten seleccionar una conexión desde una lista desplegable, y realizar operaciones tanto DDL como DML en la base de datos, limitado claro está, por los permisos que tenga el usuario con el que configuramos la conexión.

 

 Si tienen alguna duda no duden en comentar, que tengan un muy buen día!

Seguir leyendo

Aumentando la memoria de Spoon

Por defecto, Spoon, viene configurado para utilizar 256 Mb de tu memoria RAM. Esta cantidad no es suficiente si estamos trabajando con procesos ETL que manejen cifras a nivel de millones de registros, y puede que se llegue a presentar un error temible y muy común en Pentaho:

java.lang.OutOfMemoryError: Java heap space

Aumentar la memoria del PDI es bastante sencillo, simplemente tenemos que ir a la ruta de instalación (.../data-integration) y editar el archivo Spoon.bat en Windows o spoon.sh en Linux, no sin antes hacer una copia de seguridad de estos archivos por sí algo sale mal.

Debemos ubicarnos en la siguiente línea en el código:

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx256m" "-XX:MaxPermSize=128m"

Allí podemos cambiar los parámetros de memoria según nuestro hardware lo permita, usualmente suelo cambiar a estos parámetros a:

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xmx1024m" "-XX:MaxPermSize=512m"

Es importante tener en cuenta que el aumento de memoria esta limitado por la versión de Java que tengamos:  Si usamos la versión de 32 bits máximo nos dejara configurar 512m en PENTAHO_DI_JAVA_OPTIONS. Ya con versiones de 64 bits de Java, la limitación dependerá de la cantidad de memoria de la que disponga nuestro servidor.

Finalmente, guardamos el archivo y ejecutamos de nuevo Spoon.bat o spoon.sh.

Seguir leyendo

Pentaho Data Integration - Kettle ¿Cómo Instalar?

Pentaho Data Integration (PDI) o Kettle, es una poderosa, intuitiva y eficiente herramienta, para la realización de procesos de Extracción, Transformación y Carga.

Es muliplataforma, así que si trabajamos en Windows o en Linux no tenemos por qué preocuparnos. Es muy gráfica, así que nuestros procesos quedan plasmados en forma de flujos, por lo que en el trabajo suelen decirme que me la paso haciendo 'cuadritos'. Lo díficil es conocer el funcionamiento de cada uno de estos 'cuadritos' o los componentes de Kettle denominados steps, son bastantes y algunos tiene poca o nula documentación en la Internet.

Empecemos por definir algunos conceptos:

Kettle: Otro nombre con el que se suele denominar Pentaho Data Integration, o mejor el nombre original de la herramienta antes que fuera adquirida por Pentaho.

Spoon: Programa que permite construir procesos con una interfaz muy gráfica e intuitiva.

Kitchen: Componente que permite ejecutar jobs por línea de comandos.

Pan: Componente que permite ejecutar transformaciones por línea de comandos.

Bueno ... mucha teoría y vamos a la práctica, primero tenes que tener instalado Java en nuestra máquina. La última versión de Java la podemos conseguir en este enlace http://www.oracle.com/technetwork/es/java/javase/downloads/index.html

• Luego debemos comprobar que exista la variable de entorno JAVA_HOME, para ello damos clic derecho en MiPC -> Propiedades -> Configuración Avanzada del Sistema -> Opciones Avanzadas -> Variables de Entorno. Si no existe, damos clic en Nueva ... y le asignamos la ruta de instalación del JDK o el JRE

• Ahora descargamos la versión Community de Kettle en el siguiente enlace http://sourceforge.net/projects/pentaho/files/Data%20Integration// En este caso vamos descargar la última versión estable al día de hoy la 4.4,0, así que elegimos el archivo pdi-ce-4.4.0-stable.zip.

• Cremos un directorio con nombre pentaho en algún lugar de nuestros disco (preferiblemente en la raíz del sistema) y descomprimos el archivo. Nos creará una carpeta llamada data-integration. 

• Si vamos a trabajar con bases de datos diferentes a MySQL, es necesario descargar los respectivos .jar del JDBC y copiarlos a la ruta ..,/data-integration/libext/JDBC. En mi caso que suelo trabajar con bases de datos Oracle tengo que copiar el archivo ojdbc14.jar

• Ahora podemos iniciar el programa entrando al directorio de instalación (.../data-integration) y ejecutando el archivo Spoon.bat en Windows o spoon.sh en Linux.

Si se desean descargar los demás productos de la suite versión community los puede encontrar en la dirección http://community.pentaho.com/. En la próxima entrada veremos como configurarle los parámetros de memoria al Spoon.

Seguir leyendo