Posted Jue, 10/21/2010 - 23:23 by admin-inf En un artículo anterior intenté describir un modelo típico de un sistema de Business Intelligence. Pueden  existir algunas pequeñas variaciones según el autor y las características del proyecto en general, pero lo que se mantiene constante es la existencia de un almacenamiento de datos que será explotado por las  herramientas que en cada momento se consideren oportunas, lo que inevitablemente conduce a la  existencia de un trasiego de datos desde algunos orígenes hasta el almacenamiento destino. El  subsistema que se encarga de este trasiego se llama ETL (Extract, Transform, Load). Existe en internet abundante información sobre estos módulos ETL, por lo que no pretenderé sentar  cátedra, simplemente hacer un breve resumen de en qué consiste y la importancia que tiene este  concepto, siempre basado en la experiencia profesional de varios años colaborando en sistemas de  Business Intelligence.  Primeramente comentar que allá donde haya trasiego de datos habrá un sistema ETL, que podrá ser  más o menos sofisticado en función del proyecto en que se encuentre, pero conceptualmente siempre  hay que identificar qué datos se requiere, dónde y en qué forma están, y dónde y de qué forma van a  estar. Dónde están y dónde estarán formaría la parte EL del sistema (Extracción y Carga), mientras que  la pregunta de qué forma tienen y qué forma tendrán implica la parte T (Transformación). Y es que esto último es muy importante. Datos que hacen referencia a la misma información pueden  estar en localizaciones muy diferentes, y sin embargo tener un único lugar de destino, generando una  información homogénea, coherente y actualizada: los datos de un cliente industrial pueden extraerse de  los sistemas de información de ventas, campañas y quejas, pero también se puede encontrar en los  sistemas del registro mercantil, el BOE o informes públicos de auditorías. Y este mismo cliente puede  estar referenciado en estos sistemas en forma diferente, ya sea a través de datos numéricos,  alfanuméricos y, dentro de estos, con codificación propia o estándar. Así pues es necesario ante cualquier desarrollo que implique un sistema ETL realizar un completo  análisis de las transferencias, el cual debe ser reflejado físicamente en un documento en el que, al  menos, debe contemplar la información de destino (dónde debe estar ubicada y el formato que debe  tener) y para cada destino dónde se encuentra su origen (puede ser en varios sistemas distintos) y los  formatos en los que se van a encontrar y, por supuesto, las transformaciones a las que han de aplicarse  para cada origen. Y quien se pregunte por la importancia de este tipo de documentación, sólo  comentarles que un sistema ETL es un verdadero factor de éxito del proyecto a implantar, que un  sistema ETL defectuoso puede conducir directamente a un proyecto fallido. En la implantación de una solución de Business Intelligence esto es especialmente cierto ya que el  desarrollo e implantación de un sistema ETL puede llegar hasta el 70% del esfuerzo necesario para  implantar la solución BI. Y esto le pone a la implantación de sistemas ETL en una situación ingrata, pues  a pesar de la enorme importancia tiene muy poca visibilidad para los usuarios, ya que éstos trabajarán  en su mayor parte con las herramientas de explotación de la información. Pero aunque sea el marco principal, no es solamente en una solución de BI donde nos encontraremos  sistemas ETL. Éstos se pueden encontrar también en actualizaciones tecnológicas, mantenimiento de  sistemas heredados y en la integración de sistemas. Actualizaciones tecnológicas. En ocasiones la organización decide actualizar el software o hardware que  está actualmente en funcionamiento a una versión posterior, habitualmente no será necesario realizar un trasiego de datos, pero en este caso sería de poca entidad. Mayores complicaciones tendría la  actualización a las herramientas de otros fabricantes, pues habría que considerar la compatibilidad de  las nuevas herramientas con la estructura de información existente. Mantenimiento de sistemas heredados. Estos sistemas existentes en la organización desde hace mucho  tiempo y que tecnológicamente han quedado obsoletos, son todavía importantes para la misma pues  suelen tener alta fiabilidad y siguen cumpliendo fielmente su función. Sin embargo las fuentes de  información de la que se nutren pueden adaptarse a nuevos sistemas y éstos pueden necesitar de la  información de los sistemas antiguos, haciendo necesario la implementación de soluciones ETL para la  comunicación mutua.  Integración de sistemas. La decisión del crecimiento por compras y absorciones es una decisión que  tiene muchas implicaciones para la organización, y los sistemas de información no son una excepción.  La integración de sistemas de diferentes compañías puede suponer un enorme esfuerzo en función de  los negocios de la misma, tecnologías utilizadas y terminología interna empleada. En estos casos, la  utilización de sistemas ETL es más que necesaria, llegando incluso a suponer más del 80% del esfuerzo  total de integración. Dos variables en un sistema ETL merecen especial atención y son la ventana de tiempo que se necesita  para el propio proceso ETL y la calidad de la información cargada. Un tiempo excesivo en el proceso  puede consumir demasiados recursos de máquina necesarios para otros aplicativos, además de  comprometer la operativa diaria de determinadas áreas de la organización. Pero incluso peor es  disponer de información de mala calidad o errónea, pues las consecuencias a largo plazo podrían ser  bastante malas: tomar una decisión basada en información incorrecta nos podría hacer tomar un rumbo  no deseado. Por eso los mecanismos de control de las transferencias son también tan importantes como las  transferencias mismas. Estos mecanismos de control permiten medir tiempos en cada uno de los  subprocesos, identificar posibles fallos, monitorizar el consumo de recursos en el proceso, establecer  unos estándares mínimos de calidad en la información y controlar su cumplimiento. Sin estos elementos  de control, implantaremos un sistema ETL con grandes carencias y la única garantía del buen  funcionamiento estaría en el lado de la fé. No es raro incluso encontrar firmas que se han especializado en la  realización de auditorías en las que verifican un cumplimiento mínimo de estos estándares. Tan frecuentes son los sistemas ETL que existen un numeroso conjunto de soluciones completas que cubren todo el proceso, incluso el  posterior de mantenimiento correctivo y/o evolutivo. Y las herramientas van apareciendo continuamente, proporcionadas por empresas  fabricantes y por desarrollos de software libre. La decisión de utilizar una herramienta ya existente o proceder al desarrollo propio se va  decantando por la primera, pues estas herramientas son capaces de ahorrar un enorme esfuerzo de codificación, aunque todavía queden  empresas, más bien pequeñas que grandes, que estiman que un desarrollo a medida puede serles más económico que pagar unas cuantas licencias. Pero con el surgimiento de herramientas de software libre de calidad el problema se reduce a encontrar profesionales  especialistas en este tipo de herramientas. Podemos concluir pues que un sistema ETL es simplemente inevitable, es consustancial con la información misma, y que a pesar de la  poca visibilidad que tiene para el usuario, representa un alto porcentaje en la implementación de los proyectos de los que forma parte,  siendo además un factor de éxito de los mismos.  Proyecto de expresión y espacio para la tecnología, cultura, empresa, estética y humanidades en general Información legal  ETL: Simplemente inevitable
ÚLTIMAS ENTRADAS INFORMÁTICA Las v’s de los datos (I). Volatilidad. Introducción a la programación para dispositivos móviles. La eterna presencia del fantasma del número mágico. Introducción Ver todas las entradas BUSINESS ADMINISTRATION La carrera profesional también se gestiona. Orientación al servicio informático: Una relación gana-gana. Cuadrante mágico para plataformas ETL y BI. Introducción Ver todas las entradas PSICOLOGÍA El miembro fantasma. Criterios diagnósticos. Psicología científica, básica y aplicada. Introducción Ver todas las entradas FOTOGRAFÍA Galería fotos de Córdoba. Introducción Ver todas las entradas AJEDREZ IX torneo media hora, ciudad Ávila. I open ciudad de Jaca. Torneos en Mislata - Valencia. Introducción Ver todas las entradas MERCADOS BURSÁTILES Elliot, Fibo y el 61,8%. 1 año del juego de las tres carteras. Señal TCM en Telefónica. Introducción Ver todas las entradas MISCELÁNEO RABASCO-MENDÍVIL recital piano cuatro manos. Ciclo de conferencias del CEC. Ética radical, la puerta de Texas y la tía Norica. Introducción Ver todas las entradas