SSIS con filas duplicadas - Cómo evitarlas en Excel u otro formato

De -

Introducción de como evitar filas duplicadas usando SSIS

En este nuevo artículo mostraremos cómo eliminar filas duplicadas de Excel utilizando SSIS. Para logarlo, utilizaremos un componente externo denominado SSIS Package from Melissa Data.

Requisitos


  1. SQL Server Integration Services (que se instala con SQL Server)
  2. El instalador del paquete de Melissa 
  3. SSDT instalado


Presentación de Melissa Data


Dicho componente incluye varias Tareas de SSIS entre las cuales se tienen las siguientes:


  1. MatchUp es la tarea que se utilizará en este ejemplo. Se usa para eliminar datos duplicados.
  2. El componente Contact Verify valida la información de contacto verificando que la dirección sea válid, que sea coherente la ciudad y estado, valida el correo electrónico, si existen palabras raras o sospechosas y mucho más.
  3. El Fuzzy Match compara datos de acuerdo a diferentes algoritmos de comparación como ser el algoritmo de Jaro, N-Gram, MDKeyboard y muchos más.
  4. El Generalized Cleanser se usa para estandarizar datos respecto a mayúsculas, minúsculas, abreviaciones y mucho más.
  5. GlobalVerify se usa para verificar las direcciones internacionales en más de 240 países. Traduce caracteres en caracteres nativos. Incluye la latitud y longitud a geocódigos internacionales de direcciones postales.
  6. IPlocator permite obtener la latitud, longitud, ciudad, país de acuerdo con el IP.
  7. Personator es una tarea que sirve para verificar que la dirección, correo electrónico y teléfono coinciden.
  8. Profiler nos permite analizar los datos y verificar que tengan la calidad como para entrar a un almacén de datos conocido también como un Data Warehouse.
  9. Property se usa cuando necesitamos ver información sobre una propiedad de parcela. Nos muestra su precio, metros cuadrados, hipotecas y dimensiones.
  10. SmartMover se aplica a Canadá y EE.UU. se aplica para gente que se traslada de dirección.

Detectar datos duplicados

En el instalador de Melissa Data para SSIS, se tienen interesantes ejemplos de cada componente. En esta ocasión, mostraremos el ejemplo MatchUp para detectar datos duplicados.

En el instalador de Melissa vaya al ejemplo de MatchUp. En mi caso, el ejemplo está en la siguiente dirección abra el archivo MatchUp.sln:


 El ejemplo utiliza un Data Flow. Realice un doble clic en la tarea:
Luego de hacer doble click veremos en la página de Data Flow  que incluye un archivo de texto que es el Input. El MatchUp es el que realizará la tarea de ordenar los datos similares e identificará los datos que son duplicados:



Se tiene el siguiente archivo de texto con 500 filas:
En el Matchcode se selecciona los datos que se analizarán si son duplicados y son la dirección (address), apellido (last name), first name (nombre):

 La página de Field Mapping se usa para indicar el tipo de columna de acuerdo con los tipos de dato de Melissa Data para que entienda que tipo de información contiene:

La sección de Options mostrará datos importantes MD_DupCount contará los datos duplicados. 



Survivorship/Pass Though mostrará los tipos de datos, precisión, el largo de las cadenas:

 Los datos duplicados serán detectados rápidamente por la herramienta y la columna MD DupeCount contará los duplicados existentes los datos serán agrupados según las columnas con datos comunes:


Si ejecutamos el paquete, un archivo txt se generará con los datos agrupados.


El presente ejemplo hizo el análisis de datos duplicados usando un archivo de texto. Sin embargo, se pueden verificar datos duplicados de diferentes tipos de datos incluyendo MS Excel.

Conclusiones

Melissa Data incluye importantes herramientas que ayudan a detectar datos duplicados, malas direcciones, datos basura y mucho más.


Referencias




Comentarios

Publicar un comentario

Entradas populares de este blog

The Deep Sea: una web interactiva para explorar las profundidades el mar y descubrir las extrañas criaturas que viven en él

De -
Imagen
A 3.800 metros de profundidad descansan los restos del Titanic , muy cerca de la zona abisal, una zona del mar en la que no llega ninguna luz solar y que se encuentra entre los 4.000 y 6.000 metros de profundidad. Ahí viven criaturas como el anoplogaster o 'fangtooth', un pez de aspecto bastante terrorífico, aunque inofensivo. Después de los 6.000 metros entramos en la zona hadal, y más gente ha ido a la Luna que a estas profundidades. Ahí reposan los restos del USS Johnston, un barco que se hundió durante la Segunda Guerra Mundial. En esa zona la vida es escasa, algo que notarás de inmediato al hacer scroll en esta genial web . Un pequeño sitio web que ofrece toda una experiencia fascinante Y es que en The Deep Sea puedes aprender sobre todo esto y más al explorar de forma interactiva lo que hay debajo, muy debajo del mar. La web es muy simple, pero efectiva en su forma de mostrar la información. Conforme vas navegando a través del
Leer más

Detectar el usuario de Windows utilizando C#

De -
Imagen
Este es un simple apunte para detectar al usuario de Windows que está ejecutando la aplicación. El código al hacer un click carga en el textbox el nombre del usuario. using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; namespace WindowsFormsApplication7 {     public partial class Form1 : Form     {         public Form1()         {             InitializeComponent();         }         private void Form1_Load( object sender, EventArgs e)         {         }         private void button1_Click( object sender, EventArgs e)         {             textBox1.Text = SystemInformation .UserName;         }     } } La parte clave del código es esta: textBox1.Text=SystemInformation.UserName; Donde SystemInformation obtiene el nombre de usuario. Tiénes dudas, escribe a este blog.
Leer más

Lo nuevo de SQL Server 2008 respecto a SQL Server 2005

De -
Imagen
Muchas empresas me preguntan.  ¿Cual es la ventaja de SQL Server 2008 ? ¿Vale la pena actualizar el SQL 2005 a 2008 o SQL 2000 a 2008 ? Para una más detallada descripción de las novedades, puede visitar este link: http://technet.microsoft.com/es-bo/magazine/2008.04.overview.aspx SQL Server 2008 es una más segura, tiene un buen formato de compresión y ocupa menos espacio. Tiene nuevos tipos de datos satelitales, corrector de sintaxis y mensajes de errores al programar sentencias SQL, sistema de encriptación de copias de respaldo. Más funciones de encriptación y seguridad. Si su base de datos contiene importante información financiera, será mayor la emergencia de actualizar sus datos. Existen políticas de seguridad incorporadas a SQL Server 2008. Lo mismo si usted ocupa mucho espacio en su disco duro con copias de seguridad. SQL Server 2008, tiene excelentes características de compresión de datos. A simple vista se aprecia bastante la interacción con powershell. Hoy se puede
Leer más