SSIS con filas duplicadas - Cómo evitarlas en Excel u otro formato

De -

Introducción de como evitar filas duplicadas usando SSIS

En este nuevo artículo mostraremos cómo eliminar filas duplicadas de Excel utilizando SSIS. Para logarlo, utilizaremos un componente externo denominado SSIS Package from Melissa Data.

Requisitos


  1. SQL Server Integration Services (que se instala con SQL Server)
  2. El instalador del paquete de Melissa 
  3. SSDT instalado


Presentación de Melissa Data


Dicho componente incluye varias Tareas de SSIS entre las cuales se tienen las siguientes:


  1. MatchUp es la tarea que se utilizará en este ejemplo. Se usa para eliminar datos duplicados.
  2. El componente Contact Verify valida la información de contacto verificando que la dirección sea válid, que sea coherente la ciudad y estado, valida el correo electrónico, si existen palabras raras o sospechosas y mucho más.
  3. El Fuzzy Match compara datos de acuerdo a diferentes algoritmos de comparación como ser el algoritmo de Jaro, N-Gram, MDKeyboard y muchos más.
  4. El Generalized Cleanser se usa para estandarizar datos respecto a mayúsculas, minúsculas, abreviaciones y mucho más.
  5. GlobalVerify se usa para verificar las direcciones internacionales en más de 240 países. Traduce caracteres en caracteres nativos. Incluye la latitud y longitud a geocódigos internacionales de direcciones postales.
  6. IPlocator permite obtener la latitud, longitud, ciudad, país de acuerdo con el IP.
  7. Personator es una tarea que sirve para verificar que la dirección, correo electrónico y teléfono coinciden.
  8. Profiler nos permite analizar los datos y verificar que tengan la calidad como para entrar a un almacén de datos conocido también como un Data Warehouse.
  9. Property se usa cuando necesitamos ver información sobre una propiedad de parcela. Nos muestra su precio, metros cuadrados, hipotecas y dimensiones.
  10. SmartMover se aplica a Canadá y EE.UU. se aplica para gente que se traslada de dirección.

Detectar datos duplicados

En el instalador de Melissa Data para SSIS, se tienen interesantes ejemplos de cada componente. En esta ocasión, mostraremos el ejemplo MatchUp para detectar datos duplicados.

En el instalador de Melissa vaya al ejemplo de MatchUp. En mi caso, el ejemplo está en la siguiente dirección abra el archivo MatchUp.sln:


 El ejemplo utiliza un Data Flow. Realice un doble clic en la tarea:
Luego de hacer doble click veremos en la página de Data Flow  que incluye un archivo de texto que es el Input. El MatchUp es el que realizará la tarea de ordenar los datos similares e identificará los datos que son duplicados:



Se tiene el siguiente archivo de texto con 500 filas:
En el Matchcode se selecciona los datos que se analizarán si son duplicados y son la dirección (address), apellido (last name), first name (nombre):

 La página de Field Mapping se usa para indicar el tipo de columna de acuerdo con los tipos de dato de Melissa Data para que entienda que tipo de información contiene:

La sección de Options mostrará datos importantes MD_DupCount contará los datos duplicados. 



Survivorship/Pass Though mostrará los tipos de datos, precisión, el largo de las cadenas:

 Los datos duplicados serán detectados rápidamente por la herramienta y la columna MD DupeCount contará los duplicados existentes los datos serán agrupados según las columnas con datos comunes:


Si ejecutamos el paquete, un archivo txt se generará con los datos agrupados.


El presente ejemplo hizo el análisis de datos duplicados usando un archivo de texto. Sin embargo, se pueden verificar datos duplicados de diferentes tipos de datos incluyendo MS Excel.

Conclusiones

Melissa Data incluye importantes herramientas que ayudan a detectar datos duplicados, malas direcciones, datos basura y mucho más.


Referencias




Comentarios

Publicar un comentario

Entradas populares de este blog

Detectar el usuario de Windows utilizando C#

De -
Imagen
Este es un simple apunte para detectar al usuario de Windows que está ejecutando la aplicación. El código al hacer un click carga en el textbox el nombre del usuario. using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; namespace WindowsFormsApplication7 {     public partial class Form1 : Form     {         public Form1()         {             InitializeComponent();         }         private void Form1_Load( object sender, EventArgs e)         {         }         private void button1_Click( object sende...
Leer más

La página oficial del dólar blue en Bolivia

De -
Imagen
Curso de Binance y criptomonedas: https://elpaladintecnologico.blogspot.com/2024/09/curso-de-binance.html ¿Cómo evitar los límites de compras por internet? ¿Cómo comprar por internet sin límites? El dólar Blue Se le llama dolar blue al dólar comprado en el mercado paralelo. Actualmente ningún banco ofrece a la gente en Bolivia dólares. No hay muchos dólares en la banca. La gente que tiene depositados dólares en su cuenta no puede sacarlos porque existe un corralito. El banco no tiene los suficientes dólares para entregar a los depositantes. El argumento que dan es que el banco Central no les está entregando dólares y que todo el dinero de las remesas o giros no está llegando hasta los bancos. Por su parte el gobierno y el banco central afirman que están entregando más dólares que antes y que le debería alcanzar a la banca. Pero no es así. Los principales proveedores de dólares son librecambistas. El precio oficial es en teoría 6.97 parala venta y 6.85 para la compra. Pero actualmente ...
Leer más

Lo nuevo de SQL Server 2008 respecto a SQL Server 2005

De -
Imagen
Muchas empresas me preguntan.  ¿Cual es la ventaja de SQL Server 2008 ? ¿Vale la pena actualizar el SQL 2005 a 2008 o SQL 2000 a 2008 ? Para una más detallada descripción de las novedades, puede visitar este link: http://technet.microsoft.com/es-bo/magazine/2008.04.overview.aspx SQL Server 2008 es una más segura, tiene un buen formato de compresión y ocupa menos espacio. Tiene nuevos tipos de datos satelitales, corrector de sintaxis y mensajes de errores al programar sentencias SQL, sistema de encriptación de copias de respaldo. Más funciones de encriptación y seguridad. Si su base de datos contiene importante información financiera, será mayor la emergencia de actualizar sus datos. Existen políticas de seguridad incorporadas a SQL Server 2008. Lo mismo si usted ocupa mucho espacio en su disco duro con copias de seguridad. SQL Server 2008, tiene excelentes características de compresión de datos. A simple vista se aprecia bastante la interacción con powershell. Hoy se p...
Leer más