Tutorial SSIS para iniciantes: o que é, arquitetura, pacotes

O que é SSIS?

Serviço de Integração do SQL Server (SSIS) é um componente do software de banco de dados Microsoft SQL Server que pode ser usado para executar uma ampla variedade de tarefas de migração de dados. SSIS é uma ferramenta de armazenamento de dados rápida e flexível usada para extração, carregamento e transformação de dados, como limpeza, agregação, fusão de dados, etc.

Facilita a movimentação de dados de um banco de dados para outro. O SSIS pode extrair dados de uma ampla variedade de fontes, como bancos de dados SQL Server, arquivos Excel, bancos de dados Oracle e DB2, etc.

O SSIS também inclui ferramentas gráficas e assistentes para executar funções de fluxo de trabalho, como envio de mensagens de e-mail, operações de FTP, fontes de dados e destinos.

Neste tutorial SSIS para iniciantes, você aprenderá:

Por que usamos o SSIS?

Aqui, estão os principais motivos para usar a ferramenta SSIS:

  • A ferramenta SSIS ajuda você a mesclar dados de vários armazenamentos de dados
  • Automatiza funções administrativas e carregamento de dados
  • Preenche data marts e data warehouses
  • Ajuda você a limpar e padronizar os dados
  • Construindo BI em um Processo de Transformação de Dados
  • Automatizando funções administrativas e carregamento de dados
  • SIS contém uma GUI que ajuda os usuários a transformar dados facilmente em vez de escrever programas grandes
  • Ele pode carregar milhões de linhas de uma fonte de dados para outra em poucos minutos
  • Identificação, captura e processamento de alterações de dados
  • Coordenar manutenção, processamento ou análise de dados
  • SSIS elimina a necessidade de programadores hardcore
  • SSIS oferece tratamento robusto de erros e eventos

História do SIS

Antes, para SSIS, SQL Server, Data Transformation Services (DTS) foi usado, que fazia parte do SQL Server 7 e 2000

Versão Detalhe
SQL Server 2005A equipe da Microsoft decidiu renovar o DTS. No entanto, em vez de atualizar o DTS, eles decidiram nomear o produto Integration Services (SSIS).
Versão 2008 do servidor SQLMuitas melhorias de desempenho foram feitas no SSIS. Novas fontes também foram introduzidas.
SQL Server 2012Foi o maior lançamento do SSIS. Com esta versão, foi introduzido o conceito do modelo de implantação do projeto. Ele permite que projetos inteiros, e seus pacotes sejam implantados em um servidor, no lugar de pacotes específicos.
SQL Server 2014Nesta versão, poucas alterações são feitas para o SSIS. Mas novas fontes ou transformações foram adicionadas, o que foi feito por downloads separados por meio do CodePlex ou do SQL Server Feature Pack.
No SQL Server 2016A versão permite que você implante projetos inteiros, em vez de pacotes individuais. Existem fontes adicionais, especialmente na nuvem e fontes de big data, e poucas alterações foram feitas no catálogo.

Recursos salientes do SSIS

Aqui estão alguns recursos básicos importantes do SSIS:

  • Ambientes de estúdio
  • Funções de integração de dados relevantes
  • Velocidade de implementação efetiva
  • Integração total com outra família Microsoft SQL
  • Transformação de consulta de mineração de dados
  • Pesquisa difusa e transformações de agrupamento
  • Extração de termos e transformações de pesquisa de termos
  • Componentes de conectividade de dados de alta velocidade, como conectividade para SAP ou Oracle

Arquitetura SSIS

Arquitetura SSIS



A seguir estão os componentes da arquitetura SSIS:

  • Fluxo de controle (armazena recipientes e tarefas)
  • Fluxo de dados (fonte, destino, transformações)
  • Manipulador de eventos (envio de mensagens, e-mails)
  • Package Explorer (oferece uma visão única para todos no pacote)
  • Parâmetros (interação do usuário)

Vamos entender cada componente em detalhes:

1. Fluxo de controle

O fluxo de controle é um cérebro do pacote SSIS. Ajuda a organizar a ordem de execução de todos os seus componentes. Os componentes contêm contêineres e tarefas gerenciadas por restrições de precedência.

2. Restrições de precedência

Restrições de precedência são componentes do pacote que direcionam as tarefas a serem executadas em uma ordem predefinida. Ele também define o fluxo de trabalho de todo o pacote SSIS. Ele controla a execução das duas tarefas vinculadas, executando as tarefas de destino com base no resultado da tarefa anterior - regras de negócios que são definidas usando expressões especiais.

3. Tarefa

Uma 'Tarefa' é uma unidade individual de trabalho. É o mesmo que um método / função usado em uma linguagem de programação. No entanto, no SSIS, você não usa métodos de codificação. Em vez disso, você usará a técnica de arrastar e soltar para projetar a superfície e configurá-la.

4. Recipientes

O contêiner são unidades para agrupar tarefas em unidades de trabalho. Além de oferecer consistência visual, também permite declarar variáveis ​​e manipuladores de eventos que devem estar no escopo daquele contêiner específico.

Quatro tipos de contêineres no SSIS são:

  • Um contêiner de sequência
  • Um Contêiner For Loop
  • Foreach Loop Container

Contêiner de Sequência : permite que você organize tarefas subsidiárias agrupando-as e permite que você aplique transações ou atribua registro ao contêiner.

Para contêiner de loop: Fornece a mesma funcionalidade que o Container de sequência, exceto que também permite que você execute as tarefas várias vezes. No entanto, é baseado em uma condição de avaliação, como um loop de 1 a 100.

Para cada contêiner de loop: Ele também permite o loop. Mas a diferença é que, em vez de usar uma expressão de condição, o loop é feito sobre um conjunto de objetos, gosta de arquivos em uma pasta.

5. Fluxo de Dados

O principal uso da ferramenta SSIS é extrair dados para a memória do servidor, transformá-los e gravá-los em outro destino. Se o Fluxo de Controle é o cérebro, o Fluxo de Dados é o coração do SSIS

6. Pacotes SSIS

Outro componente central do SSIS é a noção de pacote. É uma coleção de tarefas executadas de maneira ordenada. Aqui, as restrições do presidente ajudam a gerenciar a ordem em que a tarefa será executada.

Um pacote pode ajudá-lo a salvar arquivos em um SQL Server, no banco de dados msdb ou no banco de dados do catálogo de pacotes. Ele pode ser salvo como um arquivo .dtsx, que é um arquivo estruturado muito semelhante aos arquivos .rdl do Reporting Services.

7. Parâmetros

Os parâmetros se comportam como uma variável, mas com algumas exceções principais. Pode ser facilmente colocado fora da embalagem. Eles podem ser designados como valores que devem ser transmitidos para o início do pacote.

Tipos de tarefas SSIS

Na ferramenta SSIS, você pode adicionar uma tarefa para controlar o fluxo. Existem diferentes tipos de tarefas que realizam vários tipos de trabalhos.

Algumas tarefas importantes do SSIS são mencionadas abaixo:

Nome da tarefa Descrições
Executar Tarefa SQLComo o próprio nome sugere, ele executará uma instrução SQL em um banco de dados relacional.
Tarefa de Fluxo de DadosEsta tarefa pode ler dados de uma ou mais fontes. Transforme os dados quando estiverem na memória e grave-os em um ou mais destinos.
Tarefa de processamento do Analysis ServicesUse esta tarefa para processar objetos de um modelo Tabular ou como um cubo SSAS.
Executar Tarefa de PacoteUse pode usar esta tarefa SSIS para executar outros pacotes de dentro do mesmo projeto.
Executar Tarefa de ProcessoCom a ajuda desta tarefa, você pode especificar os parâmetros da linha de comando.
Tarefa do sistema de arquivosEle executa manipulações no sistema de arquivos. Como mover, renomear, excluir arquivos e criar diretórios.
Tarefas FTPEle permite que você execute funcionalidades básicas de FTP.
Tarefa de ScriptEsta é uma tarefa em branco. Você pode escrever código NET que executa qualquer tarefa; você deseja executar.
Enviar Tarefa de CorreioVocê pode enviar um e-mail para notificar os usuários de que seu pacote foi concluído ou que ocorreu algum erro.
Tarefa de inserção em massaO uso pode carregar dados em uma tabela usando o comando de inserção em massa.
Tarefa de ScriptExecuta um conjunto de codificação VB.NET ou C # dentro de um ambiente Visual Studio.
Tarefa de serviço da webEle executa um método em um serviço da web.
Tarefa do observador de eventos WMIEsta tarefa permite que o pacote SSIS aguarde e responda a determinados eventos WMI.
Tarefa XMLEsta tarefa ajuda você a mesclar, dividir ou reformatar qualquer arquivo XML.

Outras ferramentas importantes de ETL

  • SAP Data Services
  • SAS Data Management
  • Oracle Warehouse Builder (OWB)
  • PowerCenter Informatica
  • IBM Infosphere Information Server
  • Elixir Repertoire para Data ETL
  • Fluxo de dados Sargent

Vantagens e desvantagens de usar SSIS

A ferramenta SSIS oferece as seguintes vantagens:

  • Ampla documentação e suporte
  • Facilidade e rapidez de implementação
  • Integração total com SQL Server e Visual Studio
  • Integração de dados padronizada
  • Oferece recursos baseados em mensagens em tempo real
  • Suporte para modelo de distribuição
  • Ajuda a remover a rede como um gargalo para a inserção de dados por SSIS no SQL
  • O SISS permite que você use o Destino do SQL Server em vez do OLE DB para carregar os dados mais rapidamente

Desvantagens do SSIS

Algumas desvantagens de usar ferramentas SIS são as seguintes:

  • Às vezes, criam problemas em ambientes não Windows
  • Visão e estratégia pouco claras
  • SSIS não tem suporte para estilos alternativos de integração de dados
  • Integração problemática com outros produtos

Exemplo de práticas recomendadas de SSIS

  • SSIS é um pipeline na memória. É por isso que é importante garantir que todas as transformações ocorram na memória
  • Tente minimizar as operações registradas
  • Planeje a capacidade, entendendo a utilização de recursos
  • Otimize a transformação de pesquisa SQL, fonte de dados e destino
  • Programe e distribua corretamente

Resumo

  • A forma completa do SSIS é o SQL Server Integration Services
  • A ferramenta SSIS ajuda você a mesclar dados de vários armazenamentos de dados
  • Versões importantes do SQL Server Integration Service são 2005, 2008, 2012, 2014 e 216
  • Ambientes de estúdio, funções de integração de dados relevantes e velocidade de implementação efetiva são alguns recursos importantes do SSIS
  • Fluxo de controle, fluxo de dados, manipulador de eventos, explorador de pacotes e parâmetros são componentes essenciais da arquitetura SSIS
  • Executar Tarefa SQL, Tarefa de Fluxo de Dados, Tarefa de Processamento do Analysis Services, Executar Tarefa de Pacote, Executar Tarefa de Processo, Tarefa de Sistema de Arquivos, Tarefas de FTP, Tarefa de Enviar Email, Tarefa de Serviço Web são alguns importantes
  • Ampla documentação e suporte
  • A maior desvantagem do SSIS é que ele não oferece suporte para estilos alternativos de integração de dados
  • SAP Data Services, SAS Data Management, Oracle Warehouse Builder (OWB), PowerCenter Informatica, IBM Infosphere Information Server
  • SSIS é um pipeline na memória. Portanto, é essencial garantir que todas as transformações ocorram na memória