A maioria das pessoas está familiarizada com a frase, isso vai matar dois pássaros com uma pedra. Se você não estiver, a fase se refere a uma abordagem que aborda dois objetivos em uma ação. (Infelizmente, a expressão em si é bastante desagradável, como a maioria de nós não deseja lançar pedras em animais inocentes). Hoje, I39m vai abranger alguns conceitos básicos em dois grandes recursos no SQL Server: o índice Columnstore (disponível apenas no SQL Server Enterprise) e O SQL Query Store. A Microsoft realmente implementou o índice Columnstore no SQL 2012 Enterprise, embora eles o aprimorem nos últimos dois lançamentos do SQL Server. A Microsoft apresentou o Query Store no SQL Server 2016. Então, quais são esses recursos e por que eles são importantes? Bem, eu tenho um demo que irá apresentar os dois recursos e mostrar como eles podem nos ajudar. Antes de ir mais longe, também cubro esse (e outros recursos do SQL 2016) no meu artigo da revista CODE sobre os novos recursos SQL 2016. Como uma introdução básica, o índice Columnstore pode ajudar a acelerar as consultas que exploram as quantidades de grandes quantidades de dados e A Query Store rastreia as execuções de consultas, os planos de execução e as estatísticas de tempo de execução que você normalmente precisa colecionar manualmente. Confie em mim quando eu digo, são excelentes recursos. Para esta demo, eu estarei usando o banco de dados de demonstração do Microsoft Contoso Retail Data Warehouse. Falando vagamente, o Contoso DW é como uma quota muito grande AdventureWorksquot, com tabelas contendo milhões de linhas. (A maior tabela AdventureWorks contém aproximadamente 100.000 linhas no máximo). Você pode baixar o banco de dados do Contoso DW aqui: microsoften-usdownloaddetails. aspxid18279. O Contoso DW funciona muito bem quando você deseja testar desempenho em consultas contra tabelas maiores. O Contoso DW contém uma tabela de fatos de data warehouse padrão chamada FactOnLineSales, com 12,6 milhões de linhas. Certamente, essa não é a maior mesa de armazenamento de dados do mundo, mas também não é uma criança. Suponha que eu quero resumir o valor das vendas do produto para 2009 e classificar os produtos. Eu posso consultar a tabela de fatos e juntar-se à tabela Dimensão do produto e usar uma função RANK, assim: Aqui, um conjunto de resultados parcial das 10 melhores linhas, por Total Sales. No meu laptop (i7, 16 GB de RAM), a consulta leva entre 3-4 segundos para ser executada. Isso pode não parecer o fim do mundo, mas alguns usuários podem esperar resultados quase instantâneos (da maneira que você pode ver resultados quase instantâneos ao usar o Excel contra um cubo OLAP). O único índice que eu atualmente tenho nesta tabela é um índice agrupado em uma chave de vendas. Se eu olhar para o plano de execução, o SQL Server faz uma sugestão para adicionar um índice de cobertura para a tabela: agora, só porque o SQL Server sugere um índice, não significa que você deve criar índices cegamente em todas as mensagens de indexação quotmissing. No entanto, nessa instância, o SQL Server detecta que estamos filtrando com base no ano e usando a chave de produto e a quantidade de vendas. Assim, o SQL Server sugere um índice de cobertura, com o DateKey como o campo da chave de índice. A razão pela qual chamamos isso de quotcoveringquot index é porque o SQL Server irá recorrer ao longo dos campos não-chave que usamos na consulta, quanto ao ridequot. Dessa forma, o SQL Server não precisa usar a tabela ou o índice em cluster em todo o mecanismo do banco de dados pode simplesmente usar o índice de cobertura para a consulta. Os índices de cobertura são populares em determinados cenários de banco de dados de dados e relatórios, embora eles tenham um custo do mecanismo de banco de dados, mantendo-os. Nota: Os índices de cobertura foram durante muito tempo, então eu ainda não abordava o índice Columnstore e a Query Store. Então, vou adicionar o índice de cobertura: se eu re-executar a mesma consulta que corri um momento (o que agregou o valor das vendas para cada produto), a consulta às vezes parece executar cerca de um segundo mais rápido e recebo uma Plano de execução diferente, que usa uma pesquisa de índice em vez de uma verificação de índice (usando a chave de data no índice de cobertura para recuperar vendas para 2009). Portanto, antes do Índice Columnstore, isso poderia ser uma maneira de otimizar essa consulta em versões muito antigas do SQL Server. Ele é executado um pouco mais rápido do que o primeiro, e eu recebo um plano de execução com um Index Seek em vez de um Index Scan. No entanto, existem alguns problemas: os dois operadores de execução, quotIndex Seekquot e quotHash Match (Aggregate), ambos operam essencialmente quotrow by rowquot. Imagine isso em uma mesa com centenas de milhões de linhas. Relacionado, pense no conteúdo de uma tabela de fatos: neste caso, um valor de chave de data único e um valor de chave de produto único podem ser repetidos em centenas de milhares de linhas (lembre-se, a tabela de fato também possui chaves para geografia, promoção, vendedor , Etc.) Então, quando o quotIndex Seekquot e quotHash Matchquot funcionam por linha, eles estão fazendo isso sobre valores que podem ser repetidos em muitas outras linhas. Normalmente, esse é o caso do I39d segue para o índice SQL Server Columnstore, que oferece um cenário para melhorar o desempenho desta consulta de maneiras surpreendentes. Mas antes que eu faça isso, let39s voltem no tempo. Let39s voltam para o ano de 2010, quando a Microsoft apresentou um suplemento para o Excel conhecido como PowerPivot. Muitas pessoas provavelmente se lembravam de mostrar demonstrações do PowerPivot para Excel, onde um usuário poderia ler milhões de linhas de uma fonte de dados externa para o Excel. O PowerPivot comprimiria os dados e forneceria um mecanismo para criar tabelas dinâmicas e gráficos dinâmicos que funcionavam a velocidades surpreendentes contra os dados compactados. O PowerPivot usou uma tecnologia em memória que a Microsoft denominou quotVertiPaqquot. Esta tecnologia em memória no PowerPivot basicamente levaria valores de chave de chave de negócios duplicados e comprimi-los para um único vetor. A tecnologia em memória também digitalizaria esses valores em paralelo, em blocos de várias centenas por vez. A linha inferior é que a Microsoft assustou uma grande quantidade de aprimoramentos de desempenho no recurso VertiPaq em memória para uso, à direita da caixa proverbial. Por que estou tirando esse pequeno passeio pela linha de memória Porque, no SQL Server 2012, a Microsoft implementou uma das características mais importantes no histórico de seu mecanismo de banco de dados: o índice Columnstore. O índice é apenas um índice apenas em nome: é uma maneira de tomar uma tabela do SQL Server e criar uma barra de colunas comprimida na memória que comprime os valores das chaves estrangeiras duplicadas para valores vetoriais únicos. A Microsoft também criou um novo conjunto de buffer para ler esses valores de vetores compactados em paralelo, criando o potencial de ganhos de desempenho enormes. Então, eu vou criar um índice de armazenamento de colunas na tabela, e eu verá o quanto melhor (e mais eficientemente) a consulta é executada, em relação à consulta que é executada contra o índice de cobertura. Então, eu criei uma cópia duplicada do FactOnlineSales (I39ll chamá-lo de FactOnlineSalesDetailNCCS), e I39ll crie um índice de armazenamento de colunas na tabela duplicada dessa maneira eu não interfiro com a tabela original e o índice de cobertura de qualquer maneira. Em seguida, eu crie um índice de armazenamento de colunas na nova tabela: Observe várias coisas: I39ve especificou várias colunas de chave estrangeiras, bem como a quantidade de vendas. Lembre-se de que um índice de armazenamento de colunas não é como um índice de linha-loja tradicional. Não há quotkeyquot. Estamos simplesmente indicando quais colunas o SQL Server deve comprimir e colocar em uma pasta de colunas na memória. Para usar a analogia do PowerPivot para o Excel quando criamos um índice de armazenamento de colunas, nós pedimos ao SQL Server que faça essencialmente o mesmo que o PowerPivot fez quando importámos 20 milhões de linhas para o Excel usando o PowerPivot Então, I39ll re-execute a consulta, desta vez usando A tabela duvidosa FactOnlineSalesDetailNCCS que contém o índice columnstore. Essa consulta é executada instantaneamente em menos de um segundo. E eu também posso dizer que, mesmo que a mesa tivesse centenas de milhões de linhas, ainda funcionaria no quotbat proverbial de um eyelashquot. Podemos olhar para o plano de execução (e em alguns momentos, vamos), mas agora é o momento de cobrir o recurso da Loja de consultas. Imagine por um momento, que executamos ambas as consultas durante a noite: a consulta que usou a tabela regular FactOnlineSales (com o índice de cobertura) e a consulta que usou a tabela duplicada com o índice Columnstore. Quando nos efetuamos o login na manhã seguinte, gostaríamos de ver o plano de execução para ambas as consultas, assim como as estatísticas de execução. Em outras palavras, gostaríamos de ver as mesmas estatísticas que poderíamos ver se executássemos ambas as consultas de forma interativa no SQL Management Studio, ativadas em TIME e IO Statistics, e visualizamos o plano de execução logo após a execução da consulta. Bem, isso é o que a Query Store nos permite fazer, podemos ativar (habilitar) o Query Store para um banco de dados, que irá acionar o SQL Server para armazenar a execução da consulta e planejar as estatísticas para que possamos visualizá-las mais tarde. Então, eu vou habilitar a Query Store no banco de dados Contoso com o seguinte comando (e I39ll também limpar qualquer cache): Então I39ll executar as duas consultas (e quotpretendquot que eu as executei há horas atrás): Agora vamos fingir que eles funcionaram horas atrás. De acordo com o que eu disse, a Query Store irá capturar as estatísticas de execução. Então, como eu os vejo Felizmente, isso é bastante fácil. Se eu expandir o banco de dados Contoso DW, I39ll verá uma pasta Query Store. A Query Store tem uma tremenda funcionalidade e tentei cobrir uma grande parte disso em postagens de blog subseqüentes. Mas por agora, eu quero ver estatísticas de execução nas duas consultas e examinar especificamente os operadores de execução para o índice de armazenamento de colunas. Então, eu vou clicar com o botão direito no Top Resource Consuming Queries e executar essa opção. Isso me dá um gráfico como o abaixo, onde posso ver o tempo de duração da execução (em milissegundos) para todas as consultas que foram executadas. Nessa instância, a Query 1 foi a consulta contra a tabela original com o índice de cobrança e o Query 2 foi contra a tabela com o índice de armazenamento de colunas. Os números que não são o índice de armazenamento de colunas superaram o índice de cobertura de tabela original por um fator de quase 7 a 1. Eu posso mudar a métrica para ver o consumo de memória. Nesse caso, observe que a consulta 2 (a consulta do índice de armazenamento de colunas) usou muito mais memória. Isso demonstra claramente por que o índice columnstore representa a tecnologia quotin-memoryquot. O SQL Server carrega todo o índice de armazenamento de colunas na memória e usa um pool de buffer completamente diferente com operadores de execução aprimorados para processar o índice. OK, então temos alguns gráficos para ver as estatísticas de execução, podemos ver o plano de execução (e os operadores de execução) associados a cada execução Sim, podemos se você clicar na barra vertical para a consulta que usou o índice columnstore, você verá a execução Plano abaixo. A primeira coisa que vemos é que o SQL Server realizou uma verificação de índice de armazenamento de colunas, e isso representou quase 100 do custo da consulta. Você pode estar dizendo, por um minuto, a primeira consulta usou um índice de cobertura e realizou um índice de busca, então, como uma verificação do índice de armazenamento de colunas pode ser mais rápida. Essa é uma questão legítima e, felizmente, isso é uma resposta. Mesmo quando a primeira consulta realizou um índice de busca, ele ainda executou quotrow by rowquot. Se eu colocar o mouse sobre o operador de varredura do índice de lojas de colunas, vejo uma dica de ferramenta (como a abaixo), com uma configuração importante: o Modo de Execução é BATCH (em oposição a ROW.) O que nós tivemos com a primeira consulta usando o Índice de cobertura). Esse modo BATCH nos diz que o SQL Server está processando os vetores compactados (para quaisquer valores de chave estrangeiros duplicados, como a chave do produto e a chave da data) em lotes de quase 1.000, em paralelo. Portanto, o SQL Server ainda é capaz de processar o índice columnstore muito mais eficientemente. Além disso, se eu colocar o mouse sobre a tarefa Hash Match (Aggregate), também vejo que o SQL Server está agregando o índice de armazenamento de colunas usando o modo Batch (embora o próprio operador represente uma porcentagem tão pequena do custo da consulta). Finalmente, você Pode estar perguntando, quotOK, então o SQL Server comprime os valores nos dados, trata os valores como vetores e lê-los em blocos de quase mil valores em paralelo, mas minha consulta só queria dados para 2009. Portanto, o SQL Server está escaneando o Conjunto completo de dados. Mais uma vez, uma boa pergunta. A resposta é, quase não. Felizmente para nós, o novo pool de buffer de índice de colunas executa outra função chamada quotsegment eliminationquot. Basicamente, o SQL Server examinará os valores vetoriais da coluna da chave da data no índice do armazenamento de colunas e eliminará os segmentos que estão fora do escopo do ano de 2009. I39ll pararão aqui. Nas postagens de blog subseqüentes, eu abrico tanto o índice de armazenamento de colunas quanto o Query Store com mais detalhes. Essencialmente, o que vimos aqui hoje é que o índice Columnstore pode acelerar significativamente as consultas que exploram em grande quantidade de dados e a Query Store irá capturar execuções de consultas e nos permitir examinar as estatísticas de execução e desempenho mais tarde. No final, gostaríamos de produzir um conjunto de resultados que mostra o seguinte. Observe três coisas: as colunas rotulam essencialmente todos os possíveis Razões de retorno, depois de mostrar o valor das vendas. O conjunto de resultados contém subtotais na semana (Domingo) em todos os clientes (onde o Cliente é Nulo). O conjunto de resultados contém um total geral Linha (onde o Cliente e a Data são ambos NULL) Primeiro, antes de entrar no fim do SQL, poderíamos usar a capacidade de pivô dinâmico dinâmico no SSRS. Nós simplesmente precisamos combinar os dois conjuntos de resultados por uma coluna e então poderemos alimentar os resultados para o controle da matriz SSRS, que irá espalhar os motivos de retorno no eixo das colunas do relatório. No entanto, nem todos usam SSRS (embora a maioria das pessoas deveria). Mas, mesmo assim, às vezes, os desenvolvedores precisam consumir conjuntos de resultados em algo diferente de uma ferramenta de relatórios. Então, para este exemplo, vamos assumir que queremos gerar o conjunto de resultados para uma página de grade da web e, possivelmente, o desenvolvedor quer quotst out outar as linhas do subtotal (onde eu tenho um valor ResultSetNum de 2 e 3) e colocá-los em uma grade de resumo. Então, a linha inferior, precisamos gerar a saída acima diretamente de um procedimento armazenado. E como um toque adicional na próxima semana, poderia haver Return Raison X e Y e Z. Então, não sabemos quantos motivos de retorno podem existir. Nós simplesmente queremos que a consulta pivote sobre os possíveis valores distintos para Return Rason. Aqui é onde o PIVOT T-SQL tem uma restrição que precisamos fornecer os valores possíveis. Uma vez que ganhamos, sabemos que até o tempo de execução, precisamos gerar a seqüência de consulta dinamicamente usando o padrão SQL dinâmico. O padrão SQL dinâmico envolve a geração da sintaxe, peça por peça, armazenando-a em uma string e, em seguida, executando a string no final. SQL dinâmico pode ser complicado, pois temos que incorporar sintaxe dentro de uma string. Mas neste caso, é nossa única opção verdadeira se quisermos lidar com um número variável de razões de retorno. Eu sempre achei que a melhor maneira de criar uma solução SQL dinâmica é descobrir o que a consulta gerada quotidealquot seria no final (neste caso, dados os motivos de Retorno que conhecemos). E, em seguida, englobá-la de modo inverso Juntamente, uma parte por vez. E então, aqui é o SQL que precisamos se soubéssemos que os Razões de Retorno (A a D) eram estáticas e não mudariam. A consulta faz o seguinte: Combina os dados do SalesData com os dados de ReturnData, onde fazemos quot-wirequot a palavra Vendas como um Tipo de Ação da Tabela de Vendas e, em seguida, usamos o Razão de Retorno dos Dados de Retorno na mesma coluna do ActionType. Isso nos dará uma coluna ActionType limpa sobre a qual podermos girar. Estamos combinando as duas instruções SELECT em uma expressão de tabela comum (CTE), que é basicamente uma subconsulta de tabela derivada que posteriormente usamos na próxima declaração (para PIVOT) Uma declaração PIVOT contra o CTE, que resume os dólares para o Tipo de Ação Estar em um dos possíveis valores do tipo de ação. Observe que este não é o conjunto de resultados final. Estamos colocando isso em um CTE que lê do primeiro CTE. A razão para isso é porque queremos fazer vários agrupamentos no final. A declaração SELECT final, que lê a partir do PIVOTCTE e combina-a com uma consulta subseqüente contra o mesmo PIVOTCTE, mas onde também implementamos dois agrupamentos no recurso GROUPING SETS no SQL 2008: GROUPING by Week Week (dbo. WeekEndingDate) GRUPO para todas as linhas () Então, se soubéssemos com certeza que nunca tivemos mais códigos de razão de retorno, então essa seria a solução. No entanto, precisamos contabilizar outros códigos de razão. Portanto, precisamos gerar toda essa consulta acima como uma grande cadeia onde construímos os possíveis motivos de retorno como uma lista separada por vírgulas. I39m vai mostrar todo o código T-SQL para gerar (e executar) a consulta desejada. E então eu vou dividi-lo em partes e explicar cada passo. Então, primeiro, aqui o código inteiro para gerar dinamicamente o que eu tenho acima. Existem basicamente cinco etapas que precisamos cobrir. Passo 1 . Nós sabemos que em algum lugar da mistura, precisamos gerar uma string para isso na consulta: SalesAmount, Razão A, Razão B, Razão C, Razão D0160016001600160 O que podemos fazer é criar uma expressão de tabela comum temporária que combina as quotSales com fio rígido Montante da coluna com a lista única de possíveis códigos de razão. Uma vez que temos isso em um CTE, podemos usar o pequeno truque de FOR XML PATH (3939) para colapsar essas linhas em uma única seqüência de caracteres, colocar uma vírsa na frente de cada linha que a consulta lê e usar STUFF para substituir A primeira instância de uma vírgula com espaço vazio. Este é um truque que você pode encontrar em centenas de blogs SQL. Então, esta primeira parte cria uma string chamada ActionString que podemos usar mais abaixo. Passo 2 . Nós também sabemos que queremos somar as colunas de motivo geradas, juntamente com a coluna de vendas padrão. Então, precisamos de uma string separada para isso, que eu chamarei de SUMSTRING. Eu simplesmente usarei o ActionString original e, em seguida, REPLACE os suportes externos com a sintaxe SUM, mais os suportes originais. Passo 3: agora o trabalho real começa. Usando essa consulta original como modelo, queremos gerar a consulta original (começando com o UNION das duas tabelas), mas substituindo quaisquer referências a colunas giratórias com as strings que geramos dinamicamente acima. Além disso, embora não seja absolutamente necessário, I39 também criou uma variável para simplesmente qualquer combinação de feed de retorno de carro que queremos inserir na consulta gerada (para legibilidade). Então, construamos toda a consulta em uma variável chamada SQLPivotQuery. Passo 4. Continuamos construindo a consulta novamente, concatenando a sintaxe, podemos quotar-wirequot com ActionSelectString (que geramos dinamicamente para manter todos os possíveis valores de razão de retorno) Etapa 5. Finalmente, nós geramos a parte final do Pivot Query, que lê a partir da 2ª expressão da tabela comum (PIVOTCTE, do modelo acima) e gera o SELECT final para ler do PIVOTCTE e combiná-lo com uma 2ª leitura contra o PIVOTCTE para Implementar os conjuntos de agrupamento. Finalmente, podemos citarxecutequot a string usando o processo SQL armazenado spexecuteSQL. Então, espero que você possa ver que o processo a seguir para este tipo de esforço é Determinar qual seria a consulta final, com base em seu conjunto atual de dados e valores (isto é, construído Um modelo de consulta) Escreva o código T-SQL necessário para gerar esse modelo de consulta como uma string. Provavelmente, a parte mais importante é determinar o conjunto único de valores em que você PENSA, e depois colapsá-los em uma seqüência usando a função STUFF e o trilho FOR XML PATH (3939) Então, o que está em minha mente hoje Bem, pelo menos, 13 itens Dois No verão, escrevi um rascunho BDR que enfoca (em parte) o papel da educação e o valor de uma boa base de artes liberais, não apenas para a indústria de software, mas também para outras indústrias. Um dos temas deste BDR especial enfatizou um ponto de vista fundamental e iluminado do renomado arquiteto de software Allen Holub sobre artes liberais. (Fielmente) parafraseando sua mensagem: ele destacou os paralelos entre a programação e o estudo da história, lembrando a todos que a história está lendo e escrevendo (e eu somo, identificando padrões) e o desenvolvimento de software também está lendo e escrevendo (e novamente, identificando padrões ). E então escrevi uma peça de opinião focada neste e em outros tópicos relacionados. Mas até hoje, nunca cheguei a publicar nem publicar. De vez em quando, penso em revisá-lo, e até mesmo me sentar por alguns minutos e fazer alguns ajustes. Mas então a vida em geral iria entrar no caminho e eu nunca terminaria. Então, o que mudou Algumas semanas atrás, o colecionador CoDe Magazine e o líder da indústria, Ted Neward, escreveram uma peça em sua coluna regular, Managed Coder, que chamou minha atenção. O título do artigo é On Liberal Arts. E eu recomendo que todos leu. Ted discute o valor de um fundo de artes liberais, a falsa dicotomia entre um fundo de artes liberais e o sucesso no desenvolvimento de software, e a necessidade de escrever se comunicar bem. Ele fala sobre alguns de seus encontros anteriores com o gerenciamento de pessoal de RH em relação aos seus antecedentes educacionais. Ele também enfatiza a necessidade de aceitar e adaptar-se às mudanças em nossa indústria, bem como as características de um profissional de software bem-sucedido (ser confiável, planejar com antecedência e aprender a superar os conflitos iniciais com outros membros da equipe). Então, é uma ótima leitura, assim como os outros artigos CoDe de Teds e entradas de blog. Também me trouxe de volta a pensar em minhas opiniões sobre isso (e outros tópicos), e finalmente me motivou a terminar meu próprio editorial. Então, melhor tarde do que nunca, aqui estão os meus Bakers Dozen of Reflections: eu tenho um ditado: a água congela a 32 graus. Se você estiver em um papel de treinamento, você pode pensar que você está fazendo tudo no mundo para ajudar alguém quando de fato, eles só sentem uma temperatura de 34 graus e, portanto, as coisas não estão solidificando para eles. Às vezes é preciso apenas um pouco mais de esforço ou outro catalisador idequímico ou uma nova perspectiva, o que significa que aqueles com educação prévia podem recorrer a diferentes fontes. A água congela a 32 graus. Algumas pessoas podem manter altos níveis de concentração mesmo com uma sala cheia de gente barulhenta. Eu não sou um ocasionalmente eu preciso de alguma privacidade para pensar em um problema crítico. Algumas pessoas descrevem isso porque você deve aprender a se afastar disso. Dito de outra forma, é uma busca pelo ar rarefeito. Na semana passada, passei horas em quarto meio iluminado e silencioso com um quadro branco, até entender completamente um problema. Foi só então que eu poderia falar com outros desenvolvedores sobre uma solução. A mensagem aqui não é para pregar como você deve seguir seu negócio de resolver problemas, mas sim para que todos saibam seus pontos fortes e o que funciona e use-os em sua vantagem tanto quanto possível. Algumas frases são como as unhas em um quadro para mim. Use-o como um momento de ensino é um. (Por que é como as unhas em um quadro-negro Porque, se você estiver em um papel de mentor, você geralmente deve estar no modo de momento de ensino de qualquer maneira, por mais sutil que seja). Por outro lado, não posso realmente explicar isso em palavras, mas entendo. Isso pode soar um pouco frio, mas se uma pessoa realmente não pode explicar algo em palavras, talvez eles não entendam. Claro, uma pessoa pode ter uma sensação difusa de como algo funciona, eu posso explodir meu caminho através da descrição de como uma câmera digital funciona, mas a verdade é que eu realmente não entendo tudo tão bem. Existe um campo de estudo conhecido como epistemologia (o estudo do conhecimento). Uma das bases fundamentais para entender se é uma câmera ou um padrão de design - é a capacidade de estabelecer o contexto, identificar a cadeia de eventos relacionados, os atributos de qualquer componente ao longo do caminho, etc. Sim, a compreensão às vezes é um trabalho muito difícil , Mas mergulhar em um tópico e separá-lo vale o esforço. Mesmo aqueles que evitam a certificação reconhecerão que o processo de estudo para testes de certificação ajudará a preencher lacunas no conhecimento. Um gerenciador de banco de dados é mais provável contratar um desenvolvedor de banco de dados que possa falar extemporaneamente (e sem esforço) sobre os níveis de isolamento de transações e desencadeia, em oposição a alguém que sabe disso, mas se esforça para descrever seu uso. Há outro corolário aqui. Ted Neward recomenda que os desenvolvedores ocupem discursos em público, blogueiros, etc. Eu concordo 100. O processo de falar em público e blogging praticamente o forçará a começar a pensar em tópicos e a quebrar as definições que você poderia ter dado por certo. Há alguns anos pensei ter entendido a afirmação T-SQL MERGE muito bem. Mas apenas depois de escrever sobre isso, falando sobre, colocando perguntas de outros que tiveram perspectivas que nunca me ocorreram que meu nível de compreensão aumentou exponencialmente. Conheço uma história de gerente de contratação que já entrevistou um autordeveloper para um cargo contratado. O gerente de contratação era desdenhoso de publicações em geral e atirava o candidato, então, se você estiver trabalhando aqui, preferiria estar escrevendo livros ou escrevendo código. Sim, eu concedo que em qualquer setor haverá alguns acadêmicos puros. Mas o que o gerente de contratação perdeu foi a oportunidade de fortalecer e aprimorar os conjuntos de habilidades. Ao limpar uma velha caixa de livros, encontrei um tesouro da década de 1980: programadores no trabalho. Que contém entrevistas com um jovem Bill Gates, Ray Ozzie e outros nomes bem conhecidos. Toda entrevista e cada visão vale o preço do livro. Na minha opinião, a entrevista mais interessante foi com Butler Lampson. Que deu alguns conselhos poderosos. Para o inferno com a alfabetização informática. É absolutamente ridículo. Estudar matematica. Aprenda a pensar. Ler. Escreva. Essas coisas são de valor mais duradouro. Saiba como provar teoremas: muita evidência se acumulou ao longo dos séculos que sugere que essa habilidade é transferível para muitas outras coisas. Butler fala a verdade. Acréscimo a esse ponto, aprenda como jogar os demônios defendem contra si mesmos. Quanto mais você puder ver a realidade, verifique seus próprios processos e trabalhe, melhor será. O grande computador scientistauthor Allen Holub fez a conexão entre o desenvolvimento de software e as artes liberais especificamente, o assunto da história. Aqui estava o seu ponto de vista: o que é história Lendo e escrevendo. O que é desenvolvimento de software Entre outras coisas, leitura e escrita. Eu costumava dar a meus alunos perguntas de ensaio T-SQL como testes práticos. Um estudante brincou que eu atuei mais como um professor de direito. Bem, assim como o treinador Donny Haskins disse no filme Glory Road, meu caminho é difícil. Eu acredito firmemente em uma forte base intelectual para qualquer profissão. Assim como as aplicações podem se beneficiar de estruturas, os indivíduos e seus processos de pensamento também podem se beneficiar de estruturas humanas. Essa é a base fundamental da bolsa de estudos. Há uma história que, na década de 1970, a IBM expandiu seus esforços de recrutamento nas principais universidades, concentrando-se nos melhores e mais brilhantes graduados de artes liberais. Mesmo assim, reconheceram que os melhores leitores e escritores podem algum dia se tornar fortes analistas de sistemas programáticos. (Sinta-se livre para usar essa história para qualquer tipo de RH que insista que um candidato deve ter um diploma de ciência da computação) E falando de história: se por nenhum outro motivo, é importante lembrar o histórico de lançamentos de produtos se eu estiver trabalhando em um Site cliente que ainda está usando SQL Server 2008 ou mesmo (gasp) SQL Server 2005, eu tenho que lembrar quais recursos foram implementados nas versões ao longo do tempo. Já tem um médico favorito que você gostou porque ele explicou coisas em inglês simples, deu-lhe a verdade direta e ganhou sua confiança para operar com você. Essas são habilidades loucas. E são o resultado de experiências e TRABALHOS DUROS que levam anos e até décadas a cultivar. Não há garantias sobre o foco no sucesso do trabalho nos fatos, tire alguns riscos calculados quando tiver certeza de que pode ver o seu caminho até a linha de chegada, deixar as fichas cair onde elas podem, e nunca perder de vista ser como aquele médico que ganhou sua confiança. Mesmo que alguns dias eu fiquei curto, eu tento tratar meu cliente e seus dados como um médico trataria os pacientes. Mesmo que um médico ganhe mais dinheiro Existem muitos clichês que eu detesto, mas heres, eu não odeio: não existe uma pergunta ruim. Como ex-instrutor, uma coisa que atraiu minha ira era ouvir alguém criticar outra pessoa por ter feito uma pergunta suposta e estúpida. Uma pergunta indica que uma pessoa reconhece que eles têm alguma lacuna no conhecimento que estão procurando preencher. Sim, algumas perguntas são melhor formuladas do que outras, e algumas questões requerem enquadramento adicional antes de serem respondidas. Mas a jornada de formar uma pergunta para uma resposta provavelmente gerará um processo mental ativo em outros. Há todas as coisas boas. Muitas discussões boas e frutíferas se originam com uma pergunta estúpida. Eu trabalho em todas as ferramentas no SSIS, SSAS, SSRS, MDX, PPS, SharePoint, Power BI, DAX todas as ferramentas na pilha de BI da Microsoft. Ainda escrevo algum código. NET de vez em quando. Mas adivinhe o que ainda gasto tanto tempo escrevendo código T-SQL para dados de perfil como parte do processo de descoberta. Todos os desenvolvedores de aplicativos devem ter bons cortes T-SQL. Ted Neward escreve (corretamente) sobre a necessidade de se adaptar às mudanças de tecnologia. Acréscimo a isso a necessidade de me adaptar às mudanças do cliente. As empresas mudam as regras de negócios. As empresas adquirem outras empresas (ou se tornam alvo de uma aquisição). As empresas cometem erros na comunicação de requisitos e especificações comerciais. Sim, às vezes podemos desempenhar um papel em ajudar a gerenciar essas mudanças e, às vezes, eram a mosca, não o pára-brisa. Isso às vezes causa grande dor para todos, especialmente o I. T. pessoas. É por isso que o termo "fato da vida" existe, temos de lidar com isso. Assim como nenhum desenvolvedor escreve código sem erros sempre, não I. T. A pessoa lida bem com as mudanças a cada momento. Uma das maiores lutas que eu tive nos meus 28 anos nesta indústria está mostrando paciência e restrição quando as mudanças estão voando de muitas direções diferentes. Aqui é onde minha sugestão anterior sobre como procurar o ar rarizado pode ajudar. Se você consegue assimilar as mudanças em seu processo de pensamento e, sem se sentir sobrecarregado, as chances são de você ser um ativo significativo. Nos últimos 15 meses, tive que lidar com uma grande quantidade de mudanças profissionais. Tem sido muito difícil às vezes, mas eu decidi que a mudança será a norma e eu tentei ajustar meus próprios hábitos do melhor jeito para lidar com mudanças freqüentes (e incertas). É difícil, muito difícil. Mas como o treinador Jimmy Duggan disse no filme A League of Own: Claro que é difícil. Se não fosse difícil, todos iriam fazê-lo. O difícil, é o que o torna ótimo. Uma mensagem poderosa. Havia conversas na indústria nos últimos anos sobre a conduta em conferências profissionais (e a conduta na indústria como um todo). Muitos escritores respeitados escreveram muito bons editoriais sobre o assunto. É minha contribuição, para o que vale a pena. Its a message to those individuals who have chosen to behave badly: Dude, it shouldnt be that hard to behave like an adult. A few years ago, CoDe Magazine Chief Editor Rod Paddock made some great points in an editorial about Codes of Conduct at conferences. Its definitely unfortunate to have to remind people of what they should expect out of themselves. But the problems go deeper. A few years ago I sat on a five-person panel (3 women, 2 men) at a community event on Women in Technology. The other male stated that men succeed in this industry because the Y chromosome gives men an advantage in areas of performance. The individual who made these remarks is a highly respected technology expert, and not some bozo making dongle remarks at a conference or sponsoring a programming contest where first prize is a date with a bikini model. Our world is becoming increasingly polarized (just watch the news for five minutes), sadly with emotion often winning over reason. Even in our industry, recently I heard someone in a position of responsibility bash software tool XYZ based on a ridiculous premise and then give false praise to a competing tool. So many opinions, so many arguments, but heres the key: before taking a stand, do your homework and get the facts . Sometimes both sides are partly rightor wrong. Theres only one way to determine: get the facts. As Robert Heinlein wrote, Facts are your single clue get the facts Of course, once you get the facts, the next step is to express them in a meaningful and even compelling way. Theres nothing wrong with using some emotion in an intellectual debate but it IS wrong to replace an intellectual debate with emotion and false agenda. A while back I faced resistance to SQL Server Analysis Services from someone who claimed the tool couldnt do feature XYZ. The specifics of XYZ dont matter here. I spent about two hours that evening working up a demo to cogently demonstrate the original claim was false. In that example, it worked. I cant swear it will always work, but to me thats the only way. Im old enough to remember life at a teen in the 1970s. Back then, when a person lost hisher job, (often) it was because the person just wasnt cutting the mustard. Fast-forward to today: a sad fact of life is that even talented people are now losing their jobs because of the changing economic conditions. Theres never a full-proof method for immunity, but now more than ever its critical to provide a high level of what I call the Three Vs (value, versatility, and velocity) for your employerclients. I might not always like working weekends or very late at night to do the proverbial work of two people but then I remember there are folks out there who would give anything to be working at 1 AM at night to feed their families and pay their bills. Always be yourselfyour BEST self. Some people need inspiration from time to time. Heres mine: the great sports movie, Glory Road. If youve never watched it, and even if youre not a sports fan I can almost guarantee youll be moved like never before. And Ill close with this. If you need some major motivation, Ill refer to a story from 2006. Jason McElwain, a high school student with autism, came off the bench to score twenty points in a high school basketball game in Rochester New York. Heres a great YouTube video. His mother said it all . This is the first moment Jason has ever succeeded and is proud of himself. I look at autism as the Berlin Wall. He cracked it. To anyone who wanted to attend my session at todays SQL Saturday event in DC I apologize that the session had to be cancelled. I hate to make excuses, but a combination of getting back late from Detroit (client trip), a car thats dead (blown head gasket), and some sudden health issues with my wife have made it impossible for me to attend. Back in August, I did the same session (ColumnStore Index) for PASS as a webinar. You can go to this link to access the video (itll be streamed, as all PASS videos are streamed) The link does require that you fill out your name and email address, but thats it. And then you can watch the video. Feel free to contact me if you have questions, at kgoffkevinsgoff. net November 15, 2013 Getting started with Windows Azure and creating SQL Databases in the cloud can be a bit daunting, especially if youve never tried out any of Microsofts cloud offerings. Fortunately, Ive created a webcast to help people get started. This is an absolute beginners guide to creating SQL Databases under Windows Azure. It assumes zero prior knowledge of Azure. You can go to the BDBI Webcasts of this website and check out my webcast (dated 11102013). Or you can just download the webcast videos right here: here is part 1 and here is part 2. You can also download the slide deck here. November 03, 2013 Topic this week: SQL Server Snapshot Isolation Levels, added in SQL Server 2005. To this day, there are still many SQL developers, many good SQL developers who either arent aware of this feature, or havent had time to look at it. Hopefully this information will help. Companion webcast will be uploaded in the next day look for it in the BDBI Webcasts section of this blog. October 26, 2013 Im going to start a weekly post of T-SQL tips, covering many different versions of SQL Server over the years Heres a challenge many developers face. Ill whittle it down to a very simple example, but one where the pattern applies to many situations. Suppose you have a stored procedure that receives a single vendor ID and updates the freight for all orders with that vendor id. create procedure dbo. UpdateVendorOrders update Purchasing. PurchaseOrderHeader set Freight Freight 1 where VendorID VendorID Now, suppose we need to run this for a set of vendor IDs. Today we might run it for three vendors, tomorrow for five vendors, the next day for 100 vendors. We want to pass in the vendor IDs. If youve worked with SQL Server, you can probably guess where Im going with this. The big question is how do we pass a variable number of Vendor IDs Or, stated more generally, how do we pass an array, or a table of keys, to a procedure Something along the lines of exec dbo. UpdateVendorOrders SomeListOfVendors Over the years, developers have come up with different methods: Going all the way back to SQL Server 2000, developers might create a comma-separated list of vendor keys, and pass the CSV list as a varchar to the procedure. The procedure would shred the CSV varchar variable into a table variable and then join the PurchaseOrderHeader table to that table variable (to update the Freight for just those vendors in the table). I wrote about this in CoDe Magazine back in early 2005 (code-magazinearticleprint. aspxquickid0503071ampprintmodetrue. Tip 3) In SQL Server 2005, you could actually create an XML string of the vendor IDs, pass the XML string to the procedure, and then use XQUERY to shred the XML as a table variable. I also wrote about this in CoDe Magazine back in 2007 (code-magazinearticleprint. aspxquickid0703041ampprintmodetrue. Tip 12)Also, some developers will populate a temp table ahead of time, and then reference the temp table inside the procedure. All of these certainly work, and developers have had to use these techniques before because for years there was NO WAY to directly pass a table to a SQL Server stored procedure. Until SQL Server 2008 when Microsoft implemented the table type. This FINALLY allowed developers to pass an actual table of rows to a stored procedure. Now, it does require a few steps. We cant just pass any old table to a procedure. It has to be a pre-defined type (a template). So lets suppose we always want to pass a set of integer keys to different procedures. One day it might be a list of vendor keys. Next day it might be a list of customer keys. So we can create a generic table type of keys, one that can be instantiated for customer keys, vendor keys, etc. CREATE TYPE IntKeysTT AS TABLE ( IntKey int NOT NULL ) So Ive created a Table Typecalled IntKeysTT . Its defined to have one column an IntKey. Nowsuppose I want to load it with Vendors who have a Credit Rating of 1..and then take that list of Vendor keys and pass it to a procedure: DECLARE VendorList IntKeysTT INSERT INTO VendorList SELECT BusinessEntityID from Purchasing. Vendor WHERE CreditRating 1 So, I now have a table type variable not just any table variable, but a table type variable (that I populated the same way I would populate a normal table variable). Its in server memory (unless it needs to spill to tempDB) and is therefore private to the connectionprocess. OK, can I pass it to the stored procedure now Well, not yet we need to modify the procedure to receive a table type. Heres the code: create procedure dbo. UpdateVendorOrdersFromTT IntKeysTT IntKeysTT READONLY update Purchasing. PurchaseOrderHeader set Freight Freight 1 FROM Purchasing. PurchaseOrderHeader JOIN IntKeysTT TempVendorList ON PurchaseOrderHeader. VendorID Te mpVendorList. IntKey Notice how the procedure receives the IntKeysTT table type as a Table Type (again, not just a regular table, but a table type). It also receives it as a READONLY parameter. You CANNOT modify the contents of this table type inside the procedure. Usually you wont want to you simply want to read from it. Well, now you can reference the table type as a parameter and then utilize it in the JOIN statement, as you would any other table variable. So there you have it. A bit of work to set up the table type, but in my view, definitely worth it. Additionally, if you pass values from. NET, youre in luck. You can pass an ADO. NET data table (with the same tablename property as the name of the Table Type) to the procedure. For. NET developers who have had to pass CSV lists, XML strings, etc. to a procedure in the past, this is a huge benefit. Finally I want to talk about another approach people have used over the years. SQL Server Cursors. At the risk of sounding dogmatic, I strongly advise against Cursors, unless there is just no other way. Cursors are expensive operations in the server, For instance, someone might use a cursor approach and implement the solution this way: DECLARE VendorID int DECLARE dbcursor CURSOR FASTFORWARD FOR SELECT BusinessEntityID from Purchasing. Vendor where CreditRating 1 FETCH NEXT FROM dbcursor INTO VendorID WHILE FETCHSTATUS 0 EXEC dbo. UpdateVendorOrders VendorID FETCH NEXT FROM dbcursor INTO VendorID The best thing Ill say about this is that it works. And yes, getting something to work is a milestone. But getting something to work and getting something to work acceptably are two different things. Even if this process only takes 5-10 seconds to run, in those 5-10 seconds the cursor utilizes SQL Server resources quite heavily. Thats not a good idea in a large production environment. Additionally, the more the of rows in the cursor to fetch and the more the number of executions of the procedure, the slower it will be. When I ran both processes (the cursor approach and then the table type approach) against a small sampling of vendors (5 vendors), the processing times where 260 ms and 60 ms, respectively. So the table type approach was roughly 4 times faster. But then when I ran the 2 scenarios against a much larger of vendors (84 vendors), the different was staggering 6701 ms versus 207 ms, respectively. So the table type approach was roughly 32 times faster. Again, the CURSOR approach is definitely the least attractive approach. Even in SQL Server 2005, it would have been better to create a CSV list or an XML string (providing the number of keys could be stored in a scalar variable). But now that there is a Table Type feature in SQL Server 2008, you can achieve the objective with a feature thats more closely modeled to the way developers are thinking specifically, how do we pass a table to a procedure Now we have an answer Hope you find this feature help. Feel free to post a comment. SSIS Basics: Using the Conditional Split Annette Allen In previous articles in this SQL Server Integration Services (SSIS) series, you8217ve seen how to add a Data Flow task to your control flow and then add components to the data flow. In this article, you8217ll learn how to add the Conditional Split transformation to your data flow. The transformation lets you route your data flow to different outputs, based on criteria defined within the transformation8217s editor. The example I demonstrate in this article uses the Conditional Split transformation to divide data retrieved from a table in a SQL Server database into two data flows so we can save the data into separate tables. We8217ll use an OLE DB connection to retrieve the source data from the Employee table in the AdventureWorks database. We8217ll then separate the data into two sets. The employees who started before 1 March 1999 will be loaded into the PreMar1999 table, and those on or after that date will be loaded into the PostMar1999 table. We8217ll create these tables as we define our data flow. Adding a Connection Manager to Our SSIS Package Before we do anything else, we need to set up a connection manager to the database that contains our source data. To do this, right-click the Connection Manager s window and then click New OLE DB Connection . as shown in Figure 1. Figure 1: Adding an OLE DB connection manager When the Configure OLE DB Connection Manager dialog box appears, click New . This launches the Connection Manager dialog box. In the Server name drop-down list, select the name of the SQL Server instance that hosts the database containing the source data you want to use for this exercise. (Note that it should be some version of the AdventureWorks database.) Then configure the authentication type you use to connect to the database. Finally, in the Connect to a database drop-down list, select the source database. On my system, I8217m connecting to a SQL Server instance named 192.168.1.22Cambridge . using SQL Server Authentication as my authentication type, and connecting to the AdventureWorks database, as shown in Figure 2. Figure 2: Configuring an OLE DB connection manager After you set up your connection manager, click Test Connection to ensure that you can properly connect to the database. If you receive a message confirming that the test connection succeeded, click OK to close the Connection Manager dialog box. Your new connection manager should now be listed in the Connection Manager s window. Adding an OLE DB Source to Our Data Flow Now that we8217ve established a connection to our database, we can set up our data flow to retrieve data from the Employee table and then split that data into two sets. That means we must first add a Data Flow task to our control flow. To do so, drag the task from the Control Flow Items section within the Toolbox window to the control flow design surface, as shown in Figure 3. Figure 3: Adding a Data Flow task to the control flow After you8217ve added the Data Flow task, double-click the task to go to the Data Flow tab. Once there, drag an OLE DB source from the Toolbox window to the data flow design surface. The next step is to configure the OLE DB source. To do so, double-click the component to open the OLE DB Source Editor . Because we already created an OLE DB connection manager, it will be the default value in the OLE DB connection m anager drop-down list. That8217s the connection manager we want. Next, ensure that the Table or view option is selected in the Data access mode drop-down list, and then select the HumanResources. Employee table from the Name of the table or the view drop-down list. Your OLE DB Source Editor should now look similar to the one shown in Figure 4. Figure 4: Configuring the OLE DB Source Editor Now we need to select the columns we want to include in our data flow. Go to the Columns page of the OLE DB Source Editor . You8217ll see a list of available columns in the Available External Columns table, as shown in Figure 5. We don8217t want to include all those columns, however. We want to include only those shown in the External Column list in the grid at the bottom of the page. To remove the unwanted columns, deselect them in the Available External Columns table. Figure 5: Selecting which columns to include in our data flow Adding a Conditional Split Transformation to the Data Flow Now we need to add in the Conditional Split transformation to the data flow. To do so, drag the transformation from the Data Flow Transformations section of the Toolbox window to the data flow design surface, beneath the OLE DB source, as shown in Figure 6. Figure 6: Adding the Conditional Split transformation to the data flow We now need to connect the OLE DB source to the Conditional Split transformation. Click the green arrow (the data flow path) at the bottom of the OLE DB source and drag it to the Conditional Split transformation, as shown in Figure 7. Figure 7: Connecting the source to the Conditional Split transformation After we add the Conditional Split transformation, we need to do something with it. As I mentioned previously, we8217re going to use the transformation to divide the data flow into two separate paths. To do this, double-click on the Conditional Split transformation to open the Conditional Split Transformation Editor . The editor is divided into three main windows, as shown in Figure 8. Figure 8: Working with the Conditional Split Transformation Editor Notice in Figure 8 that I8217ve labeled the windows 1 . 2 and 3 to make them easier to explain. The windows provide the following functionality: Columns and variables we can use in our expressions that define how to split the data flow. Functions we can use in our expressions that define how to split the data flow. Conditions that define how to split the data flow. These need to be set in priority order any rows that evaluate to true for one condition will not be available to the condition that follows. For this example, we8217ll define our condition based on the HireDat e field in the data flow. So the first step to take is to expand the Columns node in window 1 and drag the HireDate field to the Condition column of the grid in window 3. When you drag the file to the Condition column, SSIS will populate the Order and Output Name columns, with all three columns written in red text as shown in Figure 9. Figure 9: Creating a condition that defines how to split the data flow As you can see in Figure 9, SSIS populates the columns with default values. For the Order column, stick with the default value of 1 . For the Output Name column, we8217ll provide a name for our outbound data path. (We8217ll be creating two data paths, based on our split condition.) On my system, I used the name Pre Mar 1999 . so type that or another name into the Output Name column. Now we must define the expression that determines how the condition will evaluate the data. This we do in the Condition column. As previously stated, we8217ll split the data flow based on those employees who started before 1 March 1999 and those who started on or after that date. So we need to define two conditions. We8217ve already been working on the first condition. To finish defining that one, we need to add a comparison operator to the expression in the Condition column, in this case, the lesser-than ( lt ) symbol. There are two ways to add the operator. You can type it directly into the Condition column (after the column name), or you can expand the Operators node in section 2 and drag the less-than symbol to the Condition column. Next, we need to add a date for our comparison, which we add as a string literal, enclosed in double quotes. However, because we8217re comparing the date to the HireDate column, we need to convert the string to the DTDBDATE SSIS data type. Luckily, SSIS makes this very easy. We enclose the data type in parentheses and add it before the string value. Once we8217ve done this, the equation in the Condition column should look as follows: That8217s all there is to it. Your Conditional Split Transformation Editor should now look similar to the one shown in Figure 10. Figure 10: Setting up the Conditional Split Transformation Editor Once you8217re satisfied that you8217ve configured the Conditional Split transformation the way you want it, click OK to close the Conditional Split Transformation Editor . Adding Data Flow Destinations to the Data Flow Now that we8217ve split the data flow into multiple data paths, we now need to add a destination for each of those paths. So let8217s start with the first data path. Drag an OLE DB destination from the Data Flow Destinations section of the Toolbox window to the data flow design surface, somewhere beneath the Conditional Split transformation. Next, drag the green data path arrow from the Conditional Split transformation to the OLE DB destination. When you connect the data path to the destination, the Input Output Selection dialog box appears, as shown in Figure 11. The dialog box lets us choose which output we want to direct toward the selected destination. Figure 11: Configuring the Input Output Selection dialog box Notice that the dialog box includes the Output drop-down list. These are the data path outputs available from the Conditional Split transformation. In this case, the drop-down list will include three options: We8217ve just set up the first two, so these should be self-explanatory. However, there is a third output data path, Conditional Split Default Output . which captures any records that don8217t meet the conditions defined in the first two outputs. In our example, there shouldn8217t be any records in this category, but later we8217ll configure this one anyway, just to demonstrate how it works. For the first OLE DB destination, select the first option, PreMar1999 . and then click OK . SSIS will assign the output name to the data path. We now need to configure the OLE DB destination. Double-click the component to open the OLE DB Destination Editor . Next to the Name of the table or the view drop-down list, click the New button. This launches the Create Table dialogue box, which includes a CREATE TABLE statement that defines a table based on the data flow, as shown in Figure 12. The only change you might want to make to the statement is to modify the table name. I renamed mine to PreMar1999 . Figure 12: Creating a table when configuring the OLE DB destination Once you8217re satisfied with the CREATE TABLE statement, click OK to close the CREATE TABLE dialog box. You should be returned to the Connection Manager page of the OLE DB Destination Editor . For all other settings on this page, stick with the default values, as shown in Figure 13. Figure 13: Using the default values in the OLE DB Destination Editor Now go to the Mappings page of the OLE DB Destination Editor to check that the columns have mapped correctly. You can also click the Preview button on that page to ensure that the data looks as you would expect. At this stage, however, it8217s likely to appear empty. Next, you should consider renaming your OLE DB destination to avoid confusion down the road. On my system, I renamed the destination to PreMar1999 . To rename a component, right-click it, click Rename . and then type in the new name. Renaming components makes it easier to distinguish one from the other and for other developers to better understand their purpose. Once you8217ve renamed your destination, you8217re ready to set up the other destinations. Repeat the data flow configuration process for the PostMar1999 data path and the default data path. You8217ll notice that once a data path has been used, it8217s no long available as an option. When you8217re finished configuring your OLE DB destinations and their data paths, your data flow should look similar to the one shown in Figure 14. Figure 14: The data flow split into three data paths Now it8217s time to test how it works. To do this, click the Execute button (the green arrow) on the menu bar. If the package runs successfully, it should look similar to the data flow shown in Figure 15. Figure 15: Running the SSIS package If all your data flow components turn green, you know that your package is probably running correctly. However, another important indicator is the number of rows that were loaded into each table. As Figure 15 indicates, the package inserted 136 rows into the PreMar1999 table and 154 rows into the PostMar1999 table. (These numbers could vary, depending on which version of the AdventureWorks database you8217re using.) As expected, no rows were passed along the default data path. If you were to check the source data (the Employee table), you should come up with a matching number of records. In this article, we created an SSIS package with a single data flow. We added a Conditional Split transformation to the data flow in order split the data into multiple paths. We then directed each of those data paths to a different destination table. However, our destinations did not have to be SQL Server tables. They could have been flat files, spreadsheets or any other destination that SSIS supports. In future articles, we8217ll use the Conditional Split with other data flow components, such as the Merge Join transformation, to insert, update and delete data. Related articles Also in Basics Every SQL Server Database programmer needs to be familiar with the System Functions. These range from the sublime (such as rowcount or identity) to the ridiculous (IsNumeric()) Robert Sheldon provides an overview of the most commonly used of them. hellip Read more Also in SQL With the rise of NoSQL databases that are exploiting aspects of SQL for querying, and are embracing full transactionality, is there a danger of the data-document models hierarchical nature causing a fundamental conflict with relational theory We asked our relational expert, Hugh Bin-Haad to expound a difficult area for database theorists. hellip Read more Also in SSIS With database deployments, not all script-based processes are equal. Some use change scripts in a free-and-easy way, and some, which are normally called 039migrations-based approaches039, have more discipline around them. In this article, Redgate Product Manager Elizabeth Ayer covers 039migrations039, and shows some of the benefits that have come with new tooling which is specifically designed to assist the change script processes. hellip Read more Also in SSIS In many enterprises, where there are a number of separate systems engaged in processing data, there arises the daunting task of checking and reconciling data as it flows between systems. Discrepancies in data must be detected, tracked and corrected as quickly as possible: there is no room for error in doing this. A Reconciliation Hub can provide the answer, as Rahul Gupta explains. hellip Read more copy 2005 - 2017 Red Gate Software Ltd What do you think of the new Simple Talk Give us your feedback
No comments:
Post a Comment