www.ambica.cz - Ambica s.r.o. je česká konzultační a softwarová firma, která se specializuje na řešení Business Intelligence a Data Warehousing na platformě Microsoft.
Domovská stránka

PRODUKTY, ŘEŠENÍ

TECHNOLOGIE
BI platforma
Datová platforma
Uživatelské rozhraní
Office
Prezentační vrstva
O společnosti Kontakty Zákazníci Kariéra Z tisku Hledat English
Integration Services Tisk E-mail


ETL nástroj pro Business Intelligence

Microsoft SQL Server 2008 Integration Services

SQL Server 2008 nabízí škálovatelnou platformu pro integraci podnikových dat s výjimečnými funkcemi pro extrahování, transformaci a načítání dat (ETL) a možnostmi integrace, která organizacím usnadňuje správu dat z celé řady zdrojů.

SQL Server Integration Services (SSIS) jsou nástrojem, který  umožní heterogenní data napříč společností získat, transformovat je do potřebné podoby, zkontrolovat a nahrát do databáze (datového skladu).

SSIS obsahují komponenty pro čtení a čištění dat ze známých datových zdrojů (SQL Server, ORACLE,…), podporu vlastních datových zdrojů (pokud k nim existuje OLE DB, ADO.NET driver), komponenty text miningu. S takto různě získanými daty pak lze pracovat nezávisle na tom, odkud pochází, spojovat je a transformovat dle potřeby a ukládat do různých cílů. SSIS eliminují (nebo alespoň minimalizují) nutnost meziukládání dat (stagingu).

ssis0
 

 

 

 

 

 

 

 

 

 

Nové klíčové funkce

  • Vytváření skriptů pomocí Microsoft Visual C#®   a Microsoft Visual Basic ® .NET.
  • Využití ADO.NET pro úlohy, stejně jako pro zdrojové   a cílové komponenty.
  • Zlepšená škálovatelnost se sdružováním vláken.
  • Rozšířené vyhledávácí transformace.
  • Více funkční a škálovatelné datové přenosy s lepším   průvodcem SQL Server Import a Export.

Datové zdroje a cíle

SSIS podporují veliké množství datových zdrojů, ze kterých jsou schopny čerpat data, a cílů, kam tato data umí nahrávat. SSIS podporují datové zdroje od textových souborů (CSV, konstantní délka sloupečků), souborů Excelu, XML až po libovolné OLE DB či .NET Framework datové zdroje.

Podpora datových zdrojů a cílů je tak široká, že se dá říci, že SSIS jsou schopny integrovat téměř všechna vaše data. Načtená data z různých datových zdrojů jsou převedena do stejného formátu okamžitě po načtení a je jedno, z jakého datového zdroje pochází.

Transformace

Data tečou z datového zdroje, po cestě na nich mohou být vykonávány různé kontroly či transformace a na závěr jsou data uložena do datového cíle.

SSIS se snaží tam, kde je to možné, provést v paměti všechny transformace a eliminovat tak potřebu meziukládání dat.
 
SSIS jsou vybaveny (oproti DTS) širokou paletou možných transformací dat.
Například:

  • Podmíněné rozdělení dat. Na základě definované podmínky (podmínek) lze příchozí data rozdělovat na skupiny a každou z nich třeba ukládat do jiné tabulky.
  • Konverze dat. Na datech lze provádět různé konverze (řetězec -> číslo, změna kódové stránky řetězce, …).
  • Třídění dat.
  • Spojování dat. Data z různých zdrojů lze spojovat (JOIN, UNION).
  • Agregace.
  • Odvozené sloupce. Na základě hodnot některých sloupců lze vytvářet dopočítávané nové sloupce.
  • Lookup.
  • Fuzzy lookup, Fuzzy grouping.  „Nepřesné“ vyhledávání nebo seskupování vhodné například k seskupování dat zadaných z formulářů na WWW, kdy jednou  uživatel zadá „Novak“, jindy „Novák“, „novak“, „NOVAK“, … 

Příklad toku dat v SSIS balíčku ssis_small

 

 

 

 

 

 

 

 

 

 

 

 

 

V textovém souboru se nacházejí nějaké informace o knihách (23 záznamů). Textový soubor je psán ručně a mohou se v něm vyskytovat překlepy.Zkusíme vyhledat, zda název knihy již máme v DB (3 odpovídající záznamy). Těm přiřadíme nový sloupec důvěryhodnost: 100%.

Na zbylých 20 záznamů použijeme „nepřesné vyhledávání“, které nám ke každé knize přiřadí existující název knihy, který je nejvíce podobný uvedenému, a úroveň shody. V dalším kroku podle úrovně shody rozdělíme data na „nejspíše neexistující v DB“ (ta jsou uložena do zvláštní tabulky) a na „velmi pravděpodobně existující v DB“ (ta jsou spojena s 3mi 100% správnými záznamy) a dále zpracována.

Balíček je právě debugován. Zelené úkoly již úspěšně proběhly, žluté jsou právě prováděny, bílé stále na provedení čekají.

Další funkce

Načítáním dat z datových zdrojů, jejich transformace a ukládání do cílů výčet možných úkonů SQL Server Integration Services zdaleka nekončí.
Pomocí SSIS lze dále například:

  • Spouštět ActiveX skripty.
  • Spouštět procesy systému.
  • Dotazovat se do data miningového modelu.
  • Stahovat a nahrávat soubory z FTP serveru.
  • Posílat emaily pomocí SMTP serveru.
  • Procesovat OLAP databáze (i části).
  • Spouštět metody nějaké webové služby.
  • Přenášet objekty SQL serveru mezi SQL servery.
  • Kopírovat, přesunovat a mazat soubory a adresáře.

Integration Services podporují vytváření cyklů typu for a foreach. Všechny tyto úkoly pak lze spojovat do komplikovanějších workflow.

SSIS obsahují dále úlohy pro správu a údržbu databází SQL Serveru. Lze vytvářet balíčky, které se starají o kompletní údržbu databázového serveru.

 

 
(C) Copyright 2013 AMBICA s.r.o.