SQL Server-tietovarastot pilveen ja heti?

Tietokannoista ja tietovarastoista pilvessä on vaahdottu jo vuosia. Suomessa keskustelu keskittyy enemmän Microsoft Azure-kuin Amazon-puolelle. Siitäkin huolimatta, että Amazonin pilvessä välineet erityisesti ETL:n osalta ovat pidemmällä kuin Azuressa. Tietovaraston viskaaminen pilveen ei ole ihan yksinkertainen asia, etenkin jos työkalut puutteellisia.

Tietovaraston toiseksi tärkein komponentti tietokannan jälkeen on ETL-väline (Extract, Tansform and Load). Nykyään puhutaan myös ELT:stä, mutta se on oma tarinansa. Joka tapauksessa välineestä, jolla data ladataan lähdejärjestelmistä tietovarastoon, tehdään erilaista muokkausta dataan, siivousta, yhdistelemistä, business-logiikkaa.

Esimerkki perinteisestä DW-arkkitehtuurista

Perinteisen mallisessa esimerkkiarkkitehtuurissa ETL on SQL Server Integration Services (SSIS). Dataa jaetaan SSAS-kuution kautta (SQL Server Analysis Services) ja vaikka Reporting Services-raporteilla (SSRS).

Azuren pilvestä löytyy tietovaraston tietokannalle kaksi eri skaalautuvaa vaihtoehtoa. Azure db ja Azure SQL DW. Kumpikaan näistä ei sisällä tuota maagista ETL-työvälinettä. Azure tarjoaa tähän tuotetta nimeltä Data Factory. Sillä onnistuvat vain hyvin yksinkertaiset datan siirrot paikasta toiseen, ei juuri muuta. Tietovarastoympyröissä se on enemmän tai vähemmän käyttökelvoton työkalu, tämä on tullut todennettua jo useammassa projektissa.

Kunnollisen ETL-työvälineen puutteen takia joudutaan yleensä ottamaan Microsoft-ympyröissä avuksi virtuaalipalvelin, jossa on SQL Server sekä Integration Services. Eli samalla myös SQL Server-lisenssi, josta käytännössä maksetaan joko palvelimen kuukausihinnassa, tai kertaostoksena.

Esimerkki Azure DW-arkkitehtuurista

Azure-arkkitehtuurissa siis on pakko ottaa mukaan virtuaalipalvelin. Puhutaanko siinä sitten enää oikeastaan pilviratkaisusta? No skaalautuuhan se, mutta niin skaalautuu omassa konesalissakin oleva virtuaalipalvelin. Tai toisaalta se virtuaalipalvelinhan voi olla ihan minkä tahansa palveluntarjoajan konesalissa. Ja se SQL Server lisenssi tarvitaan, joka maksetaan tavalla tai toisella. Ja jos vielä tarvitaan kunnollista tulos- ja taseraportointia, ei PowerBI riitä. Microsoftin vastaus vakioraportointiin on edelleen Reporting Services-raportit SQL Serverin kyljessä (SSRS). No mikä on sitten lisäarvo tuossa yhtälössä Azure SQL-kannalle? Monessa tapauksessa niin pieni, että on aivan sama, jos kannatkin ovat siellä virtuaalipalvelimella. Silloin oikeasti pilveen jääkin enää keväällä tuotantoon julkaistu Azure Analysis Services (SSAS) sekä Power BI. Paitsi jos sekin asennetaan lokaalisti, jotta saadaan integroitua Reporting Services-portaaliin... hmm

Joo, en ole pilviratkaisuita vastaan, en ole ollut koskaan. Päin vastoin. Vaan kun nuo BI-puolen työkalut eivät vielä oikein tue Azuressa pilviratkaisuja. Amazonin puolella mielenkiintoinen, oikeasti pilvessä toimiva ETL-tuote on Matillion. Kannattaa käydä ihmettelemässä. Microsoft, mikä on se päivä kun saadaan SSIS Azureen palveluksi??