Kako bismo Vam omogućili bolje korisničko iskustvo te potpunu funkcionalnost Internet stranice, ova stranica pohranjuje kolačiće (cookies).

Analitičke kolačiće Google Analytics koristimo samo uz Vašu suglasnost. Prihvaćam Odbijam Više informacija

Azure Data Factory, servis za modernu obradu podataka u cloudu

Data Factory je preživio dosta promijena od verzije 1 do verzije 2. Pruža vrlo fleksibilan rad sa različitim formatima podataka. Podržava rad sa Cloud sistemima, tako i on-premise. Za verziju 2 najviše se radilo na uspostavljanju stabilnog UI-a koji je u mnogome poboljšao rad sa pipelinima te kompletno upravljanje ETL procesa. Omogućava rad sa različitim tipovima izvora podataka, njihovu obradu te skladištenje. Da je podatke moguće preuzeti iz AWS-a te prebaciti u Azure, pokazaćemo na ovom predavanju. Data source ce biti AWS S3, nakon toka podaci će proći kroz transformaciju uz pomoć activity-ja, skladištenje na Spark klusteru, obradu pomoću Hive-a. Na kraju, odredjeni setovi podataka biće skladišteni u Azure Cosmos DB-u, Azure SQL serveru i Azure Table Storage-u. Kroz demo, biće prikazano kako je moguće postaviti alerting pomoću LogicApp servisa te dobiti informaciju dokle je stigla obrada podataka. Microsoft donosi u preview opciji DataFlow feature koji ce biti prikazan u sklopu demoa.

0 komentar(a)

Materijali s predavanja

Ratomir Vukadin

Klika

Od početka karijere bavi se full-stack razvojem web aplikacija, servisa i složenih poslovnih sistema. Danas je DevOps engineer prvenstveno za Azure Cloud platformu i Azure DevOps. Bavi se razvojem aplikacija baziranih na .NET core (ASP.NET Core) platformi, ETL sistema, front-end dijela. Zanimao se za tehnologiju što ga je vodilo do Elektrotehničkog fakulteta. Bio je predavač na MS Community 2017, MS Netowork 8, SQL Saturday 2018, Network9 te na nekoliko lokalnih community grupa. Bio je trener na Microsoft kursevima za razvoj web aplikacija. Sada istražuje svijet AI, ML i naprednih algoritama na master studiju. Od certifikata posjeduje MCP, MTA, MCT za 2019-2020 godinu, MCSD te MCSA za razvoj web aplikacija.

Komentiranje moguće potvrđenim sudionicima konferencije kroz WinDays aplikaciju.

app.windays.hr

Podijeli s prijateljima