Садржај
- Шта је архитектура података нове генерације?
- Очекивања од Хадоопа у контексту нове генерације архитектуре
- Које вредности може Хадооп додати архитектури података нове генерације?
- Побољшане перформансе као архитектура података предузећа
- Разлика између Хадоопа и других технологија
- Закључак
Извор: Ромео1232 / Дреамстиме.цом
Одузети:
Хадооп ће бити кључни играч у архитектури података нове генерације због своје способности да обрађује огромне количине података.
Хадоопова корисност почиње да превазилази велику обраду података и аналитику јер индустрија од ње све више захтева. Хадооп непрекидно испуњава различите захтеве везане за архитектуру података предузећа, задржавајући своје изворне предности. Листа шта Хадооп може и тренутно ради је прилично дугачка. Хадооп је сада у могућности да обрађује огромне количине трансакцијског оптерећења, што је раније очекивано од традиционалних технологија. Ако кренемо напријед, постоји много могућности за Хадооп у будућности. На пример, трансакциони системи засновани на СКЛ-у могу да користе Хадооп СКЛ енгине, а Хадооп ће такође додати пуно РДБМС могућности. Можете рећи да Хадооп постаје хибрид за обраду података и аналитичке могућности са могућностима архитектуре предузећа.
Шта је архитектура података нове генерације?
Једноставно речено, архитектура података нове генерације је еволуирани облик архитектуре података. Све, укључујући моделе података, политике података, правила и стандарде који регулишу начин прикупљања, складиштења, уређења, анализирања или обраде, интегрисања, коришћења и дистрибуције, развијало се у архитектури података нове генерације.
Главна разлика између раније архитектуре података и архитектуре података нове генерације је могућност ове потоње да у стварном времену прикупља, складишти и обрађује огромне количине података, познате и као велики подаци. Архитектура обавља све ове сложене задатке без угрожавања стандарда приватности, сигурности и управљања подацима.
Сљедећа генерација архитектуре података суочена је с многим изазовима. Није лако управљати количином, брзином и разноликошћу великих података. Уз то додајте захтеве за оптимизацијом радног оптерећења система, побољшањем перформанси, брзином и тачношћу и смањењем трошкова. Непотребно је рећи да претходна архитектура података није морала да управља таквим захтевима.
Дакле, ЦИО и информативни архитекти желе да пронађу решење које ће им помоћи да остваре своје циљеве. Оперативни Хадооп је већ неко време у фокусу овог конвера. У следећим одељцима биће речи о томе како оперативни Хадооп може да реши проблеме.
Очекивања од Хадоопа у контексту нове генерације архитектуре
Компаније су под све већим притиском да дају боље резултате, а ефекти се своде на очекивања која се постављају од технологија. Дакле, од Хадоопа се више не очекује да обрађује податке. ЦИО и ЦТО-ови желе више од Хадоопа. Слиједи листа очекивања од Хадоопа. У ствари, Хадооп је већ испунио неколико ових очекивања.
Очекује се да ће Хадооп радити са системима трансакција који су базирани на СКЛ-у и имају могућности креирања, читања, ажурирања и брисања. Системи трансакција ће користити СКЛ мотор. Системи ће такође имати потпуну сагласност за преносни оперативни систем (ПОСИКС) и могућност обраде великих количина трансакција.
Очекује се да ће Хадооп подржавати функције као што су резервно копирање, толеранција грешака, опоравак и опоравак од катастрофе. Да би Хадооп еволуирао у систем са РДБМС могућностима, он треба да буде компатибилан са постојећим ИТ алатима.
Хадооп већ ради на испуњењу очекивања, што је видљиво из неких дешавања. Хадооп може пружити анализу у стварном времену и брзе одговоре на основу подршке за управљање ресурсима коју пружа ИАРН. ИАРН је опсежни и дистрибуирани оперативни систем за велике апликације, осим што је менаџер ресурса. Познати су и други догађаји попут Апацхе Сторм, дистрибуираних архитектура у меморији као што су Апацхе Спарк, Апацхе Хиве, Дрилл и МапР-ФС (замјена високих перформанси ХДФС), како би понудили различите могућности базе података, попут резервног копирања, опоравка од катастрофе, толеранције грешака итд. (Више о ИАРН, погледајте Које су предности оквира Хадооп 2.0 (ИАРН)?)
Које вредности може Хадооп додати архитектури података нове генерације?
Вриједности које оперативни Хадооп може додати архитектури података нове генерације могу се посматрати из двије перспективе: једна, да ли испуњава горе описана очекивања, и друга, да ли чини нешто додатно. Следеће су видљиве вредности које оперативни Хадооп може донети.
Хадооп је сада у могућности да обезбеди већу скалабилност и управљивост података на својој платформи путем ХДФС-а. А оперативни систем за податке је омогућен путем Хадооп-ових ИАРН апликација. Ова стратегија представља помак у архитектури података на фундаменталном нивоу. Сада, Хадооп може да складишти различите врсте података као што су трансакционо оријентисане базе података, графиконске базе података и базе података документима и тим подацима може се приступити путем ИАРН апликација. Нема потребе да дуплирате или премештате податке на друге локације.
Побољшане перформансе као архитектура података предузећа
Оперативни Хадооп је на путу да постане основни систем архитектуре података предузећа. Како Хадооп више улази у архитектуру података предузећа, силоси података биће елиминисани како се елиминишу линије између њих. Доћи ће до брзог побољшања у готово свим аспектима. Побољшања ће се догодити у облику ефикаснијих формата датотека, бољих перформанси СКЛ механизма, побољшаних датотечних система и робусности који ће удовољити потребама пословних апликација.
Разлика између Хадоопа и других технологија
У прошлости, главна разлика између Хадооп-а и технологија података података била је велика способност Хадооп-ове обраде података, извештавања и аналитике. Сада, како оперативни Хадооп постаје све више део архитектуре података о предузећима, разлика између ентитета постаје све замагљена. Дакле, оперативни Хадооп постаје супериорна алтернатива постојећој архитектури података предузећа.
Закључак
С обзиром на очекивања и напредак, Хадооп ће већ дуже време бити у фокусу индустрије. Али има смисла не фокусирати се превише на Хадооп и једноставно занемарити друге технологије. То је зато што ће друге технологије остварити напредак по истим параметрима и можда ће чак и престићи Хадооп. Никад није добро имати монопол на тржишту. Добро је да произвођачи других технологија осим Хадоопа могу бити мотивисани да испоручују боље производе и чак додатке који помажу Хадооп-у да побољша своје перформансе.