Садржај
- Шта је оквир ИАРН?
- Ограничења оквира Хадооп 1.0
- Без грешака, без стреса - Ваш корак по корак водич за креирање софтвера за промену живота без да вам уништи живот
- Оквир предива и његове предности
- Закључак
Извор: Јим Хугхес / Дреамстиме.цом
Одузети:
ИАРН је значајно побољшање у односу на оквир Хадооп 1.0. Овде ћемо истражити неке од предности које има у односу на свог претходника.
Од времена када је концепт великих података уведен, он је пролазио кроз више фаза еволуције. Хадооп је представљен 2005. године са неким почетним карактеристикама као што је механизам за обраду МапРедуце који је омогућавао обимну количину података која се обрађује у кластерима. Сам Хадооп је доживео доста промена и развио напредне оквире и методе.
ПРИЈА је основна компонента Хадооп 2.0. У основи управља ресурсима у кластерисаном окружењу. ИАРН брокер у интеракцији је с рачунским ресурсима (у име апликација) и додељује ресурсе свакој апликацији на основу различитих критеријума филтрирања.
У овом чланку ћемо се осврнути на главне предности пређе у односу на Хадооп 1.0.
Шта је оквир ИАРН?
Иет Анотхер Ресоурце Неготиатор је основна компонента Хадооп 2.0, који управља ресурсима у кластерисаном окружењу. Оквир Хадооп ИАРН је напредна верзија Хадооп 1.0 која пружа побољшане перформансе, што је корисно за Хадооп екосистем и читав спектар технологија повезаних са њим. Сада када смо мало познатији од ИАРН, погледајмо ближе Хадооп 1.0 и ИАРН.
Ограничења оквира Хадооп 1.0
Да бисмо разумјели предности оквира ИАРН, врло је важно разумјети како функционира Хадооп 1.0 и која су ограничења овог оквира.
Овде долази улога ЈобТрацкер. Он управља и изворима кластера и одређује извршавање посла МапРедуце. Укратко, ЈобТрацкер заказује и резервише места за задатке, конфигурише и надгледа сваки извршени задатак. Ако задатак не успе, он распоређује нови утор да би се задатак поново покренуо. Једном када је задатак завршен, ЈобТрацкер ослобађа утор за остале задатке и чисти привремене ресурсе.
Главни недостаци горе наведеног приступа:
- Доступност - ЈобТрацкер је једина тачка доступности у Хадооп 1.0. То значи да ако ЈобТрацкер не успе, сви задаци ће се задати поново покренути.
- Ограничена скалабилност - Будући да ЈобТрацкер обавља више задатака и ради на једној машини, остале расположиве машине се не користе; стога резултира ограниченом скалабилношћу.
- Употреба ресурса - У горе наведеном приступу, мапа и смањење слотова су унапред дефинисани. Може се догодити да је један од њих напуњен, али остали слотови на машини су празни. Пошто су празни слотови резервисани, они ће седети у празном ходу уместо да праве компромисе за пуне режиме. То може изазвати проблем коришћења ресурса.
- Покретање не-МапРедуце апликација - ЈобТрацкер је апликација која је изграђена за МапРедуце оквир. Проблем настаје када се апликација која није МапРедуце покушава покренути у овом оквиру. Да би се успешно изводило, апликација мора бити у складу са оквирним програмом МапРедуце. Нека од најчешћих проблема с којима се суочава укључују проблеме са:
- Ад-хоц упит
- Анализа у реалном времену
- пролазни приступ
- Неуспјех у каскадирању - Једно од главних проблема у овом оквиру јавља се када је број чворова већи од 4000. У таквом сценарију долази до каскадног квара који резултира пропадањем комплетног кластера.
Ово су нека од главних ограничења с којима се суочава током рада са овим оквиром. Постоје и друга мања ограничења, која нису поменута. За превладавање ових ограничења уведен је оквир ИАРН.
Без грешака, без стреса - Ваш корак по корак водич за креирање софтвера за промену живота без да вам уништи живот
Не можете побољшати своје вештине програмирања када никога није брига за квалитет софтвера.
Оквир предива и његове предности
Оквир ИАРН, уведен у Хадооп 2.0, требао би делити одговорности МапРедуце-а и бринути се за задатак управљања кластерима. То омогућава МапРедуце-у да изврши само обраду података и самим тим поједностави процес.
ИАРН доноси концепт централног управљања ресурсима. То омогућава покретање више апликација на Хадоопу, дељење заједничког управљања ресурсима.
Неке од главних компоненти оквира ИАРН су:
- РесоурцеМанагер - компонента РесоурцеМанагер је преговарач у кластеру за све ресурсе који су присутни у том кластеру. Поред тога, ова компонента је класификована у управитеља апликација који је одговоран за управљање корисничким пословима. Од Хадоопа 2.0 било који МапРедуце посао сматрат ће се апликацијом.
- АпплицатионМастер - Ова компонента је место на којем постоји посао или апликација. Такође управља свим МапРедуце пословима и закључује се по завршетку обраде посла.
- НодеМанагер - Компонента менаџера чвора делује као сервер за историју послова. Одговорна је за осигурање информација о обављеним пословима. Такође прати задатке корисника заједно с њиховим радним токовима за одређени чвор.
Имајући на уму да оквир ИАРН има различите компоненте за управљање различитим задацима, погледајмо како се супротставља ограничењима Хадооп 1.0.
- Боља употреба ресурса - Оквир ИАРН нема фиксне режије за задатке. Омогућава централни менаџер ресурса који вам омогућава дељење више апликација кроз заједнички ресурс.
- Покретање не-МапРедуце апликација - У ИАРН-у су могућности заказивања и управљања ресурсима одвојене од компоненте за обраду података. То омогућава Хадоопу покретање различитих врста апликација које нису у складу са програмирањем Хадооп оквира. Хадооп кластери су сада у стању покренути неовисне интерактивне упите и боље анализе у стварном времену.
- Компатибилност уназад - ИАРН долази као оквир који је компатибилан са назад, што значи да било који постојећи посао МапРедуце може бити изведен у Хадооп 2.0.
- ЈобТрацкер више не постоји - Две главне улоге ЈобТрацкер-а биле су управљање ресурсима и заказивање посла. Увођењем ИАРН оквира они су сада раздвојени у две одвојене компоненте, и то:
- НодеМанагер
- РесоурцеМанагер
Закључак
Увођење ИАРН оквира олакшало је израду апликација за Хадооп програмере. Сада више није потребно да се апликације имплементирају са алатима треће стране. ИАРН је огромна промена која ће корисницима омогућити да размотре Хадооп 2.0 за креирање апликација и ефикаснију манипулацију подацима. С временом ће доћи до даљих дешавања која ће побољшати употребљивост Хадоопа. За сада ће оквир ИАРН играти пресудну улогу у суочавању са постојећим проблемима и стварању окружења без проблема, што је свестраније од претходне верзије модела МапРедуце.