Садржај
- Шта је варница Апацхе?
- Зашто је искре толико важна у односу на Хадооп
- Које су искре јединствене карактеристике?
- Зашто искра није замена за Хадооп
- Шта компаније мисле о Спарк анд Хадооп
- Практичне примене
- Закључак
Извор: Снаке3д / Дреамстиме.цом
Одузети:
Апацхе Спарк је алат отвореног кода за обраду великих података који се крећу по (и на неки начин превазилазе) Хадооп.
Апацхе Хадооп је већ дуже време темељ за велике апликације за податке и сматра се основном платформом за све понуде у вези са великим подацима. Међутим, база података и рачунање у меморији је све популарнија због бржих перформанси и брзих резултата. Апацхе Спарк је нови оквир који користи могућности у меморији за брзу обраду (готово 100 пута брже од Хадооп-а). Дакле, Спарк производ се све више користи у свету великих података, и то углавном за бржу обраду.
Шта је варница Апацхе?
Апацхе Спарк је оквир отвореног кода за обраду огромних количина података (великих података) брзином и једноставношћу. Погодан је за аналитичке апликације засноване на великим подацима. Искра се може користити у окружењу Хадооп, самосталном раду или у облаку. Развијен је на Калифорнијском универзитету, а потом је понуђен компанији Апацхе Софтваре Фоундатион. Стога припада заједници отвореног кода и може бити веома исплатив, што даље омогућава аматерским програмерима да раде с лакоћом. (Да бисте сазнали више о Хадоопс отвореном извору, погледајте шта је утицај отвореног кода на екосистему Апацхе Хадооп?)
Главна сврха Спарка је да програмерима нуди апликативни оквир који функционише око центриране структуре података. Спарк је такође изузетно моћан и има урођену способност за брзу обраду огромних количина података у кратком времену, пружајући на тај начин изузетно добре перформансе.То га чини много бржим од оног за што се каже да му је најближи конкурент, Хадооп.
Зашто је искре толико важна у односу на Хадооп
Апацхе Спарк је одувек познат по томе што је Хадооп трудио у неколико карактеристика, што вероватно објашњава зашто он остаје тако важан. Један од главних разлога за то био би узети у обзир брзину његове обраде. У ствари, као што је већ наведено, Спарк нуди око 100 пута бржу обраду од Хадоопове МапРедуце за исту количину података. Такође користи знатно мање ресурса у поређењу са Хадооп-ом, што га чини исплативим.
Други кључни аспект у којем Спарк има предност јесте могућност компатибилности са менаџером ресурса. Познато је да Апацхе Спарк ради са Хадооп-ом, баш као што ради и МапРедуце, међутим, овај је тренутно компатибилан само са Хадооп-ом. Што се тиче Апацхе Спарк-а, међутим, он може радити са другим менаџерима ресурса, попут ИАРН или Месос. Научници података то често наводе као једно од највећих подручја у којем Спарк заиста надмашује Хадооп.
Када је у питању једноставнија употреба, Спарк се опет чини да је пуно бољи од Хадоопа. Спарк има АПИ-је за неколико језика, као што су Сцала, Јава и Питхон, осим што воли и Спарк СКЛ. Релативно је једноставно писати кориснички дефиниране функције. Такође се може похвалити интерактивним режимом за покретање наредби. Са друге стране, Хадооп је написан на Јави и стекао је репутацију прилично тешке за програмирање, иако има алате који помажу у том процесу. (Да бисте сазнали више о Спарк-у, погледајте како Апацхе Спарк помаже брзом развоју апликација.)
Које су искре јединствене карактеристике?
Апацхе Спарк има неке јединствене карактеристике које га истински разликују од многих својих конкурената у послу на обради података. Неке од њих укратко су наведене у наставку.
Не можете побољшати своје вештине програмирања када никога није брига за квалитет софтвера.
Спарк такође има урођену способност да учита потребне информације у своје језгро помоћу својих алгоритама машинског учења. То му омогућава да буде изузетно брз.
Апацхе Спарк поседује могућност обраде графова или чак информација које су графичке природе, омогућавајући тако једноставну анализу са много прецизности.
Апацхе Спарк има МЛиб, што је оквир намењен структурираном машинском учењу. Такође је претежно бржи у имплементацији од Хадоопа. МЛиб је такође способан да реши неколико проблема, као што су статистичко очитавање, узимање узорака података и тестирање премиса.
Зашто искра није замена за Хадооп
Упркос чињеници да Спарк има неколико аспеката због којих Хадооп рукује, ипак постоји неколико разлога због којих он још увек не може заменити Хадооп.
Као прво, Хадооп једноставно нуди већи сет алата у поређењу са Спарк-ом. Такође има неколико пракси које су препознате у индустрији. Апацхе Спарк је, међутим, још увек релативно млад у домену и требаће му времена да се изједначи са Хадооп-ом.
Хадооп'с МапРедуце такође је поставио одређене индустријске стандарде када је у питању вођење пуноправних операција. С друге стране, још увек се верује да Спарк није у потпуности спреман за рад са потпуном поузданошћу. Често организације које користе Спарк морају га прецизно прилагодити како би биле спремне за свој скуп захтева.
Хадоопове МапРедуце, које постоје дуже време од Спарка, такође је лакше подесити. Међутим, то за Спарк није случај, с обзиром да нуди потпуно нову платформу која није тестирала грубе закрпе.
Шта компаније мисле о Спарк анд Хадооп
Многе компаније су већ почеле да користе Спарк за потребе обраде података, али прича се ту не завршава. Сигурно има неколико јаких аспеката који је чине невероватном платформом за обраду података. Међутим, такође долази са својим добрим удјелом недостатака који су потребни за исправљање.
То је индустријска предоџба да је Апацхе Спарк ту да остане и чак је могуће будућност за потребе обраде података. Међутим, тек треба да се подвргне доста развојних послова и полирања који ће му омогућити да заиста искористи свој потенцијал.
Практичне примене
Апацхе Спарк је био и још увек је запослен у многим компанијама које одговарају њиховим захтевима за обраду података. Једну од најуспешнијих имплементација извела је компанија Схопифи, која је желела да одабере прихватљиве продавнице за пословну сарадњу. Међутим, његово складиште података чувало се временски период када је желео да разуме производе које купују његови купци. Уз помоћ Спарка, компанија је успела да обради неколико милиона података и затим обради 67 милиона записа у неколико минута. Такође је утврдило које продавнице испуњавају услове.
Користећи Спарк, Пинтерест је у стању да идентификује трендове у развоју и затим га користи да разуме понашање корисника. То даље омогућава бољу вредност у Пинтерест заједници. Спарк такође користи ТрипАдвисор, једна од највећих светских вести о путовањима, како би се убрзале препоруке посетиоцима.
Закључак
Не можете сумњати у вештину Апацхе Спарк-а, чак и тренутно, и јединствени скуп функција које доноси на сто. Његова моћ и брзина обраде, заједно са компатибилношћу, поставља тон за наредне ствари. Међутим, оно такође има неколико области на којима треба да се усаврши, ако жели заиста да реализује свој пуни потенцијал. Док Хадооп и даље влада скоковима, Апацхе Спарк има светлу будућност и многи га сматрају будућом платформом за потребе обраде података.