Садржај
Извор: Нмедиа /Дреамстиме.цом
Одузети:
Велики подаци су свугде велики бизниси, али неколико специфичних области највише користе ову технологију.
Када сам започео овај чланак, планирао сам да набројим различите врсте великих података. Али, након три дана покушаја да све различите понуде великих података - релационе насупрот не-релацијске, СКЛ насупрот НоСКЛ и базе података у односу на оквир - донесем привид реда, одлучио сам да избегнем ову збрку.
Да бих додао увреду повреди, надао сам се да ћу представити особу која је сковала израз „велики подаци“ као део чланка. Али, ја то ни не могу. Нема договореног одговора. У ствари, постоји свеобухватан истраживачки пројекат који проучава ко је првобитно дошао до великих података. Уместо тога, погледаћу неке од кључних начина на који се користе велики подаци. То је далеко важније. И занимљивије је и изненађујуће него што можда мислите.
Како се то десило
Аналитичари који користе традиционално вађење података годинама управљају подацима. Сада се истим аналитичарима тешко суочити са количином и разноликошћу података које спремају предузећа, приватне организације и владине агенције.
Унесите велике податке, следећи еволутивни корак у копању података. Велики подаци дизајнирани су за обраду огромних база података и безброј врста података који се стварају у данашњем дигиталном свету. Ако „масовно“ размишљате о Гооглеу и свим подацима које прикупља, били бисте у средишту. Оно што вас може изненадити је да је Гоогле тек четврти на листи најбољих десет највећих светских база података. Од јануара 2014., Светски центар за климу података био је на врху листе са 220 терабајта података, па се већ нагађа колика је величина база података која контролишу одређене владине агенције.
Наравно, велики подаци су одузети јер омогућују манипулацију огромним количинама различитих података и откривање невероватних - и невероватно детаљних и личних ствари. Јохн Сумсер, аналитичар за људске ресурсе, пружа следећи пример:
"Данас креирамо хипотезе и прикупљамо податке. Сутра ћемо радити обрнуто. Стално и стално накупљање података омогућиће нам да погледамо податке пре него што формирамо питања. То значи да ћемо добити одговоре на питања која нисмо имали" Не знам да питам. Замишљаћемо гомилу ствари за које претпостављамо да су чињенице. "Наравно, сви смо чули за неке језиве начине на које се ови подаци користе, као што су способност циљања да препознају трудноћу младе жене пре него што њена породица то и сазна. Али велики подаци се такође користе за много мање зле узроке. Ево неколико организација које то највише користе:
Не можете побољшати своје вештине програмирања када никога није брига за квалитет софтвера.
Једно очигледно велико подручје које ће нам помоћи јесте сигурно и тачно руковање електронским здравственим картонима у медицинским организацијама. Тачна евиденција пружиће пацијентима бољу услугу и смањити грешке. Поље здравствене заштите, из очигледних разлога, спорије прилагођава велике податке како би се ускладило са владиним прописима који се тичу поверљивости пацијената.
Као што је раније споменуто, познати су велики подаци по којима се дају одговори на неодговорена питања. У области здравствене заштите то може значити проналазак новог лека или лечења који другачије не би били пронађени. Према МцКинсеи & Цомпани-у, велики подаци могли би у не тако далекој будућности омогућити сљедеће:
- Предиктивно моделирање биолошких процеса и лекова постаје софистицираније и распрострањеније.
- Пацијенти су идентификовани да се пријаве у клиничка испитивања на основу више извора информација, попут друштвених медија.
- Суђења се прате у стварном времену како би се брзо идентификовала питања сигурности или рада.
- Уместо крутих силоса података које је тешко искористити, подаци се хватају електронским путем и лако се преносе између различитих јединица.
Велики подаци, велика прилика
Иако се велики подаци користе у неким специфичним областима, они нуде прилику за све организације у следећим областима:
Отприлике о свим рачунарским и умрежавајућим уређајима се бележе подаци. Количина података која се бележи брзо постаје неугодна. Велики подаци лако могу управљати том количином података, омогућавајући администраторима да прате мрежне активности, дијагностицирају проблеме или, на примеру који ми је Рубин дао, да потраже одређене обрасце мрежног саобраћаја који би указивали на активност злонамерног софтвера.
Ако читате овај чланак, прилично је сигурна опклада да сте свесни проблема са Хеартблеед-ом који се тичу ОпенССЛ-а. Поред техничког проблема, постоји забринутост да рањивост постоји већ неколико година. Рубин је споменуо да велики подаци омогућавају мрежним администраторима, радећи с аналитичарима података, да направе програм који ће претражити све мрежне записнике ради злонамјерних откуцаја срца. Овај ЕФФ пост спомиње:
"Сви мрежни оператори који имају опсежне дневнике пакета могу да провере да ли постоји злонамерни откуцаји срца који најчешће имају ТЦП корисни терет од 18 03 02 00 03 01 или 18 03 01 00 03 01 (или можда чак 18 03 03 00 03 01)."Следећи пример је пример узорка из наредбе за ревизију схов:
Рутер # схов аудит
* 14. септембра 18: 37: 31.535:% АУДИТ-1-РУН_ВЕРСИОН:
24Д98Б13Б87Д106Е7Е6А7Е5Д1Б3ЦЕ0АД Корисник:
* 14. септембра 18: 37: 31.583:% АУДИТ-1-РУН_ЦОНФИГ:
4АЦ2Д776АА6ФЦА8ФД7653ЦЕБ8969Б695 Корисник:
* 14. септембра 18: 37: 31.595:% АУДИТ-1-СТАРТУП_ЦОНФИГ:
95ДД497Б1ББ61АБ33А629124ЦБФЕЦ0ФЦ Корисник:
* 14. септембра 18: 37: 32.107:% АУДИТ-1-ФИЛЕСИСТЕМ:
330Е7111Ф2Б526Ф0Б850Ц24ЕД5774ЕДЕ Корисник:
* 14. септембра 18: 37: 32.107:% АУДИТ-1-ХАРДВАРЕ_ЦОНФИГ: Хасх:
32Ф66463ДДА802ЦЦ9171АФ6386663Д20 Корисник:
Ако пратите временске ознаке, временски интервал за све те уносе био је краћи од једне секунде. Не бих хтео ни да екстраполирам то за један дан, а камоли две године!
Нешто за пазити
Ако проверите огласе за посао, постоји велика потреба за стручњацима за велике податке. Питао сам Рубина о овоме. Сагласио се, поменувши да су његови студенти били узбуђени због својих изгледа. Тада сам схватио да велике платформе података, посебно оне које се сматрају отвореним кодом, следе временски оквир који је врло сличан начину на који је Линук постао маинстреам.
Универзитети прихватају верзије платформи великих података, посебно Хадооп, јер су бесплатне, а студенти могу да манипулишу изворним кодом. Тако ће матуранти који попуне све те отворене послове радије радити са платформама отвореног кода, јер то најбоље знају. Биће занимљиво гледати.