Садржај
- Без грешака, без стреса - Ваш корак по корак водич за креирање софтвера за промену живота без да вам уништи живот
- До посла
- Како ће Кафка променити управљање подацима
Одузети:
Кафка ће урадити за информационе системе шта ЛинкедИн ради за пословне људе: држи их повезане у широком распону.
Верујући страствено у нешто што још не постоји, ми то стварамо. Непостојеће је оно што нисмо довољно желели.~ Франз Кафка
Нужност остаје мајком изума. Једном ми је један пролазни консултант рекао: "Ако се нешто догоди у некој организацији, то се дешава." Његова поанта била је двострука: 1) неки људи ће увек наћи начин да изврше ствари; и, 2) виши менаџмент, или чак средњи менаџмент, можда нису свесни како се ствари одвијају унутар њихове пословне јединице.
Ако ту метафору проширимо на читав универзум управљања подацима, можемо видети трансформацију која се управо догађа. Сирови притисак великих података, у комбинацији са оси струјања података, ствара толики притисак да се наслеђени системи троше по ивицама, ако се не урушавају у потпуности. Без обзира на то, у овом тренутку безброј професионалаца ради на свом послу који углавном нису свјесни ове стварности.
Предузећа која се баве подацима морају имати седиште у првом реду и на многе начине покрећу ову промену. Размислите о томе како су електране попут Иахоо-а и ЛинкедИн-а окренуле пословну софтверску индустрију својим огромним донацијама отвореним изворима: Хадооп, Цассандра и сада Кафка, које је све пастирала Фондација Апацхе, која је и сама централни играч у овој метаморхфози .
Шта је резултат ове промене? Оно чему смо данас сведочили је категорична рекласификација и реструктурирање самог управљања подацима. То не значи да ће наслеђени системи сада бити распарани и замењени. Било који ветеран из индустрије рећи ће вам да се распродаја заостављених система велепродаје дешава онолико често колико чикашки кубуси освоје светску серију. То је, у најмању руку, ретки догађај.
Оно што се заиста дешава је да се супер структура гради широм система старог света. Размотримо аналогију међудржавних аутопутева, који се често уздижу изнад градова и градова којима служе, дизајнираних за доставу људи и терета у те становничке центре и омогућавају излазак било коме и било чему у њима. Не замењују постојеће путеве толико колико их повећавају алтернативама за велике брзине.
Управо то чини Апацхе Кафка: пружа брзе руте за кретање података између и између информационих система. Да би следили аналогију аутопута, још увек постоје многе компаније које користе линеарне редове или стари стандард ЕТЛ (екстракт-трансформација-оптерећење); али ови путеви имају малу границу брзине и има пуно рупа; штавише, трошкови одржавања су често превелики; Сигнализација је лоша.
Кафка нуди алтернативну методу за достављање података, ону која је одлучно у реалном времену, скалабилна и трајна. То значи да Кафка није само средство за кретање података, већ и репликатор података; и до извесне мере, технологија дистрибуиране базе података. Требали бисмо бити опрезни када бисмо аналогију узели предалеко, јер постоје карактеристике база података у складу са АЦИД-ом које Кафка још увек није бавила спортом. Ипак, промена је стварна.
Ово је сјајна вест за информативни пејзаж, јер се подаци сада слободно крећу о земљи - и о свету. Оно што је некада представљало болно ограничење, а то је ударање у батцх прозоре за ЕТЛ процесе, сада расте толико колико магла уступа место небу под сјајем врелог сунца. Када прелазак података из једног система у други постаје гранично неприметан, почиње доба нових прилика.
Без грешака, без стреса - Ваш корак по корак водич за креирање софтвера за промену живота без да вам уништи живот
Не можете побољшати своје програмирање кад никога није брига за квалитет софтвера.
Људска бића ће вероватно представљати највише трења на путу ка новим подацима о будућности. Старе навике тешко умиру. Нари ЦИО се превише узбуђује због промене велепродајних промена у системима предузећа. Рекао је један паметни виши извршни директор улоге: "Спремите се да будете усамљени." За годину дана од тог коментара, он је био саветник. То није лак пут, покушава се управљати изванредно неугодним светом података о предузећима.
Добра вест је да Кафка пружа напредак ка будућности. Будући да служи као високонапонски магистрални уређај, он ствара мостове између наслијеђених система и њихових колегица усмјерених према напријед. Тако ће организације које прихватају ову нову прилику отвореног ума и довољно буџета моћи да закораче у нови свет, не оставивши иза себе старе. То је озбиљно велика ствар.
До посла
Док је Апацхе Кафка технологија отвореног кода, бесплатна за свако преузимање и коришћење, људи који су креирали овај софтвер за ЛинкедИн спојили су засебан ентитет под називом Цонфлуент, који се фокусира на јачање понуде за пословну употребу. Као што су Цлоудера, Хортонворкс и МапР свој посао градили око пројекта отвореног кода Апацхе Хадооп, тако да Цонфлуент покушава уновчити Кафку.
У недавном интервјуу за ИнсидеАналисис, директор компаније Цонфлуент и суоснивач Јаи Крепс објаснио је своје порекло на ЛинкедИн-у:
„Тамо смо покушали да решимо неколико различитих проблема. Један је био да смо имали све те различите системе података са различитим врстама података. Имали смо базе података и евиденције датотека, мерке о серверима и кориснике који су кликнули на ствари. Стварање свих тих података - како су постали велики - било је заиста тешко. Моћ података била је ту само ако сте их могли добити у апликацијама или обради или системима који су јој требали. То је био велики проблем.
"Други проблем је био што смо усвојили Хадооп, и то је нешто у шта сам био укључен. Имали смо ову фантастичну платформу за обраду ван мреже коју смо могли да разместимо и да можемо да убацимо све наше податке. За ЛинкедИн сви наши подаци су се догодили у стварности Било је непрестаног стварања података. Увек је постојала та неусклађеност док смо покушавали да изградимо кључне делове пословања из наших података, између нечега што се одвијало једном дневно, можда ноћу, и доносило резултате до следећег дана, и такве непрекидне податке - кратка времена интеракције - које сте морали да надокнадите. Желели смо да можемо да учинимо нешто што је неко време било у академским круговима, али заправо није била главна ствар, а то је да се додирните и обрађујте токове података док су генерисани, а не док су седели. "
Добро. Управо то сада тражи Цонфлуент са подацима предузећа свих облика и величина. Прилика у игри? Греенфиелд Искрено, током читаве историје пословног софтвера могло би се тврдити да адресабилно тржиште ове технологије апсолутно погађа. Не постоји ниједна велика организација или чак мала мала компанија која не може имати велику корист од ове технологије.
Ово је нарочито тачно због неуролошког аспекта ове технологије; не само уплетени умови, већ и природа онога што Кафка чини за информационе системе. Будући да се Кафка може користити за управљање кретањем података у целој организацији, на њу се може гледати као на више од саобраћајног полицајца, већ на мозак саме операције. Били су у раним фазама те визије, али будите сигурни, њена стварност.
Како ће Кафка променити управљање подацима
Да бисте разумели како ће Кафка променити природу управљања подацима, само размислите о начинима на које је ЛинкедИн променио умрежавање. Проналажење колега је постало много лакше; остати у контакту са људима сада је пук. Кафка ће урадити за информационе системе шта ЛинкедИн ради за пословне људе: држи их повезане на најширем подручју ове земље.
Спинофф Цонфлуент-а је симбол нечега што бисмо могли назвати Нова иновација, покрет вођен раздвајањем развоја софтвера и менталитетом затвореног кода, вођен од стране творца технологије отвореног кода, подстакнуте великим количинама ризичног капитала, који су уновчили за профитне компаније које теже револуцији како организације и људи стварају, прикупљају, анализирају и користе податке.
Цитирам Франца Кафка, "Од одређеног тренутка па надаље више нема повратка назад. То је тачка која се мора достићи."
Прешли смо Рубицон. Сада се нема назад.