7 важни стъпки при избора и внедряването на платформа за данни

7 юни
Алексей Уткин, водещ експерт във финансовата дивизия на DataArt
7 важни стъпки при избора и внедряването на платформа за данни
Ако оперирате с големи количества данни, най-вероятно сте наясно, че механизмите за тяхната обработка са несъвършени. Изборът на подходяща платформа за тях не е лесна задача. Надявам се това кратко ръководство да ви помогне да добиете представа относно това как да изберете подходяща платформа, като същевременно избягвате най-често срещаните грешки в този процес. Следвайки тези основни насоки, можете да получите първите резултати след няколко седмици и да извлечете максимума от вашето MVP решение.

СТЪПКА 1. РАЗБЕРЕТЕ ДАЛИ ИМАТЕ НУЖДА ОТ ВЪНШНА ПОМОЩ

Облачните решенията за обработка на данни не са обичайна практика, а възлагането на тяхното изпълнение на вътрешен ИТ отдел е свързано със сериозен риск. Често хората в този вътрешен екип са с недостатъчен опит, което води до загуба на време, а оттам и на пари. От друга страна, резултатът може да се окаже копие на познат локален софтуер, механично прехвърлен в облачното хранилище. Тоест, има огромна вероятност да не успеете да се справите с тази задача сами.

Предимството на нашите собствени служители се крие в дълбокото познаване на вътрешните процеси. Ето защо, оптималният вариант най-вероятно ще бъде постигнат чрез комбиниране на техните усилия с опита на външни консултанти, които могат да улеснят процеса на миграция. Подобно сътрудничество може значително да намали разходите за развитие и инфраструктура, а също така ще съответства на конкретните нужди на бизнеса.

Какво трябва да направите?

Намерете външна компания, която може да разработи решение за вашия конкретен случай и нужди. Това ще ускори миграцията, ще премахне проблемните ограничения и ще избегне разходите за услуги, от които не се нуждаете.

СТЪПКА 2: ИЗГОТВЕТЕ СИ СТРАТЕГИЯ И ТАКТИКА

Екипът, отговорен за миграцията, трябва да детайлизира процеса, като вземе предвид крайното бизнес предизвикателство. Стратегията и тактиката трябва да бъдат изготвени в писмена форма, която да даде яснота както на разработчиците, така и на тези, които в крайна сметка ще трябва да управляват системата. 

Ако връзката между екипа за разработка и бизнеса е прекъсната, рискувате:

  • Бизнес нуждите да се променят, без разработчиците да знаят за това.
  • Бизнесът да не може бързо да се адаптира към общия ход на промяната.
  • Разработеното решение да бъде напълно различно от това, което бизнесът е предвидил.

Какво трябва да направите?

Разберете стойността на бизнес решението, дефинирайте итерациите за развитие, процеса на внедряване и по-нататъшния потенциал на платформата. Въз основа на комуникацията със заинтересованите страни, ИТ екипът трябва да изготви успешен сценарий и едва тогава да премине към техническите проблеми. 

СТЪПКА 3. ОЦЕНЕТЕ ТЕКУЩОТО СЪСТОЯНИЕ

На този етап вашата задача е да определите критериите за оценка на ефективността на дадени решения за обработка на данни и да ги съотнесете с желания бизнес сценарий. Само по този начин, след интеграцията, ще можете да разберете дали новата платформа отговаря на вашите очаквания.

Съвет: Не бързайте да стартирате проект, без да разберете как да измервате бъдещия му успех. Разработването и интегрирането на нова платформа не бива да е самоцел, по-важният въпрос е дали тя ще разреши вашите проблеми.

Какво трябва да направите?

Определете метрики за измерване на производителността, включително скорост на обработка и обем на данни, възможност за внедряване на нови сценарии за тяхното използване и т.н.. 

Още по-важно е да си представите как крайните потребители ще взаимодействат с вашите данни и дали въвеждането на новата платформа ще повлияе на това. Всички ваши дейност трябва да бъдат изразени в цифри, на които можете да разчитате както при планирането, така и в бъдеще, когато анализирате ефективността на работата. 

СТЪПКА 4. ИЗБЕРЕТЕ МОДЕРНА ПЛАТФОРМА ЗА ДАННИ

Сега е време да вземете решение за самата платформа и каква да бъде тя. Това не е лесно, тъй като изборът тук е много богат. На първо място, помислете отново за целите си и ги свържете с един от видовете инструменти:

  • ХРАНИЛИЩА ЗА ДАННИ - това са решения, оптимизирани за структурирани, изчистени и интегрирани данни. Те са предназначени за широк кръг бизнес потребители.
  • DATA LAKES - използват се за неструктурирани данни, които се съхраняват в оригиналния им формат. Те ви позволяват да натрупвате огромно количество разнообразна информация по относително евтин начин и са лесно мащабируеми. Опитните бизнес анализатори, изследователи на данни и разработчици са по-склонни да работят с този тип решения.
  • РЕШЕНИЯ ЗА ПОТОЧНА АНАЛИТИКА - това са технологично подобни версии на езерата от данни (Data Lakes). Те обаче са конфигурирани така, че да осигуряват най-бързо време за реакция. 
  • Хибридни инструменти.

 

Snowflake, Oracle Exadata, Teradata, Microsoft Parallel Data Warehouse и AWS, всички тези водещите доставчици на решения за изчислителни облаци, предлагат на клиентите разнообразие от инструменти.

Съвет: не избирайте типа на платформата предварително, без да сте наясно с бизнес нуждите си. Приемете, че степента на гъвкавост и мащабируемост не трябва да бъде максимална, а просто оптимална и достатъчна. Това е единственият начин да се гарантира, че решението е печелившо.

Какво трябва да направите?

Изберете облачно решение, доставчик на технологии и инструменти, които съответстват на типа данни, с които оперира вашата компания. 

СТЪПКА 5. ТЕСТВАЙТЕ С MVP

Продължете напред, като създадете прост MVP, който може да демонстрира функционалността на вашата платформа. Представете го на реални потребители на системата и получете обратна връзка. Това ще ви помогне да коригирате проекта навреме и да спестите ненужни разходи. 

Какво трябва да направите?

Не бързайте веднага да създадете завършен продукт. Демонстрирайте всички предимства на решението и се уверете, че тези, които ще работят с платформата за данни, го оценяват.

СТЪПКА 6: СЪЗДАЙТЕ СТРАТЕГИЧЕСКИ ПЛАН ЗА МАЩАБИРАНЕ

Планирайте сценарии за мащабиране на вашия инструмент и дефинирайте показатели. Добрите подходи в това отношение отчитат три фактора:

  • Постепенно прилагане на казуси за бизнес употреба.
  • Изграждане на архитектура и база от инструменти.
  • Постепенно бизнес приемане на нови възможности за пренос на данни и операционен модел.

Разумно е да включите профилиран специалист директно в разработката - това трябва да бъде опитен консултант, който може да сподели знания с екипа.

Не пренебрегвайте възможността да се поучите от чуждия опит. Така ще спестите пари.

Какво трябва да направите?

Учете се от външни консултанти и инвестирайте в обучение на екипа - той трябва да бъдат в крак с технологичните иновации и тенденции. 

СТЪПКА 7. ПРОСЛЕДЯВАНЕ И ОПТИМИЗИРАНЕ

Както вече бе споменато, ефективността на платформата за данни трябва да бъде оценена преди внедряването. Но в модерна облачна среда това трябва да се случи и веднага след това. Основното нещо, което трябва да запомните, е, че такъв анализ е необходим. Без оптимизация, разходите за съхранение и изчислителни облаци могат да нараснат експоненциално.

Какво трябва да направите?

Проследявайте натоварванията на платформата, за да не пропуснете момента, в който се нуждае от оптимизация.