что необходимо знать и уметь будущему специалисту big data
Что такое Big data engineering, и как развиваться в этой сфере
Как отдельная профессия Big Data Engineering появилась довольно недавно. И даже крупные компании очень часто путают, чем занимается этот специалист, каковы его компетенции и зачем он вообще в организации.
Поэтому в сегодняшней статье, специально к старту нового потока курса по Data Engineering, мы разберёмся, кто такой Big Data Engineer, чем он занимается и чем отличается от Data Analyst и Data Scientist. Этот гайд подойдёт людям, которые хотят работать с большими данными и присматриваются к профессии в целом. А также тем, кто просто хочет понять, чем занимаются инженеры данных.
Кто такой Big data engineer
Задачи, которые выполняет инженер больших данных, входят в цикл разработки машинного обучения. Его работа тесно связана с аналитикой данных и data science.
Главная задача Data engineer — построить систему хранения данных, очистить и отформатировать их, а также настроить процесс обновления и приёма данных для дальнейшей работы с ними. Помимо этого, инженер данных занимается непосредственным созданием моделей обработки информации и машинного обучения.
Инженер данных востребован в самых разных сферах: e-commerce, финансах, туризме, строительстве — в любом бизнесе, где есть поток разнообразных данных и потребность их анализировать.
К примеру, при разработке «умного» дома. Создание подобной системы требует считывания и обработки данных с IoT-сенсоров в режиме реального времени. Необходимо, чтобы данные обрабатывались с максимальной быстротой и минимальной задержкой. И даже при падении системы данные должны продолжать накапливаться, а затем и обрабатываться. Разработка системы, которая удовлетворяет этим требованиям, и есть задача инженера данных.
С технической стороны, наиболее частыми задачами инженера данных можно считать:
Разработка процессов конвейерной обработки данных. Это одна из основных задач BDE в любом проекте. Именно создание структуры процессов обработки и их реализация в контексте конкретной задачи. Эти процессы позволяют с максимальной эффективностью осуществлять ETL (extract, transform, load) — изъятие данных, их трансформирование и загрузку в другую систему для последующей обработки. В статичных и потоковых данных эти процессы значительно различаются. Для этого чаще всего используются фреймворки Kafka, Apache Spark, Storm, Flink, а также облачные сервисы Google Cloud и Azure.
Хранение данных. Разработка механизма хранения и доступа к данным — еще одна частая задача дата-инженеров. Нужно подобрать наиболее соответствующий тип баз данных — реляционные или нереляционные, а затем настроить сами процессы.
Обработка данных. Процессы структурирования, изменения типа, очищения данных и поиска аномалий во всех этих алгоритмах. Предварительная обработка может быть частью либо системы машинного обучения, либо системы конвейерной обработки данных.
Разработка инфраструктуры данных. Дата-инженер принимает участие в развёртывании и настройке существующих решений, определении необходимых ресурсных мощностей для программ и систем, построении систем сбора метрик и логов.
В иерархии работы над данными инженер отвечает за три нижние ступеньки: сбор, обработку и трансформацию данных.
Что должен знать Data Engineer
Структуры и алгоритмы данных;
Особенности хранения информации в SQL и NoSQL базах данных. Наиболее распространённые: MySQL, PostgreSQL, MongoDB, Oracle, HP Vertica, Amazon Redshift;
ETL-системы (BM WebSphere DataStage; Informatica PowerCenter; Oracle Data Integrator; SAP Data Services; SAS Data Integration Server);
Облачные сервисы для больших данных Amazon Web Services, Google Cloud Platform, Microsoft Azure;
Кластеры больших данных на базе Apache и SQL-движки для анализа данных;
Желательно знать языки программирования (Python, Scala, Java).
Стек умений и навыков инженера больших данных частично пересекается с дата-сайентистом, но в проектах они, скорее, дополняют друг друга.
Data Engineer сильнее в программировании, чем дата-сайентист. А тот, в свою очередь, сильнее в статистике. Сайентист способен разработать модель-прототип обработки данных, а инженер — качественно воплотить её в реальность и превратить код в продукт, который затем будет решать конкретные задачи.
Инженеру не нужны знания в Business Intelligence, а вот опыт разработки программного обеспечения и администрирования кластеров придётся как раз кстати.
Но, несмотря на то что Data Engineer и Data Scientist должны работать в команде, у них бывают конфликты. Ведь сайентист — это по сути потребитель данных, которые предоставляет инженер. И грамотно налаженная коммуникация между ними — залог успешности проекта в целом.
Плюсы и минусы профессии инженера больших данных
Плюсы:
Отрасль в целом и специальность в частности ещё очень молоды. Особенно в России и странах СНГ. Востребованность специалистов по BDE стабильно растёт, появляется всё больше проектов, для которых нужен именно инженер больших данных. На hh.ru, по состоянию на начало апреля, имеется 768 вакансий.
Пока что конкуренция на позиции Big Data Engineer в разы ниже, чем у Data Scientist. Для специалистов с опытом в разработке сейчас наиболее благоприятное время, чтобы перейти в специальность. Для изучения профессии с нуля или почти с нуля — тоже вполне хорошо (при должном старании). Тенденция роста рынка в целом будет продолжаться ближайшие несколько лет, и всё это время будет дефицит хороших спецов.
Задачи довольно разнообразные — рутина здесь есть, но её довольно немного. В большинстве случаев придётся проявлять изобретательность и применять творческий подход. Любителям экспериментировать тут настоящее раздолье.
Минусы
Большое многообразие инструментов и фреймворков. Действительно очень большое — и при подготовке к выполнению задачи приходится серьёзно анализировать преимущества и недостатки в каждом конкретном случае. А для этого нужно довольно глубоко знать возможности каждого из них. Да-да, именно каждого, а не одного или нескольких.
Уже сейчас есть целых шесть платформ, которые распространены в большинстве проектов.
Spark — популярный инструмент с богатой экосистемой и либами, для распределенных вычислений, который может использоваться для пакетных и потоковых приложений.
Flink — альтернатива Spark с унифицированным подходом к потоковым/пакетным вычислениям, получила широкую известность в сообществе разработчиков данных.
Kafka — сейчас уже полноценная потоковая платформа, способная выполнять аналитику в реальном времени и обрабатывать данные с высокой пропускной способностью. ElasticSearch — распределенный поисковый движок, построенный на основе Apache Lucene.
PostgreSQL — популярная бд с открытым исходным кодом.
Redshift — аналитическое решение для баз/хранилищ данных от AWS.
Без бэкграунда в разработке ворваться в BD Engineering сложно. Подобные кейсы есть, но основу профессии составляют спецы с опытом разработки от 1–2 лет. Да и уверенное владение Python или Scala уже на старте — это мастхэв.
Работа такого инженера во многом невидима. Его решения лежат в основе работы других специалистов, но при этом не направлены прямо на потребителя. Их потребитель — это Data Scientist и Data Analyst, из-за чего бывает, что инженера недооценивают. А уж изменить реальное и объективное влияние на конечный продукт и вовсе практически невозможно. Но это вполне компенсируется высокой зарплатой.
Как стать Data Engineer и куда расти
Профессия дата-инженера довольно требовательна к бэкграунду. Костяк профессии составляют разработчики на Python и Scala, которые решили уйти в Big Data. В русскоговорящих странах, к примеру, процент использования этих языков в работе с большими данными примерно 50/50. Если знаете Java — тоже хорошо.
Хорошее знание SQL тоже важно. Поэтому в Data Engineer часто попадают специалисты, которые уже ранее работали с данными: Data Analyst, Business Analyst, Data Scientist. Дата-сайентисту с опытом от 1–2 лет будет проще всего войти в специальность.
Фреймворками можно овладевать в процессе работы, но хотя бы несколько важно знать на хорошем уровне уже в самом начале.
Дальнейшее развитие для специалистов Big Data Engineers тоже довольно разнообразное. Можно уйти в смежные Data Science или Data Analytics, в архитектуру данных, Devops-специальности. Можно также уйти в чистую разработку на Python или Scala, но так делает довольно малый процент спецов.
Перспективы у профессии просто колоссальные. Согласно данным Dice Tech Job Report 2020, Data Engineering показывает невероятные темпы роста — в 2019 году рынок профессии увеличился на 50 %. Для сравнения: стандартным ростом считается 3–5 %.
В 2020 году темпы замедлились, но всё равно они многократно опережают другие отрасли. Спрос на специальность вырос ещё на 24,8 %. И подобные темпы сохранятся еще на протяжении минимум пяти лет.
Так что сейчас как раз просто шикарный момент, чтобы войти в профессию Data Engineering с нашим курсом Data Engineering и стать востребованным специалистом в любом серьёзном Data Science проекте. Пока рынок растёт настолько быстро, то возможность найти хорошую работу, есть даже у новичков.
Узнайте, как прокачаться и в других областях работы с данными или освоить их с нуля:
📊 ТОП-10 необходимых для специалиста по Big Data навыков
Большие данные применяются в бизнесе, социальных сетях, медицине, транспортных организациях и т.д. Почти все стратегические решения высшего уровня бизнеса принимаются на основе технологий Big Data и Data Science. Они дают пользователям представление о тенденциях и событиях, которые в противном случае было бы трудно или невозможно обнаружить. Компании во многих отраслях уделяют все большее внимание сбору, хранению и анализу этих данных, а также тому, как использовать их для получения новых возможностей и продвижения. В этой области постоянно появляются новые должностные роли, но чтобы получить работу, нужно обладать определенными способностями и освоить соответствующие методики.
, Источник
Аналитические навыки
Аналитические способности и навыки – одни из самых важных для работы с большими данными. Без них нельзя стать экспертом в данной области. Аналитические инструменты необходимы для решения проблем в бизнесе или других сферах, а для глубокого понимания их возможностей необходимо обладать как математическими знаниями, так и методами количественного анализа данных, вроде описательной статистики и статистики умозаключений. Это помогает инженерам Big Data курировать большое количество неструктурированных данных, обобщать их и находить закономерности для прогнозного анализа
Машинное обучение и искусственный интеллект
Расширяющиеся пробелы в цифровых навыках означают, что организации по всему миру находятся в бесконечной гонке за профессионалами в области больших данных с навыками машинного обучения и искусственного интеллекта. Нейронные сети, обучение с подкреплением, состязательное обучение, деревья решений, логистическая регрессия, контролируемое машинное обучение – список можно продолжать и продолжать. Чем больше вы можете предложить, тем более ценным активом будете для любого прогрессивного, ориентированного на технологии работодателя.
Машинное обучение является важным инструментом для инженеров, поскольку оно позволяет им сортировать и обрабатывать большие объемы данных за короткий промежуток времени. Кроме того, Big Data являются частью построения алгоритмов машинного обучения. Специалист должен быть с ним знаком: требуется знать, как писать алгоритмы и как использовать их.
Источник
Бизнес-аналитика
Методы Big Data применяются в различных отраслях для принятия решений и оптимизации деятельности. Многие компании используют инсайты из массивных наборов данных, которые они получают с помощью специальных инструментов. Чтобы лучше понять задачи и цели анализа, специалисту необходимо развивать соответствующие навыки и познакомиться с предметной областью. Прежде чем начинать разработку модели и делать выводы, аналитик данных должен понимать все аспекты и бизнес-цели организации. Эксперт должен иметь представление о процессах бизнес-потока, а также иметь знания в области статистики, навыки презентации и коммуникации.
Интерпретация и визуализация данных
Для специалиста по Big Data способность визуализировать и интерпретировать данные являются одними из ключевых навыков для успешной карьеры. Визуализация – самый простой способ понять любую техническую концепцию. Здесь требуется не только понимание статистики и математики, но и наличие изобретательности, воображения и естественного любопытства.
Данные должны быть четко и ясно представлены для передачи в понятном для широкой публике формате. Важно, чтобы вы хорошо понимали бизнес-среду и предметную область, а также умели четко донести идею до аудитории. Придется развивать навыки коммуникации и презентации. Можно начать с изучения визуализации данных с помощью специальных инструментов и программного обеспечения: Tableau, Data Wrapper, Plotly и т. д.
Навыки программирования
Чтобы стать специалистом по большим данным, необходимо знать основы алгоритмов, структур данных, а также объектно-ориентированных языков программирования. Профессионал должен уметь проводить количественный и статистический анализ. Необходимо изучить основные понятия кодирования и уметь исправлять ошибки в существующем коде, который является частью массивной базы данных. Основные языки, в которые стоит инвестировать свое время включают Python, SQL, Java и C++. Нет никакой необходимости изучать все существующие языки, но если вы не ограничите себя только одним, это значительно повысит шансы на трудоустройство и карьерный рост. Например, знание статистических языков, таких как R и Python, даст кандидату преимущества в области аналитики.
Навыки решения проблем
Способность быстро решать проблемы и творческий подход играют важную роль в области больших данных, которые и сами по себе являются проблемой из-за неструктурированной природы. Независимо от того, являетесь ли вы от природы одаренным аналитиком или нет, потребуется постоянная практика, чтобы отточить этот навык. Существует бесчисленное множество способов это сделать, включая решение головоломок, игру в шахматы или даже некоторые видеоигры.
Базы данных SQL и NoSQL
Базы данных – это ядро хранения, организации и поиска информации, поэтому важно знать их структуру и язык. Существует два основных типа баз данных:
Знакомство с технологиями
Профессионалы в области больших данных должны быть знакомы с целым рядом технологий и инструментов, помогающих проводить анализ и делать выводы. Всегда лучше работать с максимально широким технологическим стеком: Scala, Hadoop, Linux, MatLab, R, SAS, SQL, Excel, SPSS и т.д. Это существенно повысит ваши шансы на трудоустройство и быстрый карьерный рост.
Фреймворки, вроде Hadoop и Apache Spark помогают в потоковой передаче моделей больших данных, а различные компоненты Apache Hadoop (MapReduce, HIVE, HDFS и Pig) пользуются большим спросом у специалистов и работодателей.
Навыки работы с публичными и гибридными облаками
В большинстве проектов используется облако, настроенное для хранения и обеспечения высокой доступности данных. Организации предпочитают такие хранилища созданию собственной инфраструктуры из-за меньших затрат. Многие имеют гибридную облачную реализацию.
Практические навыки
Начинающий специалист по большим данным перед трудоустройством на хорошую должность должен получить практический опыт и изучить необходимые инструменты. Поскольку технологии меняется быстро, прохождение некоторых курсов может помочь в оперативном усвоении необходимых навыков.
Что нужно знать, чтобы построить карьеру в Big Data: объясняет эксперт
Авторизуйтесь
Что нужно знать, чтобы построить карьеру в Big Data: объясняет эксперт
Сегодня мы будем беседовать с Артёмом Гогиным — экспертом из мира Big Data, Senior Big Data Developer в Grid Dynamics. Он имеет большой опыт работы с большими данными, в том числе построение и развитие хранилищ данных в таких компаниях, как «Сбербанк», «Мегафон» и др. Также Артём — преподаватель и автор нескольких курсов по технологиях больших данных на портале GeekBrains.
В прошлый раз мы говорили о трёх направлениях Big Data и тех задачах, которые в них решаются. Теперь поговорим о том, какие инструменты используются в каждой специализации и какие навыки необходимо развивать для быстрого карьерного роста.
Базовые знания и навыки в Big Data
— Каждый специалист занят своим делом и решает определённый круг задач. Поэтому в начале карьеры стоит подумать, к каким задачам больше лежит душа. Что необходимо учить для старта в каждом направлении и как продвигаться по карьерной лестнице?
Нет необходимости делать выбор специальности в самом начале. Специалисты каждого направления имеют общую базу, с которой и нужно начинать обучение. Зная только общую базу, уже можно выполнять множество задач и быть частью Big Data. Углубляться в определённое направление я советую только после знакомства изнутри с тем, как выглядят проекты. Поэтому для совсем новичков я бы посоветовал «копать вширь», т.е. изучать инструменты, которые пригодятся в любой задаче Big Data.
— Из каких знаний/навыков состоит база Big Data?
Основа всего – это SQL. Да, именно SQL, а не общепринятые ООП, структуры данных, алгоритмы или Python. Это, наверное, сильно отличает Big Data от других направлений разработки, где для начала необходимо знать на приличном уровне какой-то из объектно-ориентированных языков.
В больших данных очень много задач, начиная с простейшего уровня и заканчивая важнейшими исследованиями для принятия бизнес-решений, решаются с помощью запросов к какой-либо базе данных. Причём совсем не важно, какая именно это будет БД. Возможно, это будет NoSQL база данных или даже не база данных вовсе, а простой набор файлов, лежащих в файловой системе.
В любом из этих случаев нам очень пригодится понимание того, как можно обращаться к табличным данным, как читать по строкам и по колонкам, как соединять и фильтровать таблицы, какие ограничения существуют, как организовываются данные, какие данные можно получить из метаданных и т.д.
— На каком уровне нужно владеть SQL?
SQL мало просто знать. Обязательным является именно уверенное владением этим инструментом. Вплоть до Senior позиций любого направления одним из самых существенных показателем зарплаты является знание SQL. Поэтому эту технологию никогда не помешает узнать получше.
От новичка ожидают, что он сможет понять устройство данных в таблицах, не потратив на это весь день. Например, появляются ли дубли при запросе, сходятся ли идентификаторы в двух таблицах, наблюдаются ли потери данных, имеется ли достаточно данных в справочниках.
Перечислю, что ожидается по SQL от любого специалиста начального уровня:
На собеседованиях необходимо будет решать задания вроде таких:
— Какие ещё базовые навыки требуются, кроме владения SQL?
Кроме SQL от любого специалиста также ожидаются минимальные навыки работы с UNIX-системами. Доступ ко многим базам данных может осуществляться именно через UNIX-серверы, поэтому необходимы базовые навыки работы с таким окружением. Достаточно будет знать команды ls, cat, mkdir, rm, touch, grep, awk, sed, а также знать, что такое stdin, stdout, stderr.
Во многих компаниях не станут спрашивать, что такое структуры данных, сложность алгоритмов (хотя иногда могут спросить ради оценки общей IT-эрудиции). Не нужно будет решать алгоритмы и применять паттерны проектирования ООП. Скорее всего, не придётся рассказывать про устройство и архитектурные особенности базы данных, на которую вас зовут работать.
Обычно с оптимизациями всегда помогают более опытные сотрудники. От новичков не требуется писать архитектурно верные запросы. Как видите, набор базовых навыков совсем небольшой, а, значит, нет необходимости долго готовиться к первым собеседованиям. Несколько месяцев подготовки вполне может быть достаточно.
Что должны знать и уметь дата-аналитик, дата-инженер и специалист в области Data Science
— Как лучше продвигаться в каждом направлении? Какие знания и навыки нужны, например, дата-аналитику?
Если хотите развиваться как дата-аналитик, стоит уделить больше внимания софт-скиллам, нежели углубляться в технические инструменты. Опытный аналитик не обязан хорошо разбираться в архитектурных особенностях баз данных, оптимизации фреймворков или запросов к базам данных. Если говорить о технических навыках, то экспертного знания SQL может быть достаточно для выполнения большинства задач дата-аналитика.
Основная экспертиза дата-аналитика раскрывается в его взаимодействиях со смежными командами, с заказчиками и коллегами. А именно — в транслировании аналитической информации, полученной из баз данных, в бизнесовую, полученную от смежных бизнес-подразделений, и наоборот.
Любому техническому проекту всегда предшествует масса встреч, обсуждений, переговоров, уточнений потребностей, проверок гипотез и согласований результата. Зачастую в таких процессах задействован менеджер или product owner (если мы говорим про Agile), а также дата-аналитик как носитель точной информации о том, какими именно данными обладает подразделение и возможно ли из имеющихся данных получить то, что необходимо заказчикам.
Очень часто из-за близости по задачам дата-аналитики по мере развития становятся менеджерами или владельцами продуктов. Поэтому развитие дата-аналитика можно сравнить с развитием проектного менеджера. Если вам одинаково симпатичны менеджерские и технические задачи, путь дата-аналитика отлично подойдёт для вашей карьеры.
— Какими знаниями и навыками должен обладать дата-инженер?
Дата-инженер должен владеть такой технической экспертизой, чтобы точно знать, как правильно реализовать любой функционал, получая требования дата-аналитиков или менеджеров. Если дата-аналитик проверяет реализуемость бизнес-задачи, исходя из доступности данных, то дата-инженер должен ещё оценивать совместимость архитектур систем, производительность интеграций и вычислений, а также другие технические детали.
Для дата-инженера требуемые технические навыки очень сильно зависят от стека проекта или организации. Существует совсем немного инструментов, которые используются повсеместно. Поэтому придётся изучить много разных фреймворков и баз данных, но пользоваться только ограниченным набором в зависимости от конкретного проекта.
Сейчас одной из самых популярных систем хранения является Hadoop. Он есть почти в любой крупной компании для хранения больших объёмов данных. Для эффективной работы с этими данными очень часто используется Spark – фреймворк для запросов к данным.
Spark используется в трех языках – Python, Scala и Java. Если ваша компания или подразделение использует один из этих языков, вы тоже должны применять этот язык. Поэтому для расширения круга работодателей полезно ориентироваться во всех этих языках. Можно сосредоточиться на одном, но тогда и круг потенциальных работодателей сужается.
Для эффективных интеграций разных систем принято использовать Kafka. Знания этого инструмента ценится во многих компаниях. Для быстрого доступа к данным часто используются такие системы, как Cassandra, Redis, Elasticsearch или их аналоги. Знание архитектур этих систем также ценится среди работодателей.
— Что нужно знать тем, кто хочет развиваться в сторону Data Science?
Для дата-сайентистов разнообразия технологий поменьше, но тоже хватает. Для начала вам потребуется вспомнить школьную и освоить некоторую университетскую математику, а также статистику. С выбором языка программирования намного легче – обязательно нужен Python.
В самом Python понадобятся такие библиотеки, как Spark и Pandas для обработки данных. Также понадобятся библиотеки машинного обучения, такие как scikit-learn, PyTorch, TensorFlow и т.д. Эти инструменты обязательны для того, чтобы начать заниматься машинным обучением всерьёз.
По мере развития потребуется обладание комплексной экспертизой как с точки зрения машинного обучения, так и с точки зрения разработки. Бизнес-заказчики будут требовать достижения амбициозных бизнес-показателей (продаж, новых клиентов, конверсий), но никто не будет знать, как именно этот результат получать. За поиском идей и механизмов воздействия на показатели, скорее всего, придут к опытному дата-сайентисту, от которого потребуется погрузиться к жизненный путь клиента с головой. Поэтому для специалиста также может быть важна предметная область компании.
В этот же момент опытный дата-сайентист не должен забывать о технических возможностях своих серверов и трезво оценивать трудоёмкость и техническую сложность идей. Поэтому для зрелого эксперта этой сферы потребуется углубиться в архитектуру базы данных, особенности оптимизации используемых фреймворков и платформы для хранения данных, например, Hadoop.
— Давайте подведём итоги и ещё раз кратко опишем каждое из направлений.
Опытный дата-аналитик — это частично разработчик, частично менеджер или владелец продукта. Он общается с бизнес-подразделениям и работает над тем, чтобы находить нужную информацию в данных. Чем опытнее аналитик, тем больше организационных обязанностей и обязанностей по взаимодействию между подразделениями он берёт на себя.
Если предоставлять такую информацию нужно регулярно, то дата-аналитик должен конкретизировать, описать, разъяснить требования для дата-инженеров, которые уже разработают стабильное, оптимизированное, архитектурно верное приложение по трансформации данных. Опытный дата-инженер отлично знает методы оптимизации запросов к данным, хорошо понимает нагрузку на базы данных и может придумать архитектуру потоков данных, которая не съест весь бюджет компании на серверы.
Опытный дата-сайентист же сам может быть инициатором нового бизнес-процесса (новой акции, подхода к клиентам, скрипта продаж и т.д.). Такие специалисты зачастую сообщают бизнес-подразделениям о своих идеях и показывают, в каких процессах бизнес сейчас работает неоптимально и где можно улучшить. Чем опытнее дата-сайентист становится, тем большую ответственность за свои идеи он может на себя взять.