Как управлять миром (данных) и что ждет Data Engineering совсем скоро

Всем привет. Меня зовут Дмитрий Роденко. Я основатель сообщества SaaS Founders. Помогаю фаундерам IT-компаний находить новых крупных клиентов с помощью лиды генерации в LinkedIn. Сегодня мы рассмотрим прогнозы в мире дата инжиниринга. Почему они важны? Дело в том, что это ориентир для движения в меняющемся окружении для руководителей в IT и специалистов по обработке данных. В конце концов, все, что мы производим, — это данные. И данных мы производим все больше и больше. Скажем, динамика развития данного рынка, рынка дата инжиниринга и обработки данных очень важна для развития IT в целом. Давайте изучим, что же сейчас происходит в мире дата инжиниринга. С ростом перемещения задач в облачную среду облачную среду, затрат на обработку данных становится все больше. И это подталкивает нас к тому, чтобы оптимизировать данные затраты, экономия на найме новых сотрудников, внедрение более эффективных процессов. Если раньше компании инвестировали все больше и больше, ориентируясь на рост, сейчас как бы период повышения ROI, повышения оценки экономики. То есть, а какую выгоду дает внедрение облачной оптимизации данных. И один из трендов это повышение ROI, в частности уменьшение затрат. В частности такие специалисты, как Али Годси, генеральный директор компании Databricks, одной из ключевых поставщиков решений в данной индустрии, говорит, что Рост интереса, максимальный рост интереса идёт к снижению расходов. Если ваше решение показывает, что благодаря внедрению снижаются расходы на Data Engineering, значит вы молодцы и вы будете более интересны, чем другие подобные решения. Для того, чтобы обеспечить достижение бизнес-цели, и в частности, то, о чем мы говорили, снижение затрат на Data Engineering, углубляется специализация внутри команд. В частности, появляются инженеры по надежности данных, которые работают над качеством данных. Менеджеры по работе с продуктами данных будут помогать их внедрению. Инженеры DataOps будут передавать приоритет управлению и эффективности, и архитекторы данных сосредоточатся на преодолении различных узких мест и разработке долгосрочных стратегий. То есть этот тренд говорит о том, что будет углубляться специализация в Data Engineering, и станет меньше людей, которые мастера на все руки, а у каждого будет своя специализация. Соответственно, дальше эксперты по анализу будут чаще объединяться в встроенный в домен команды. С командами из центра передового опыта. Соответственно, таким образом команды будут между собой работать не только по проектной структуре, но и по матричной структуре для того, чтобы обеспечить максимизацию отдачи от тех данных, которые есть у компании, либо того массива, с которым они работают. Естественно, куда же мы денемся без Machine Learning? На данный момент только 53% ML-проектов выходят за рамки прототипов. И этот показатель будет расти за счет того, что все большее и большее количество организаций будет использовать большие банки данных и, соответственно, будет больше работать с существующими либо собственными, либо внешними подключаемыми базами данных. Поэтому, с одной стороны, будут появляться более простые инструменты для помощи командам бизнес-аналитиков, такие как Streamlit, различные блокноты и так далее. С другой стороны, существующие сложные решения будут давать какие-то более простые интерфейсы с возможностями автоматизации для решения бизнес-задач, которые стоят перед командами бизнес-аналитиков. Естественно, что размываются границы между хранилищами и озерами данными. Это то, что называется Data Lakes, Data Storage и Data Lakes. Связывается это с тем, что все больше и больше развивается коммуникация, каналы становятся все более и более объемными. Базы данных также меняются, и возможности для хранения, упаковки и выдачи баз данных, они постоянно растут. Соответственно, можно уже не просто положить данные, да, и как-то обрабатывать, да, можно уже говорить о потоковой передаче данных, в частности, с помощью таких решений, как SnowPipe от Snowflakes или интеграции PubSub от Google с BigQuery. И что очень важно, что с каждым годом, вот мы сейчас подходим к тому переходу, когда меняется.