您好,欢迎来到选学网!

零ETL的未来会产生甚么?

发表时间:2024-03-23点击量:466

集成全部组织的数据可让您更好地了解客户、简化运营并帮助团队做出更好、更快的决策。但整合数据其实不容易。

通常,组织使用各种工具和系统(例如数据摄取服务)从不同来源搜集数据。数据通常存储在孤岛中,这意味着必须将其移至数据湖或数据仓库中,然后才能运行分析、人工智能 (AI) 或机器学习 (ML) 工作负载。在数据准备好进行分析之前,需要对其进行组合、清算和规范化,这一进程也称为提取、转换、加载 (ETL),这可能非常费力且容易出错。

在 AWS,我们的目标是让组织更轻松地连接到所有数据,并以客户所需的速度和敏捷性实现这一点。我们基于以下目标开发了实现零 ETL 未来的首创性方法:打破数据孤岛,使数据集成更容易,并加快数据驱动创新的步伐。

ETL的问题

合并来自不同来源的数据就像将一堆砾石从一个地方移动到另外一个地方一样,这是一项困难、耗时且常常使人不满意的工作。首先,ETL 常常要求数据工程师编写自定义代码。然后,DevOps 工程师或 IT 管理员必须部署和管理基础设施,以确保数据管道的扩大。当数据源产生变化时,数据工程师必须手动更改代码并重新部署。

另外,当数据工程师遇到数据复制滞后、架构更新中断和源和目标之间的数据不一致等问题时,他们必须花费时间和资源来调试和修复数据管道。在准备数据时(这个进程可能需要几天时间),数据分析师没法运行交互式分析或构建仪表板,数据科学家没法构建机器学习模型或运行预测,较终用户(例如供应链经理)也没法做出数据驱动的决策。

这个漫长的进程抹杀了任何实时用例的机会,例如根据交通状态将司机分配到线路、放置在线广告或向乘客提供列车状态更新。在这些情况下,可能会失去改良客户体验或解决新业务前景的机会。


关键词: 数据 管道 仪表板

课程热线:

在线咨询

客服在线时间:早上9点~下午6点,其他时间请在线预约报名或留言,谢谢!

机构入驻 | 帮选课 | 公司介绍 | 联系我们 | 版权隐私 | 网站地图| 广告服务|网站留言| 违规举报

版权所有:© 2015-2024 选学选课 All Rights Reserved 备案号:冀ICP备2022029239号