Dialog Axiata 利用 Amazon S3 智能分层与 S3 存储透视大幅降低存储成本

作者 Malik Induruwana、Jeffrey Perera、Senthilvel (Vel) Palraj、Venkatakrishnan C发布日期 2024年2月1日分类 Amazon Simple Storage Service (S3) AWS 成本和使用报告 客户解决方案 中级 (200) 存储

关键要点

电信行业在近年来经历了重大技术变革，电信运营所产生的大量数据需要战略性处理。根据 麦肯锡的一项调查，超过50的电信公司表示他们正在将更多资产迁移到云端，包括许多业务关键应用，如业务支持系统 (BSS)。电信公司必须在进行云迁移的同时，优先考虑优化策略，以充分享受这一转型的好处。糟糕的云财务管理可能导致更高的运营成本，并可能危及电信公司的安全性和可扩展性。

Dialog Axiata PLC隶属于Axiata集团是斯里兰卡最大的四网合一电信服务提供商。Dialog 拥有1710万用户，提供固定电话、宽带、移动电话、电视、支付应用和金融服务等多种服务。借助 Amazon Simple Storage Service (Amazon S3)，Dialog 可以存储几乎无限的数据，同时优化存储成本。

在本篇文章中，我们将探讨 Dialog 如何使用 Amazon S3 存储透视、S3 智能分层 存储类以及其他工具，来高效管理 AWS 上的大规模数据，同时降低存储成本。通过根据访问模式优化存储并清理不完整的多部分上传，Dialog 每年能够节省 9000015的存储费用。考虑利用这些功能和策略，在将数据迁移到 AWS 时优化存储成本。

优化客户体验：Dialog 的 Amazon S3 策略

MyDialog 应用和 WOW SuperApp 是 Dialog 的两个主要业务关键工作负载，涵盖超过 900 TB 的数据存储在 Amazon S3 中。Dialog 优先考虑这两个工作负载进行成本优化，因为预计数据量将在未来几个月内呈指数增长。在深入探讨 Amazon S3 的成本优化之前，有必要先了解这两个工作负载及其如何通过 Amazon S3 为客户提供最佳服务。

数据存储与可达性：Amazon S3 是 Dialog 的强大且可扩展的存储解决方案。它安全地存储客户数据，使其便于进行数据分析、取证、服务改进等。为了保护客户的个人身份信息PII，Dialog 对包含任何 PII 的数据集进行匿名化处理。

数据分析：Dialog 利用存储在 Amazon S3 中的客户数据，通过分析这些数据获得有关客户行为、偏好和使用模式的宝贵洞察。以数据驱动的方法使公司能够根据客户需求和期望量身定制服务。

网络优化：存储在 Amazon S3 中的数据包括与呼叫流量拥堵、地理位置和呼叫质量相关的信息。Dialog 可以使用这些数据识别网络性能问题，锁定拥堵问题区域，并解决呼叫质量问题。通过解决这些网络问题，Dialog 可以为客户提供更流畅、更可靠的通信体验。

服务增强：通过利用从 Amazon S3 数据中获得的见解，Dialog 可以做出明智决策来提升其服务。这可能涉及优化网络资源、引入新功能或服务以及改善现有服务的质量。这一切都有助于改善客户体验。

分析对象使用模式：Dialog 的 AWS 原生工具

Dialog 使用 S3 存储透视进行全面的存储监控，借助涵盖一般存储数据和用例特定见解如成本优化和数据保护的免费指标。他们利用该工具识别缺乏 S3 生命周期 规则的桶，处理不完整的 多部分上传，并确保遵循 S3 复制或 S3 版本管理等数据保护最佳实践。通过这样做，Dialog 积极管理存储环境，优化成本，并增强数据安全性，以符合 Amazon S3 的最佳实践，确保高效可靠的存储操作。

Dialog 有效地利用 成本和使用仪表板操作解决方案 (CUDOS) 仪表板，这是一种基于 Amazon QuickSight的工具，依赖于 AWS 成本和使用报告 (CUR) ，提供资源级成本和使用的逐小时细化见解。在仪表板中，Dialog 最大化了专门用于跟踪存储相关成本及其在不同存储层次之间分布的存储标签的能力。Dialog 从此标签中提取出有价值的信息，比如每层成本和对象在层之间移动对存储单元成本的影响。此外，他们密切监控其主要 S3 桶上通过 API 操作产生的成本，并识别潜在迁移到其他 S3 存储类别的机会，以利用 CUDOS 仪表板的视图。这种方法帮助 Dialog 维持符合成本效益和井然有序的存储环境。

图 1 Dialog 每个 S3 桶的 API 操作开支

在使用上述工具分析使用情况和活动指标的同时，Dialog 成功识别出无法应用生命周期策略的工作负载，深入研究每个工作负载的固有特征。这些特定工作负载已转移至 S3 智能分层存储类。展望未来，这些已识别应用的存储将直接分配给 S3 智能分层，省去需要将其放置在 S3 标准存储类中的临时步骤。

高效数据管理：Dialog 的成本和可达性优化

Amazon S3 提供多种 不同存储类，供您根据工作负载的性能、数据访问、弹性和成本要求进行选择。

Dialog 对 Amazon S3 的使用高度灵活，能够满足存储数据的不同使用模式。具有可预测访问模式的数据通过 S3 生命周期高效管理，该功能通过自动将对象转移到最合适的存储类来优化存储成本、性能和数据耐用性。例如，来自 MyDialog 应用的客户账单数据包括最新的月账单经常被访问，而超过三个月的账单访问频率较低。在这些情况下，使用 S3 生命周期策略自动调整存储类别，从而以成本效益的方式管理数据。

相反，来自移动信号塔收集的数据，包括呼叫质量指数等宝贵指标，由多个分析应用和机器学习模型利用，而其访问模式较不容易预测。为了解决这个挑战，Dialog 借助 S3 智能分层。S3 智能分层是一种存储管理功能，会根据使用模式自动将对象转移到不同的访问层。特别是，在对象连续 30 天未被访问后，S3 智能分层智能地将其移动到不频繁访问层，从而节省高达 40 的成本。此外，如果对象在连续 90 天内未被访问，则转移到档案即时访问层，带来高达 68 的显著成本节省。这种动态方法优化了成本，同时保持可达性，使其成为处理访问模式不那么可预测的数据的理想选择。

总而言之，Dialog 策略性地使用 Amazon S3，结合 S3 生命周期政策和 S3 智能分层，使他们能够高效管理和存储数据，从而在确保数据可达性与实际使用模式相符的同时，优化成本。

分析 S3 智能分层的成本影响

自 2023 年 4 月以来，Dialog 有效地使用 S3 智能分层作为“默认存储类”以优化存储成本。这一实施导致 S3 智能分层的采用率随着时间的推移而增加。以下图表显示自 Dialog 在 2023 年 4 月采用此存储解决方案以来，不同 S3 智能分层访问层的数据量。可以看到，在启用 S3 智能分层后三个月，符合条件的数据开始进入档案即时访问层，进一步帮助降低存储成本。

图 2 Dialog 随时间变化的 S3 智能分层访问模式

客户每月支付 监控和自动化费用 ，以监控存储在 S3 智能分层存储类中的对象的访问模式并在访问层之间移动对象。在 2023 年 4 月到 2023 年 9 月期间，Dialog 的 S3 智能分层监控成本不到 1。这一切得益于选择适合的工作负载，即大型对象，适用于 S3 智能分层，以下图显示了相关数据。

图 3 Amazon S3 智能分层监控成本占总存储成本的百分比

在采用 S3 智能分层后，Dialog 的平均存储成本大幅降低。下图显示 S3 智能分层的使用率从 2023 年 3 月的 0 上升到 9 月的显著 57。这种采用的增加与 Amazon S3 存储每千兆字节的成本显著降低相对应。2023 年 3 月，成本为 00233 每 GB，到了 2023 年 9 月，这一成本降低了 153，降至更具经济性的 00197 每 GB。

Dialog 预计这种节省成本的趋势将在未来持续，使 S3 智能分层成为越来越有吸引力和经济实惠的存储解决方案。

图 4 Dialog 随时间变化的 S3 智能分层存储成本

管理不完整的多部分上传

除了有效利用 S3 智能分层外，Dialog 还主动清理失败的不完整多部分上传，遵循 此处 的最佳实践。这项措施导致 Amazon S3 存储使用量大幅下降 25，显著优化了公司的存储足迹。这项清理工作尤其有效，将 Amazon S3 的总存储使用量从 2023 年 3 月的 209 PB 降至 2023 年 6 月的 157 PB。具体来说，Amazon S3 的使用量在 4 月下降了约 5，在 5 月下降 10，在 6 月下降 13。

图 5 删除不完整多部分上传后 Amazon S3 存储使用量下降

结论

在本篇博客中，我们讨论了 Dialog Axiata PLC 如何利用 S3 智能分层和 CUDOS 仪表板及 S3 存储透视的见解，节省了每年 9000015的存储成本。利用 S3 存储透视的见解，Dialog 能够识别没有 S3 生命周期规则的桶，从而实施针对可预测S3 生命周期和不可预测S3 智能分层访问模式的数据存储策略以节省存储费用。清理不完整的多部分上传也帮助他们清理了大量存储，进一步降低成本。

虽然 Dialog 的 CloudOps 团队已经优化了存储成本，但他们的愿景是建立一个 FinOps 实践，使每个产品团队能够使用 AWS 服务和工具如 S3 存储透视和 AWS CUR优化其工作负载的成本和性能。为了支持这一愿景，AWS 团队举办了 FinOps 研讨会，培训 multiple Dialog 产品团队，帮助 Dialog 建立持续监控和优化其 AWS 工作负载成本的实践。

感谢您阅读本篇文章，希望您学到了新的和有用的知识。请随时在评论区留下您的反馈。

标签 Amazon S3 智能分层、Amazon S3 生命周期、Amazon S3 存储类别分析、Amazon S3 存储透视、Amazon Simple Storage Service (Amazon S3)、AWS 云存储、AWS 成本和使用报告

作者介绍

Malik InduruwanaMalik Induruwana 负责 Dialog Axiata PLC 的 IT 基础设施规划、运营和企业安全，作为马来西亚 Axiata 集团的子公司。他推动组织的“云优先战略”，确保云技术的最佳利用。凭借在电信、保险、资本市场、软件和共享服务领域逾 20 年的经验，Malik 带来了丰富的行业知识。工作之余，他喜欢关注不同的体育运动，橄榄球是他的最爱。

Jeffrey PereraJeffrey Perera 在 Dialog Axiata PLC 工作了 17 年，负责 IT 基础设施的云规划/操作以及他们的 IT 网络组合。他在云解决方案如操作、成本优化和确保云解决方案的安全性方面提供专业知识和领导力。他自 2019 年开始参与 Dialog 的云