日志保留的最佳实践

了解作为数据保留策略的一部分,存储、处理和归档关键事件记录的最佳实践。

学习目标

阅读本文后,您将能够:

  • 识别日志保留方面的最大挑战
  • 了解日志保留期限和存储选项
  • 日志管理的最佳实践

复制文章链接

什么是日志保留?

日志保留和日志保留管理均指对组织机构的日志进行存储、处理和归档。日志是指事件与数据的记录,可用于安全分析、合规性、性能优化和调试。日志保留是更广泛的数据保留策略的组成部分。

正确的日志保留策略有助于组织维持安全高效的运营,同时遵守所有适用的法律法规。在当今的业务环境中,有效的日志保留管理策略需要在组织的运营、安全、法律和预算需求之间取得微妙的平衡。

虽然保持合规并遵守法律法规是设置日志保留策略的主要因素,但大多数组织还会出于运营和安全考虑保留日志,以提高日常性能,并在发生安全事件时更好地进行调查。

大多数业务日志属于以下四个类别:

  • 系统日志跟踪系统更改、关机、启动、内核信息和硬件故障。
  • 应用日志跟踪和总结应用行为与用户使用这些应用时的行为。
  • 安全日志追踪与组织安全相关的所有事件、检测到的威胁、攻击和攻击尝试,以及登录和登录尝试。
  • 审计日志是指出于审计、合规、取证分析和监管原因,按规定期限(通常较长)保留的日志。

什么是日志保留策略?

日志保留策略(也称为日志保留管理)通常涵盖日志保存的方式、日志存储的后勤工作、日志保留的时间长度以及日志在存储期间的可访问性。

尽管在过去几年中存储容量的成本有所降低,但将组织的所有数字日志长期存储仍然会产生实际成本。因此,重要的是制定一项连贯且现实的政策,以确保您需要保留您需要保留的日志和记录在您需要保留的时间内。否则,一方面,您实际上没有必要为存储越来越多的日志和越来越长的时间而付费;另一方面,您还面临着严重的罚款、惩罚以及声誉损害的风险。

存储有哪些不同类型?典型的日志保留期限是多久?

不同类型的日志具有不同的存储和保留要求,取决于材料的敏感性、重要性以及业务关联性。例如,医院可能需要对涉及财务流程的日志与涉及患者活动的日志制定不同的策略。但总的来说,以下是一个不错的起始经验法则:

  • 医疗保健:通常为六年或更长时间
  • 金融:通常为三到七年,具体取决于类型和敏感度
  • 通用:根据行业和日志类型,一年或一年以上

多年存储数百万条记录的成本可能相当高昂。因此,公司通常将存储(以及相关成本)分为三类,以便最有效地满足其日志存储需求。

  • 热存储是最易于访问/最随时可用的存储。由于基本始终保持可用,它也是最昂贵的。热存储用于存储您的团队可能随时需要访问的日志和文件。
  • 温存储的访问难度稍高,但比热存储更便宜,更适合您可能需要访问但检索时间稍长的日志。
  • 冷存储是最难访问、成本最低的存储选项,通常位于异地,本质上是在较长时间内存储日志最具成本效益(但可访问性最低)的方式。冷存储通常用作归档的另一种说法。

为什么日志保留很重要?

日志保留对于安全调查、运营分析以及计划内和计划外审计至关重要。虽然人们普遍理解日志保留与安全分析之间的关系,但日志保留在审查和优化组织的日常流程、性能和敏捷性方面也起着重要作用。拥有完整的日志记录将帮助您保持对内部政策、行业标准和政府法规的合规性。如今,日志保留已从一项用于维持合规性的检查项,演变为一项真正关键的业务功能。

无论您的组织在何处运营,遵守业务所在国家/地区的所有地方和国家法律都至关重要,因此您需要管理所有与适用法律(如 GDPR、SOX 和 HIPAA)相关的日志和记录,我们将在下文更详细地介绍。

长期保存组织的日志记录对于调查和审计也是必要的。遵守法规是没有商量余地的,而制定有效的日志保留政策为建立有效的合规实践奠定了坚实的基础。

除了日志在合规方面的重要性之外,日志还能帮助您的安全和运营团队比零散的时间点快照更清晰地识别模式、趋势和问题。日志还有助于协助取证。它们可以在网络安全威胁和实际泄露事件发生后,帮助您了解、调查和缓解这些威胁。

过去几年中,日志保留的方式和原因发生了怎样的演变?

日志保留已从一种简单、被动、通常为本地部署的流程,转变为一种更加主动(且具有前瞻性)、基于云、托管式的实践,其中融入了更自动化的生命周期管理和 AI 活动。

随着业务环境日益复杂且本质上越来越全球化,现代组织需要一种统一的日志保留与管理方法。数据孤岛和被动式本地存储的时代已经结束。如今,您的团队需要一个集中式、基于云、可搜索的托管解决方案,能让您在运营的每个地区都保持合规,同时为您提供适合您特定需求的访问权限和理想的存储能力组合。日益分布式的企业需要一个通用、低成本的存储库,用于存放来自所有地点的所有日志。合适的云解决方案不仅能解决所有这些问题,妥善保留您的日志,还能帮助您更轻松地进行事件检测、调查和修复。

日志策略方面最大的挑战是什么?

  • 安全可见性受限: 缺乏长期日志数据会大大增加团队开展完整安全取证、检测高级持续性威胁,以及在事件发生时全面理解事件影响范围的难度。
  • 合规性和审计失败: 未能充分保留某些日志(例如,与医疗保健或支付信息相关的日志)会显著增加违规、法律处罚和声誉损害的风险。
  • 高昂的存储成本和复杂性:在可预见的未来,仅仅保留所有日志的成本往往就已经高得难以承受。正确的日志管理策略将最大程度地降低在本地部署或非托管云环境中存储海量日志数据所产生的高昂成本和运营开销。
  • 事件响应效率低下:如果日志存储在错误的存储位置,当需要调查事件时,您将无法快速搜索、分析和关联来自不同来源及不同存储层级的所需日志。这很容易延误您的事件响应和故障排除工作。

日志保留与合规涉及哪些法规示例?

虽然适用的本地和国际法规数量众多,但以下是一些最具影响力的法规:

  • 1996 年发布的《健康保险可携性和责任法案》 (HIPAA)关注患者隐私。该法案侧重于在患者信息存在的所有地方确保其安全与保护,重点关注其在美国医疗体系内从患者到医生、医院及保险系统之间流转时的可携性。
  • 《通用数据保护条例》 (GDPR)由欧盟于 2016 年颁布,为整个欧洲的隐私标准设定了高门槛。
  • 《萨班斯-奥克斯利法案》 (SOX)是美国于 2002 年颁布的一项法案,要求所有在美国开展业务的公司:保护其私有数据、记录电子记录以备潜在审计、追踪未遂安全事件、报告准确的财务数据,并证明其合规性。

由于包含大量的个人和支付数据,医疗健康数据自然成为攻击者的目标。因而,除了 HIPAA 之外,医疗日志和数据的存储还有一系列严格的要求,以及一套行业特定的日志保留要求。

同样,金融和一般业务日志也包含大量需要保护的敏感私有数据和金融数据,而 GDPR、SOX、美国国家标准与技术研究院 (NIST) 特别出版物 800-53 (NIST SP 800-53) 等法规及其他规定则制定了涵盖隐私保护以及一般业务和财务日志处理与存储的规则。

公共部门组织也必须遵守特定的法规。在美国,联邦政府、州政府和地方政府都有各自的法律和日志保留要求。对于美国联邦政府,诸如FedRAMP等严苛的法律对数据保护和日志保留有着严格的要求,所有与政府有业务往来的公司都必须遵守。

日志管理解决方案的最佳实践是什么?

现代组织需要一个主动、严格管理、基于云的解决方案,其中包括:

  • 实时日志摄取
  • 组织范围内的集中可见性
  • 经济高效的存储解决方案

合适的解决方案将帮助您的团队将日志数据及其管理方式转变为整个组织的战略资产。其他最佳实践包括:

  • 制定正式的书面(但持续演进)日志管理与保留策略
  • 在组织结构图中展示与之相关的各项工作职责
  • 集中存储,并确保正确的日志位于合适的存储解决方案中
  • 利用 AI 和自动化
  • 确保您的每一项策略自始至终均遵守所有适用的本地、国家和国际法律与法规

在更细粒度的层面,您需要一个能够原生摄取日志、通过直观的统一面板为您提供事件响应和实时分析所需情报的解决方案。您还需要能够自定义日志保留期以及日志存储解决方案,以满足您组织特定的安全性、合规性和业务需求。

Cloudflare 如何能够帮助简化日志管理?

Cloudflare Log Explorer 使您能够在云中高效存储组织的日志。存储日志、检测安全和性能问题、调查根本原因,并缓解影响——而且都不会增加复杂性或成本。

进一步了解 Cloudflare Log Explorer 如何能简化日志管理并增强安全态势。

常见问题解答

什么是日志保留?

日志保留是指组织日志的存储、处理和归档。日志是事件和数据记录,可用于安全分析、合规性、性能优化和调试。

为什么日志保留策略对组织至关重要?

日志保留策略对于维持安全高效的运营以及确保遵守所有适用法律和法规至关重要。这涵盖日志保存的方式、日志存储的后勤工作、日志保留的时间长度以及日志在存储期间的可访问性。

日志的四个主要类别是什么?

日志可能包括:系统日志、应用日志、安全日志和审计日志。

日志存储有哪三种类型?

日志存储通常根据访问权限和成本分为三类:热存储(易于访问,成本最高),温存储(成本较低,访问难度稍高)和冷存储或归档(成本最低,访问难度最高)。

现代组织在日志策略方面面临哪些重大挑战?

日志策略挑战包括有限的安全可见性、合规性和审计失败、高存储成本和复杂性以及低效的事件响应。

有哪些影响日志保留和合规性的法规示例?

一些有影响力的法规包括:《健康保险可携性与责任法案》(HIPAA)、欧盟《通用数据保护条例》(GDPR)以及美国的《萨班斯-奥克斯利法案》(SOX)。

有效的日志管理解决方案需要满足哪些要求?

先进的解决方案应具备主动性和严格管理能力,结合实时日志摄取、跨组织的集中可视化和经济高效的存储解决方案。解决方案应有助于制定正式的日志管理与保留策略;帮助集中存储;利用 AI 和自动化;并帮助简化对本地、国家和全球法规的合规。