excel表格中重复数据删除(删除重复项数据太多卡住了怎么办)

有人说，我们从来没有真正解决过任何IT问题，我们只是转移了它们。重复数据删除也不例外。虽然重复数据消除系统使我们的备份和恢复更加容易，但也存在许多挑战。

聪明的存储或备份管理员能够理解这些挑战，并尽一切可能来解决它们。

基于哈希的重复数据删除系统(如CommVault Systems、EMC、FalconStor Software、Quantum、Symantec)可以识别并删除所有三种类型的重复数据。

因为绝大多数备份数据中，约有一半的重复数据来自多次完整备份。使用IBM的Tivoli Storage Manager (TSM)作为备份产品的用户可以获得比使用其他备份产品的用户更低的重复数据删除率。

这是因为TSM的增量功能，用户不需要在TSM备份的文件系统上进行完整备份。然而，由于TSM用户已经对他们的数据库和应用程序进行了完全备份，并且由于发现重复数据的完全备份数据不只有一个副本，

TSM用户仍然可以从重复数据删除系统——中受益，并且他们的重复数据删除率会更小。

第二种类型的重复数据来自增量备份，增量备份包含自上次完整备份以来文件或应用程序的多个版本。如果文件每天都被修改和备份，并且备份系统的备份保留期是90天，

那么在这个备份系统中将有该文件的90个版本。重复数据消除系统将识别这90个不同版本中的唯一数据段和冗余数据段，并且仅保存唯一数据段。然而，一些文件类型没有不同的版本(例如视频、音频，

照片或图像，以及PDF文件)，每个文件本身都是唯一的，不会与同一文件的前一版本重复。这些类型文件的增量备份将完全包含这些唯一数据，因此没有要删除的重复数据。

考虑到与重复数据删除存储相关的成本，一些拥有大量此类文件的用户考虑不在重复数据删除系统上存储这些数据，因为除了增加成本之外，他们不会获得任何好处。

重复数据删除系统和加密：需要注意什么？

去重系统通过发现和消除的模式工作；加密系统在消除模式下工作。在将需要备份的数据发送到重复数据消除系统之前，不要对其进行加密，否则重复数据消除率将为1:1。压缩有点像加密，

同样是搜索排除模式，只是采用的方法不同。大多数压缩系统的这种方法会导致数据的不规则性，产生和加密一样的效果；它还会使您的重复数据消除系统完全无法处理这些数据。

压缩挑战通常会导致希望加快备份速度的数据库管理员和希望消除重复数据的备份管理员之间出现僵局。因为数据库往往会产生大量的数据，但实际量很少，所以非常需要压缩。

这就是为什么备份压缩在打开时通常比不压缩快2到4倍。避免这一特殊挑战的唯一方法是使用备份软件产品，该产品集成了数据源重复数据消除和客户端压缩功能。

For example, CommVault's IBM Simpana's Toyota Customer Service Marketing system or the network backup of famous American software companies.

多路复用和重复数据删除系统

备份系统重复数据消除的下一个挑战是，它只能应用于使用虚拟磁带库(VTL)和支持重复使用的备份软件的公司。将多个不同的备份复制到同一个磁带驱动器将会破坏这些数据，并完全破坏所有的重复数据消除。

即使有可以从复用镜像中破译不同备份流的产品(比如飞康、Sepaton)，我想告诉你的是不要对他们的设备进行复用备份，因为这只是浪费时间。

考虑消除沉重的开支。

备份重复数据消除的最后一个挑战是使用备份窗口，这可能会使一些重复数据消除系统在执行重复数据消除任务时减慢备份速度。很多人没有注意到这个现象，

这是因为用户将数据从磁带传输到磁盘，而重复数据删除系统仍在高速运行。但是，使用过磁盘分段的用户可能会注意到备份性能的下降和备份数据时间的增加。并不是所有的产品都有这个特殊功能。

而且表现的程度不一样，你只需要在你的环境里做一个测试就可以详细了解情况了。

恢复的挑战更容易理解，大多数重复数据消除系统存储数据的方式导致最近的备份以零碎的方式记录。如果备份系统未进行重复数据消除，恢复已消除重复数据的备份可能需要更长时间。

这种现象被称之为“去重开销”。

当考虑去重开销时，想想你是否计划使用重复数据删除系统作为磁带复制的来源，因为去重开销在大型恢复和磁带复制中非常普遍。例如，假设你计划使用具有140MBps速度和1.5TB存储容量的LTO-5驱动器，

再假设你已经检测了你所有的备份磁带并且发现你有2.25TB的数据需要存到1.5TB的磁带上，这意味着你需要获得1.5:1的压缩比率。

这也意味着在复制的过程中你的140MBps的磁带驱动器实际上应该以大约210MBps的速度运行。确保在运行期间，重复数据删除系统能够提供运行的需求(如例子中的210MBps),如果不能够，

你可能需要考使用另外一个系统。

重复数据删除恢复的最后一个挑战是他们仍然在恢复，这就是为什么重复数据删除系统不是一个“万灵药”。一个必须进行恢复的大型系统，要求能够实现数据从重复数据删除系统到产品系统的大容量复制。

只有将你的备份系统进行总体架构上的改变，如从传统备份系统变成具有连续数据保护(CDP)或者准CDP的系统才能解决这个特殊的挑战，这样能够使恢复时间保持在几秒而不是几小时。

重复数据删除系统能够在不进行大规模架构调整的情况下，给你带来大幅提升当前备份和恢复系统能力的希望。只是在你签署采购订单之前，请确保能够意识到重复数据删除的这些挑战。