重复的数据如何删除(将重复的数据删除只留下不重复的行哪个最快)

近年来，重复数据删除已成为存储行业最热门的技术。大多数中小型数据中心都没有配备足够的IT人员，更不用说备份专家了。IT经理很难想出如何将重复数据删除技术集成到他们自己的数据中心。

如果您需要考虑部署重复数据删除技术，IT经理必须回答以下七个问题。

1.重复数据删除是现在的主流技术吗？

是的，去重设备现在已经从实验室走向产品，逐渐成为主流。分析师告诉我们，至少有30%的IT部门在一些数据上使用了重复数据删除技术，制造商也推出了替代产品，这些产品专门针对简化和非破坏性部署进行了优化。

然而，这并不意味着每个解决方案都是一样的。大多数重复数据删除供应商都经历了一个学习过程，积累了大量经验、参考文档和技术支持。

2.重复数据删除技术能做什么？

一般来说，重复数据消除是一种在子文件级别查找冗余数据的方法。它用指针替换重复数据。该技术可以有效降低数据传输对磁盘存储空间和网络带宽的需求。实现重复数据消除的方法不止一种。

块级重复数据删除是最常用的方法，但有些产品在字节级发现文件集之间的差异，不同技术实现方法的性能、所需工作空间、支持不同软件的难度、设置复制的难度也不同。

采用哪种技术不重要，关键是看结果，只要能完美解决你现在面临的问题。

3.重复数据删除技术最擅长解决什么样的问题？

你首先要想到的是备份，因为备份会产生大量的重复数据。大多数常见的办公数据，如电子邮件、数据库和平面文件备份，通过使用重复数据删除技术可以节省大量备份空间。

Quantum最近进行了一项关于重复数据删除技术对Dxi系列设备用户的影响的调查。与传统存储系统相比，用户普遍反映备份速度提高了125%，备份失败次数减少了87%。

复苏方面，发生了翻天覆地的变化。在过去，需要几个小时或几天才能恢复。使用重复数据删除技术后，只需几分钟即可获得。另外成本也下降了，下降的幅度非常大。所有可移动介质的成本几乎降低了一半。

从异地磁带存储中检索的成本也降低了97%，管理备份所需的时间减少了63%。使用远程复制技术进行灾难恢复保护的用户表示，可以添加更多恢复点并实现自动化，并且可以消除分支机构中的磁带驱动器。

4.这与我正在使用的备份软件有关系吗？

大多数重复数据消除供应商已经测试了不同备份软件的兼容性，一些供应商甚至为多个备份软件优化了数据存储。在评估重复数据删除厂商时，可以询问对方是否有专门优化的备份软件，如果有，是哪些备份软件，

是否列出了您当前使用的备份软件？

请记住，我们必须检查对特定备份软件接口的支持。例如，Semantek专门开发了一个OpenStorage接口来连接备份设备，这提供了一个额外的业务优势层，它提供了更好的性能和更好的复制管理。另外，

您还应该询问重复数据消除设备制造商和备份软件制造商之间的战略关系，您需要了解他们的合作关系以及他们对互操作性和集成的未来计划。

5.实现重复数据消除的最简单方法是什么？

大多数IT部门面临的选择是直接上重复数据删除设备，还是在现有备份软件中插入重复数据删除功能，究竟哪一种办法是最容易部署的没有一个统一的答案，但根据以往的经验，我们可以提供一些最基本的指导，

目前最常见的是直接上重复数据删除专用设备，所有备份数据都要先发送到该设备，在保存到最终备份目标设备上时执行重复数据删除，这种方法对现有备份方法不会执行大的变动，

因为重复数据删除操作是在专用设备上执行的，它不会增加备份客户端或媒体服务器的负荷，部署就象复制一样简单，作为最常用的方法，它也是最成熟的，这意味着它的部署速度将是最快的，需要的技术支持服务也会很少。

使用软件方法时，备份软件需要插入重复数据删除任务，要么在备份客户端上执行，要么在媒体服务器上执行，在发送到目标备份设备之前删除重复数据，在网络上传输的数据就会少一些，其思想和传输前执行压缩是一样的，

但重复数据删除过程往往会包含数据压缩，由于重复数据删除是一个开销相对较高的操作，备份操作可能会随之变慢，因此通常需要增加新的服务器或专用存储，这会增加成本和集成的复杂度。

根据所处的特殊环境不同，每个方法都有其优缺点，为了找到一个最适合自己环境的方法，首先应该从系统现在的瓶颈出发进行衡量，如你现在的媒体服务器利用率如何，以及你需要一个什么样水平的集成环境等等。

6、我应该彻底淘汰磁带存储吗？

虽然大多数使用了重复数据删除技术的用户都减少了可移动媒体的使用，但只有很少一部分用户完全消除它们，这是有原因的，通常，用户对备份有三个层次的需要：每日备份和恢复，近期灾难恢复保护和长期数据保留，

研究适用于每一层的技术，并和那些专注于技术的公司交流将会受益匪浅。

每日备份和恢复：许多用户发现磁盘读写配置文件给他们的日常备份和恢复带来了许多好处，而重复数据删除技术则让数据能在磁盘上存储更长时间，越来越多的恢复方法也利用了这个配置。

近期灾难恢复：重复数据删除让用户使用远程复制技术取代了可移动媒体，他们可以创建更多的恢复点，降低成本，将以前大部分手工操作全部实现自动化。

长时间保留：可移动媒体继续提供强大的经济和安全价值，磁带消耗的电力，需要的制冷量和占用的空间更少，因此它成为长时间保留数据的不二之选，磁带新技术，如加密和介质完整性分析，使得它更加安全和可靠。

7、我可以从哪里得到客观的建议？

针对你的特殊环境，哪种方法最适合你？你可以从多种渠道获得客观的建议，有些独立分析师愿意直接与最终用户交流，他们能根据以往的经验提供非常有用和客观的信息，但如果你未成为大名鼎鼎的分析师的客户，

还有其它办法。

一个最好的办法就是找经验丰富的经销商合作，好的经销商都有完整的参考资料可以帮助IT部门部署，他们能弄清楚你的环境最适合用哪种解决方案，并且他们会很乐意帮助你实施成功，当然，你也可以直接找厂商谈，

如果他们能提供更多的技术，他们的观点和看法肯定比那些只能提供单一产品和技术的厂商更有意义，如果你已经有相中的备份软件厂商，不妨先看看他们有没有拿得出手的重复数据删除解决方案。