实时备份数据的方法及其系统和备份设备与流程
本发明涉及备份数据技术领域,尤其涉及一种实时备份数据的方法及其系统和备份设备。
背景技术:
如图1所示,现有主流备份技术是由备份服务器1通过业务服务器2、光纤连接设备3读取存储设备
本发明涉及备份数据技术领域,尤其涉及一种实时备份数据的方法及其系统和备份设备。 背景技术: 如图1所示,现有主流备份技术是由备份服务器1通过业务服务器2、光纤连接设备3读取存储设备4中的业务数据,并将读取的数据保存到备份服务器1中,以实现对数据的安全保护。 但是,这种数据备份方法中,备份服务器1的数据读取方式与业务服务器2的操作系统及业务系统使用的软件平台有关,例如,若备份服务器1要备份oracle数据库,就需要通过oracle数据库的备份接口来读取数据,若备份服务器1要备份ms-sql数据库,就需要通过ms-sql数据库的备份接口来读取业数据,若备份服务器1要备份exchange邮件系统,就需要通过exchange软件的备份接口来读取数据。当备份服务器1收到备份数据时,会将其保存到备份介质中,并为其创建检索信息用于备份数据的管理。 因此,上述数据备份方法存在以下缺陷: 1.由于数据备份对业务性能的影响比较明显,并且数据备份需要花费较长时间,因此备份数据一般需要安排在业务空闲时段进行,备份策略一般是每天备份一次; 2.由于备份间隔时间较长,因此在出现系统灾难时,业务数据丢失量较大; 3.数据备份方法复杂,针对不同的操作系统、软件平台均需要使用不同的备份方法; 4.对使用者的要求高,不仅要求使用者熟悉备份系统,还要求熟悉操作系统及各种软件平台的管理; 5.对于不断出现的新软件平台,需要不断更新备份系统与之匹配。 技术实现要素: 为此,本发明所要解决的技术问题是:提供一种实时备份数据的方法及其系统和备份设备,使得数据的备份可以实时进行,而且对业务性能影响小,备份方法简单,易于操作。 于是,本发明提供了一种实时备份数据的方法,包括:将具有备份管理及san存储功能的备份设备与用于存储业务服务器数据的存储设备连接,使备份设备直接从所述存储设备实时提取数据并保存到备份设备,在备份设备上: 建立备份空间管理,将备份设备的硬盘配置成用于保存所述存储设备数据的存储池,当存储池空间不足时,扩展存储池,当存储池空间使用率达到阈值时,删除最早的备份数据; 建立存储设备的管理,定义需要备份的存储设备并可提取存储设备信息,同时创建扫描识别,可扫描存储设备中已经配置的数据卷并可提取数据卷信息; 建立数据备份管理,创建备份作业、创建数据备份的执行及保留策略,备份作业执行时向所述存储设备发出备份指令,在存储设备上确认变化量数据,读取该变化量数据并将其保存到备份设备的备份空间,备份设备将所述变化量数据与其之前备份的数据合并为一个新的完整的全备份数据,并登记备份信息。 其中,所述在存储设备上确认变化量数据为通过存储设备上差异数据块map表定位前一次备份到当前时间的变化量数据。 所述建立备份空间管理还包括:提取并判断备份设备的硬盘使用状态,若硬盘为新硬盘,则将新硬盘配置成存储池候选盘,若硬盘为已经是存储池成员盘,则更新存储池信息。 所述建立数据备份管理还包括:自动备份和自动备份清理,所述自动备份包括:扫描数据备份的执行及保留策略信息,判断是否达到备份周期,若是,则读取存储设备数据,将读取的数据保存到备份空间并登记备份信息;所述自动备份清理包括:扫描数据备份的执行及保留策略信息,判断备份空间是否达到阈值,若是,则删除早期的数据备份,若不是,则继续判断是否超过保留数量,若是,则删除早期的数据备份。 所述创建备份作业,包括:输入备份作业名称、用于存放备份数据的存储池名称、需要备份的数据卷,在存储池中创建与数据卷对应的备份卷,并分配给存储设备进行识别,创建备份关系并定义为一致性备份组,登记所创建的备份作业信息;所述创建备份作业、创建数据备份的执行及保留策略,包括:选择备份作业,确定备份作业执行的间隔周期以及数据备份保留的分数,登记所创建的策略信息。 本发明还提供了一种实时备份数据的实现系统,包括用于存储业务服务器数据的存储设备和具有备份管理及san存储功能的备份设备,备份设备与所述存储设备连接,并直接从所述存储设备上实时提取数据保存到备份设备上,所述备份设备包括:备份空间管理单元、存储设备管理单元和数据备份管理单元,所述备份空间管理单元包括: 配置单元,用于将存储单元配置成存储池并判断存储池空间是否充足及存储池空间使用率是否达到阈值; 扩展单元,用于当存储池空间不足时扩展存储池; 删除单元,用于当存储池空间使用率达到阈值时删除最早备份数据; 存储合并单元,用于保存所述存储设备数据的备份设备硬盘所在单元,并用于将所述数据备份管理单元的处理单元发来的所述变化量数据与其之前备份的数据合并为一个新的完整的全备份数据,并保存,同时登记备份信息; 所述存储设备管理单元包括: 存储设备信息提取单元,用于定义需要备份的存储设备并可提取存储设备信息; 数据卷提取单元,用于创建扫描识别、可扫描存储设备中已经配置的数据卷并提取数据卷信息; 所述数据备份管理单元包括: 创建单元,用于创建备份作业、创建数据备份的执行及保留策略的创建单元; 处理单元,用于当备份作业执行时向所述存储设备发出备份指令,在存储设备上确认变化量数据、读取该变化量数据并将其发送给所述备份空间管理单元保存。 其中,所述备份空间管理单元还包括更新单元、自动备份单元和自动备份清理单元,配置单元提取并判断备份设备的硬盘使用状态,若硬盘为新硬盘,则将新硬盘配置成存储池候选盘,若硬盘为已经是存储池成员盘,则通过更新单元更新存储池信息,所述自动备份单元根据备份数据的执行及保留策略信息,判断是否达到备份周期,若是,则读取存储设备数据,将读取的数据保存到备份空间并登记备份信息;所述自动备份清理单元用于根据数据备份的执行及保留策略信息来判断需要处理的备份组,判断备份空间是否达到阈值,若是,则删除早期的数据备份,若不是,则继续判断是否超过保留数量,若是,则删除早期的数据备份。 本发明还提供了一种备份设备,与用于存储业务服务器数据的存储设备连接时,可直接从所述存储设备上实时提取数据并保存到该备份设备上,该备份设备包括:备份空间管理单元、存储设备管理单元和数据备份管理单元,所述备份空间管理单元包括: 配置单元,用于将存储单元配置成存储池并判断存储池空间是否充足及存储池空间使用率是否达到阈值; 扩展单元,用于当存储池空间不足时扩展存储池; 删除单元,用于当存储池空间使用率达到阈值时删除最早备份数据; 存储合并单元,用于保存所述存储设备数据的备份设备硬盘所在单元,并用于将所述数据备份管理单元的处理单元发来的所述变化量数据与其之前备份的数据合并为一个新的完整的全备份数据,并保存,同时登记备份信息; 所述存储设备管理单元包括: 存储设备信息提取单元,用于定义需要备份的存储设备并可提取存储设备信息; 数据卷提取单元,用于创建扫描识别、可扫描存储设备中已经配置的数据卷并提取数据卷信息; 所述数据备份管理单元包括: 创建单元,用于创建备份作业、创建数据备份的执行及保留策略的创建单元; 处理单元,用于当备份作业执行时向所述存储设备发出备份指令,在存储设备上确认变化量数据、读取该变化量数据并将其发送给所述备份空间管理单元保存。 其中,所述备份空间管理单元还包括更新单元,配置单元提取并判断备份设备的硬盘使用状态,若硬盘为新硬盘,则将新硬盘配置成存储池候选盘,若硬盘为已经是存储池成员盘,则通过更新单元更新存储池信息。 所述数据备份管理单元还包括:自动备份单元和自动备份清理单元,所述自动备份单元用于根据备份数据的执行及保留策略,判断是非达到备份周期,若是,则读取存储设备数据,将读取的数据保存到备份空间并登记备份信息;所述自动备份清理单元用于根据数据备份的执行及保留策略信息来判断需要处理的备份组,判断备份空间是否达到阈值,若是,则删除早期的数据备份,若不是,则继续判断是否超过保留数量,若是,则删除早期的数据备份。 本发明所述实时备份数据的方法及其实现系统和备份设备,通过将具有备份管理及san存储功能的备份设备与存储设备连接,在存储设备上确认变化量数据,读取该变化量数据并将其保存到备份设备的备份空间,再将所述变化量数据与之前备份的数据合并为一个新的完整的全备份数据的方式,使得数据的备份可以实时进行,对业务服务器的业务系统性能影响小,备份方法简单,易于操作。 附图说明 图1为现有技术中数据备份系统结构及数据走向示意图; 图2为本发明实施例所述实时数据备份实现系统结构及数据走向示意图; 图3为本发明实施例所述实时数据备份实现系统结构框图; 图4为本发明实施例所述建立备份空间存储池管理的流程示意图; 图5为本发明实施例所述建立存储设备管理的流程示意图; 图6为本发明实施例所述建立数据备份管理的流程示意图; 图7为本实施例所述实时备份数据方法的流程示意图。 具体实施方式 下面,结合附图对本发明进行详细描述。 本实施例提供了一种实时备份数据的方法及其实现系统和备份设备。如图2和图3所示,本实施例提供了一种实时备份数据的实现系统,该实现系统包括:用于存储业务服务器数据的存储设备4和具有备份管理及san存储功能的备份设备6,备份设备6与所述存储设备4连接,备份设备6直接从存储设备4上实时提取数据并保存到备份设备6上。 备份设备6包括:备份空间管理单元61、存储设备管理单元62和数据备份管理单元63。 备份空间管理单元61,包括: 存储合并单元611,用于保存所述存储设备数据的备份设备硬盘所在单元,并用于将所述数据备份管理单元的处理单元发来的所述变化量数据与其之前备份的数据合并为一个新的完整的全备份数据,并保存,同时登记备份信息; 配置单元612,用于将存储单元配置成存储池并判断存储池空间是否充足及存储池空间使用率是否达到阈值; 扩展单元613,用于当存储池空间不足时扩展存储池; 删除单元614,用于当存储池空间使用率达到阈值时删除最早备份数据。 存储设备管理单元62,包括: 存储设备信息提取单元621,用于定义需要备份的存储设备并可提取存储设备信息; 数据卷提取单元622,用于创建扫描识别、可扫描存储设备中已经配置的数据卷并提取数据卷信息。 数据备份管理单元63,包括: 创建单元631,用于创建备份作业、创建数据备份的执行及保留策略; 处理单元632,用于当备份作业执行时向所述存储设备4发出备份指令,提取所述存储设备中的数据并保存到备份设备4。 进一步,为了及时识别扩展增加的新硬盘,备份空间管理单元61还可以包括:更新单元615,配置单元612提取并判断备份设备的硬盘使用状态,若硬盘为新硬盘,则将新硬盘配置成存储池候选盘,若硬盘为已经是存储池成员盘,则通过更新单元615更新存储池信息。 为了便于自动备份数据及自动清理早期备份数据,数据备份管理单元63还包括:自动备份单元633和自动备份清理单元634,所述自动备份单元633根据数据备份的执行及保留策略信息,判断是否达到备份周期,若是,则读取存储设备数据,将读取的数据保存到备份设备的备份空间并登记备份信息;所述自动备份清理单元634用于根据数据备份的执行及保留策略信息来判断需要处理的备份组,判断备份空间是否达到阈值,若是,则删除早期的数据备份,若不是,则继续判断是否超过保留数量,若是,则删除早期的数据备份。 与上述实时备份数据的实现系统相对应的,本实施例还提供了一种实时备份数据的方法,该方法包括: 使用自行开发的软件将一台x86服务器建成具有备份管理及san存储功能的备份设备6,并建立该备份设备6与需要进行数据备份的业务服务器存储设备4的连接;备份设备6从所述存储设备提取数据并保存到备份设备。本实施例中备份设备6使用磁盘作为备份数据的存放介质。 这里,san(storageareanetwork,存储区域网络),是一种专门为存储建立的独立于tcp/ip网络之外的专用网络。目前一般的san提供2gb/s到4gb/s的传输数率,同时san网络独立于数据网络存在,存取速度快。 如图4-6所示,在备份设备上,建立如下管理: 建立备份空间管理,将备份设备的硬盘配置成用于保存所述存储设备数据的存储池,当存储池空间不足时,扩展存储池,当存储池空间使用率达到阈值时,删除最早备份的数据; 建立存储设备的管理,定义需要备份的存储设备并可提取存储设备信息,同时创建扫描识别,可扫描存储设备中已经配置的数据卷并可提取数据卷信息; 建立数据备份管理,创建备份作业、创建数据备份的执行及保留策略,备份作业执行时向所述存储设备发出备份指令,在存储设备上确认变化量数据,读取该变化量数据并将其保存到备份设备的备份空间,备份设备将所述变化量数据与其之前备份的数据合并为一个新的完整的全备份数据,并登记备份信息。 所述建立备份空间管理、建立存储设备的管理、建立数据备份管理的方法不存在步骤的先后,只要建立相应的管理即可。 具体的,如图4所示,在建立备份空间管理时,还可以包括: 提取并判断备份设备的硬盘使用状态,若硬盘为新硬盘,则将新硬盘配置成存储池候选盘,若硬盘为已经是存储池成员盘,则更新存储池信息。 将备份设备的硬盘配置成用于保存所述存储设备数据的存储池,包括:输入存储池名称,选择新硬盘,将该新硬盘创建成存储池并登记信息。 所述扩展存储池,包括:选择存储池、选择新硬盘,将该新硬盘加入到存储池中并登记信息。 如图5所示,在建立存储设备的管理时,定义需要备份的存储设备包括:输入存储设备名称、ip地址、用户名和秘密,连接存储设备,并提取存储设备的存储信息服务器系统备份,如序列号、fc(fiberchannel,光纤通道技术)端口等,并登记。创建扫描识别包括:扫描存储卷,选择存储设备,连接存储提取数据卷信息,例如id、数据卷名称、数据卷大小等,并登记信息。 如图6所示,在建立数据备份管理时,所述创建备份作业,包括:输入备份作业名称、用于存放备份数据的存储池名称、需要备份的数据卷,在存储池中创建与数据卷对应的备份卷,并分配给存储设备进行识别,创建备份关系并定义为一致性备份组,登记所创建的备份作业信息。 所述创建备份作业的执行及保留策略,包括:选择备份作业,确定备份作业执行的间隔周期以及数据备份保留的份数,登记所创建的策略信息。 进一步,在建立数据备份管理时,还可以包括: 自动备份,根据数据备份的执行及保留策略,判断是否达到备份周期,若是,则读取存储设备数据,将读取的数据保存到备份设备的备份空间并登记备份信息; 自动备份清理,根据数据备份的执行及保留策略信息来判断需要处理的备份组,判断备份空间是否达到阈值,若是,则删除早期的数据备份,若不是,则继续判断是否超过保留数量,若是,则删除早期的数据备份。 尤其需要说明的是,本实施例中,备份数据采用实时备份的方式进行,其实现方法如图7所示,在存储设备上确认变化量数据,读取该变化量数据并将其保存到备份设备的备份空间,备份设备将所述变化量数据与其之前备份的数据合并为一个新的完整的全备份数据,并登记备份信息。其中,在存储设备上确认变化量数据,采用通过采用存储设备上差异数据块map表定位前一次备份到当前时间的变化量数据形式完成。 在本实施例中,所述备份设备为x86服务器,所述存储池的备份介质、与建立的设备空间管理、存储设备管理和数据备份管理设置在相同的设备上或者不同的设备上。例如:可以将备份管理软件与备份介质分开在不同的硬件设备上,备份介质也可以不使用x86服务器,而采用其它具备存储特性的设备类型。 使用上述实时备份数据的方法及其实现系统,本实施例还提供了一种备份设备6,用于存储业务服务器业务数据的备份数据,业务服务器业务数据存储在存储设备4中。 如图3所示,备份设备6与所述存储设备4连接,备份设备6从存储设备4上提取数据保存到备份设备6上。备份设备6包括:备份空间管理单元61、存储设备管理单元62和数据备份管理单元63。 其中,备份空间管理单元61、存储设备管理单元62和数据备份管理单元63与上述实现系统中的描述一致,在此不再重复描述。 本实施例所述的实时备份数据的方法及其实现系统和备份设备,具有如下有益效果: 1.备份设备在进行实时数据备份时,对业务服务器的业务系统性能影响轻微; 2.数据的实时备份,极大程度提高了数据备份的实时性,并减少数据丢失量; 3.本实施例的实时数据备份,直接从存储设备上备份数据,彻底简化了数据备份方法,实现了使用同一种方法及其实现备份可以进行不同操作系统、不同软件平台下的不同数据的实时备份; 4.大幅度降低了备份设备的难度,仅要求使用者熟悉本实施例提供的技术方案及备份设备即可; 5.无需跟随软件平台的更新更新备份设备。 综上所述,本发明实施例所述实时备份数据的方法及其实现系统和备份设备,通过将具有备份管理及san存储功能的备份设备与存储设备连接,在存储设备上确认变化量数据,读取该变化量数据并将其保存到备份设备的备份空间,再将所述变化量数据与之前备份的数据合并为一个新的完整的全备份数据的方式,使得数据的备份可以实时进行,对业务服务器的业务系统性能影响小,备份方法简单,易于操作。 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。 (编辑:海南站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |