首页> 云计算&大数据> 阿里云OSS数据本地备份方案分享

[文章]阿里云OSS数据本地备份方案分享

收藏
0 300 1

前言

阿里云对象存储服务(Object Storage Service,简称OSS)是阿里云产品生态中不可或缺的一员,不仅为阿里云众多其他产品提供文件存储,如ECSRDS的快照、镜像服务,同时也有大量的用户、企业将数据存放到OSS,甚至利用OSS速度快、使用方便、自带文件处理能力等特点,进行二次开发,衍生出一系列优秀的应用,如够快网盘、亲宝宝APP、得图云APP等等。

OSS服务可用性高达99.95%,既然不是100%,就说明存在服务不可用的情况,现实也的确发生过由于阿里云某个可用区发生故障,导致该可用区OSS服务不可用的情况。

为了降低这0.05%故障率对自身业务的影响,我们可以通过OSS自带的跨地域复制功能,将文件数据备份到其他地域,同时也可以将OSS文件进行本地备份,实现文件一式三备份,在不同异常情况发生时,可以及时切换使用备份数据,保障业务正常运作。


 备份工具及使用

OSS本地备份,我们使用的是阿里云提供的OSS命令行管理工具——ossutil

ossutil是阿里云开发的专门用于管理OSS的命令行工具,通过命令即可实现大部分OSS的管理功能,例如创建bucket、上传下载文件、图像处理等。

OSS本地备份就是利用了ossutil工具可以增量下载的功能:增量下载命令会先根据文件名、文件最后修改日期判断OSS内哪些文件是本地已经存在的,之后自动跳过已存在的文件,下载本地没有的文件,实现增量下载。

ossutil工具的优势:

1、操作便捷,下载ossutil OSS管理工具,配置相关参数后即可使用

2、兼容性高,配置要求低,支持Windows/Linux/Mac各版本的32/64位系统

3、命令行管理,方便打包成脚本配合系统计划任务实现每天定时执行增量下载操作

4、下载文件时自动进行crc64校验,保证数据完整性


 

后续处理

由于ossutil工具是命令行工具,我们可以很方便的将其嵌入我们的代码中,或撰写BAT脚本,并配合系统自动任务功能,实现定时执行增量下载任务。


 

也可以将增量下载的反馈结果记录到文档中,再配合邮件发送工具,实现自动将每天增量下载情况发送到邮箱中,我们需要处理的就是每天打开邮件,检查是否存在错误异常。

我使用的是BLAT邮件工具,同样是命令行工具,放行25端口即可通过命令发送邮件。


 

总结

通过上述部署,我们就实现了OSS文件本地备份并发送日志邮件的全自动化操作。

在操作中,我们灵活运用了BAT脚本、windows计划任务、OSSossutil,邮件工具等平时积累的知识,完成了原本需要一定开发经验才能开发实现的自动化功能,且由于这些工具、功能本身经过测试优化,因此整套流程具有很高的稳定性。

有兴趣的同学也可以试试玩玩这些工具,或者也可以思考一下,利用自身所学,整合实现一些有趣的功能。

云计算&大数据
最近热帖
{{item.Title}} {{item.ViewCount}}
近期热议
{{item.Title}} {{item.PostCount}}