个人数据管理方案 – 同步、备份与管理

最近抽时间重新整理了一下自己硬盘上的各种文件、存档和备份。也趁此机会重新梳理了一下自己对个人数据管理的一些想法和实践。在这儿简单记录一下。

需求描述：个人长期积累的一些文档、照片、媒体等文件的管理（这篇blog主要讨论二进制文件的管理。类似笔记等个人文本数据不在讨论范围）。希望对这些二进制文件的管理能平衡和兼顾以下的各个因素：

• 价格：希望能最大程度利用现有的笔记本、台式机以及分散的硬盘。如无必要，不希望购买新的硬件或云服务增加成本；
• 隐私：有限度地信任网络（云）存储方案，保护个人隐私；
• 数据安全：重要文档有至少一个备份，且备份的增删查改便于调整和管理；
• 数据可用性：灵活利用现有的数据同步、移动硬盘离线存储、Samba、Cloud等机制，便于Windows/MacOS/Linux/iOS/Android等操作系统对数据的访问；
• 便利性与时间、学习成本：乐于付出学习成本，但希望尽可能照顾日常使用的便利性；

在说日常使用中的具体问题前，再简单描述下使用环境和背景：

1. 出于对国内网盘产品的天生不信任，不打算把任何个人数据通过国内的网盘进行存储和管理；国外的网盘产品有限度地信任；
2. 没有NAS设备，各机器也都没做RAID。前者是出于价格考量（见上）。而后者更多的是因为遗留环境所致——硬盘购买时间不一，容量不一，新购硬盘时旧硬盘已塞满数据等。另外也包含其他一些考虑，如软RAID人为地增加了管理成本等；
3. 现有的备份基本是通过手工的复制、粘贴，以及定期的跨盘同步（rsync）与克隆（外置USB硬盘Dock自带功能）来完成；

正是因为这样的使用方式，在解决了一部分问题的同时，也存在一些问题没有解决：

• 备份不及时（无自动化）：例如相片从相机导入电脑时，不会自动进行备份。即便刻意地通过一些方式进行缓解，将相机SD卡中的文件作为备份保留一段时间，仍然存在窗口期有丢失数据的风险。在此期间也存在跨设备的文件访问问题；
• 乏力的存档双向同步：这个大约是最头疼的问题了。因为数据的跨设备存储（移动硬盘/Samba/本地硬盘）和跨平台访问，需要保持同步的一致性。rsync的双向同步没有去尝试，另外Windows平台也不容易支持rsync；
• 缺少数据的集中视图：由于数据散落在各硬盘，缺少集中的逻辑视图和目录式管理，所以多块硬盘都有文档、照片或电影文件夹。导致：1、只能靠记忆或搜索的方式查找存档文件；2、或是手工定期不定期地进行转移和合并，而在此中途又可能会有数据的同步确认，白白地增加了时间成本；
• 冗余的数据（次要问题）：一个相对的次要的问题。主要发生在给别人的照片分享，或是因为照片处理等场景下，手工复制了部分照片的子集用于好友分享或后续处理。而这些重复数据在已有跨设备文件备份的前提下，白白占用了磁盘空间；

解决现有问题的一些想法和原则：

• 不是所有数据都是平等的：包括访问的频度、是否需要跨平台访问、是否愿意牺牲一定的隐私性换取便利性等等。所以值得区分不同数据选择相对应的解决方案；
• 数据管理天然的异构特性：作为长期的个人数据管理，无论是数据来源，还是管理和使用方式都在不断地变化。所以更重要的是建立一种机制，能够包容后续对数据的不断调整，甚至管理方式的调整，而不是一次性试图解决所有问题；
• 关于工具箱：通过工具箱的组合来解决问题，重要部分在于了解工具本身的优缺点，以及工具与问题的适配程度。同时需要兼顾诸如：公有服务和私有方案，收益和付出成本等方面的平衡；

解决问题的工具箱组合：

• Dropbox

Dropbox对我而言仍然足够好用。由于存在云端存储且有丰富的跨平台客户端，所以用于存放有较强同步需求或跨平台需求的个人数据。符合这一定义的文档数量并不多，Dropbox提供的免费容量已经完全够用。必要时可将数据向下一级存档方式进行转移。另外，Dropbox存放的数据不涉及个人隐私，如有个别需要可加密后再通过Dropbox同步；

• Bittorrent Sync

作为Dropbox的替代同步方案，它的优点主要包括：无容量限制，家庭局域网中同步速度快，文件分享便捷，同步源数量不受限制可跨机器同步多个内容仓库；不足主要在于缺少云端存储部分，当然这一部分如有需要可购买第三方付费服务或者自行搭建。

此外，尽管存在私钥的加密，但secret SHA值、数据传输量、IP地址等数据仍然会被收集。对于个人隐私数据的局域网同步，需要禁用relay server、tracker server与DHT。这么做的代价是损失了通过Internet同步的能力，但对于局域网同步的需求足矣。此外，可根据数据隐私与重要性的不同在多个同步源中分别独立设置是否允许通过Internet同步。另：Bittorrent Sync暂不支持自己架设tracker server与relay server；

• Git Annex

Git Annex本身，这里就不详细介绍了。官网有详细的说明。它的本质，是通过git的方式管理大文件的元数据（SHA256与符号链接），而文件内容本身并不真正存入仓库。

所以Git Annex不是一个备份或同步工具，我更愿意理解它为数据元数据的管理工具。由于和git命令可以完全操作git annex仓库，可以分方便的在多个硬盘间建立统一的文件视图。如photo文件夹下有2013和2014两个子文件夹，在两块硬盘上都可以看到这两个子文件夹，以及文件夹下的全部文件名信息。但2013子文件夹下的全部照片实际存在于硬盘1，而2014子文件夹下的全部照片实际存在于硬盘2。

数据的实际位置是可查询可管理的。例如”git annex move 2013/ –to disk2″命令，可将2013/全部转移至硬盘2并释放硬盘1的存储空间；或”git annex whereis 2013/”查询文件的实际位置；数据拷贝的数量也是可管理的，例如”git annex get –auto –numcopies=2″自动下载备份维持两拷贝。

Git Annex的不足可能在于一定的学习成本和Linux/Git知识。虽然有图形化工具可用，但由于概念本身就比同步方案复杂，仍然存在一定的使用门槛。

另外的问题和不足之处在于：Windows下Git Annex仅支持Direct mode，丧失了绝大部分git命令操作的能力；另外，实际使用中发现Linux挂载NTFS分区创建的符号链接为Interix格式，在Windows下重新挂载时无法识别。Win 7下尝试开启SUA（Subsystem for UNIX-based Applications）仍然不起作用，暂时没研究出来。Mac + NTFS的组合可通过加载ntfs-3g fuse driver的方式进行解决。最好用的组合，个人觉得还是Linux下进行Git Annex管理，数据通过samba访问。

总结：

综上，Dropbox/Bittorrent Sync/Git Annex，分三级解决了我的个人数据管理问题。

其中，Dropbox最简单，用于管理最少和相对最常用的数据量；Bittorrent Sync用于解决剩余的“同步”类型的需求，它够快且容量不受限制。通过BTSync，解决了“现有问题”中的备份不及时以及双向同步的问题。所有被管理的个人数据在局域网都是双向同步且有备份的。而Git Annex解决了剩余的“统一文件视图”与“消除冗余数据”的问题。它灵活但相对复杂，用于管理最不经常访问的存档数据。当然，这也是数据量最大的一部分个人数据。

实际使用中，个人数据可在三种类型的管理方式之间迁移，以满足个人数据管理在备份、存档、传输、共享等不同方面的需求。

关于个人数据管理的一些想法

数字时代，个人数据不仅作为工作上的产出，更成为一种生活的记录。随着数据量的增加，怎样进行有效的管理其实真的是一个值得讨论一番的问题。以下是我的一些想法：

方法论

• 区分个人生成数据和个人收集数据

前者主要是指自己编写的文档、记录的笔记、各种个人创作的文件等。这类个人生成数据的特点是较为珍贵，一旦丢失很难找回；而另一类个人收集数据，主要是指经过个人分类、整理、阅读的文档和数据。这类数据的特点是经过二次处理。原始数据往往能在最初的位置或互联网上获得。附加值在于经过个人阅读、整理所做的分类和标记等。

区分个人生成数据和个人收集数据的主要目的在于两者的重要性不同，需要区别对待。此外，除去两者共同的备份需求之外，前者更加侧重于数据的可管理性、可维护性，而后者往往侧重于分类和检索的便利。由于这个区别，个人生成数据应尽量从个人收集数据中剥离开，单独管理。例如：所做笔记和收集的资料相互分开，采用引用、链接等形式剥离出笔记、评论而避免在原始资料中嵌入个人笔记等等。

• 成本收益取舍

无论如何，对自己的数据做管理总会需要额外的时间和精力。除去实际管理和维护的时间成本，了解并选用适合的工具，探寻新的数据管理形式，全都需要额外时间和精力的投入。这里就涉及到成本收益的比较问题。假如为了追求细致的分类，便捷的控制而销毁了过多的时间和精力，也就本末倒置了。从这一角度想，秘书的存在其实也是个人数据管理的手段之一。

• 迭代式的数据管理

管理个人数据需要考虑成本和收益，自然也就引出了迭代式管理的想法。先用现有、可行的手段维护好自己的数据，在这个过程中逐渐地细化分类、重新组织、优化内容等。当一种新的工具和管理方法出现，采用后如果在现有数据规模的基础上，可以获取大于成本的收益时，则考虑升级开始下一轮的迭代。

经验记录

• 文档和笔记

利用svn（subversion）做版本控制。这样做的好处在于：不限制文件类型（文本文件、office文档或各种数据文件都可以管理），服务器的数据备份，多台电脑（如公司和家）之间的数据同步。相对于流行的git、hg等分布式管理工具，个人觉得svn更适于管理个人文档和数据。主要是因为svn完全按照文件夹方式操作，这样在一个新的工作环境中使用时，可以根据需要只同步全部个人数据中一个子分类，而非全部。

• 书签

使用Chrome浏览器的书签同步功能。最早的时候，我也是一直用svn来管理全部书签的。那个时候MyIE（后来的Maxthon）还没有出来，用的是一个iWander的多窗口浏览器。svn管理书签不仅可以同步URL信息，还记录了访问次数，最爱书签之类的信息。之后，导出了一部分书签存放在del.icio.us。这两种方法在使用Chrome的Bookmark Sync后完全弃用。

• 简单笔记（随手记录）

采用Evernote进行管理。 Evernote是基于云存储的笔记工具，提供了跨平台的客户端（Chrome插件，Windows客户端，iOS客户端，Android客户端等）。免费账户提供每月60MB的上传量。非常便于随时随地做些记录。但由于这类工具的导出格式往往很难再次利用，所以只在Evernote上存放相对次要的内容。

• 个人收集类数据

这类数据往往量大，但时效性有限 ，经过一段时间后就很少访问。一种方法是在个人的服务器上统一存档，定期备份；对特定文档，也可以考虑采用云存储工具进行备份。目前Box.net免费提供50GB容量，但缺点是不提供同步工具。因其定位于企业市场，且更侧重基于数据的分享和协作，而非同步；Dropbox非常便于各种设备间的数据同步，通过邀请最高可达18GB容量，但国内访问受限；Windows Live Mesh有5GB的免费容量，但不支持iOS和Android客户端，且Windows系统要求为Win7。用Amazon的S3做数据备份，比较适合一经上传访问较少的场合。数据安全可靠，但价格仍然偏高。

• 阅读的文章

以前采用Google Reader（见关于GReader中Feed管理的介绍）进行阅读文章的标记和管理。这部分管理在Google Reader最近改版砍掉全部原有share机制后，暂未找到替代方案。

• 个人数字资产

采用类似Death Switch（介绍）的服务进行管理。 主要是考虑发生意外情况下，各类帐号、密码等数字资产的继承和转移。

• 博客

相对于以上各种被动式手段来说，博客是一种主动式内容管理工具。它的数据管理出发点不是“保存”，而是“发布”和“传播”。当然，博客本身就是一个很好的内容管理工具，但适用的内容需要相对完整和成型。