`
duming115
  • 浏览: 113065 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

不同的数据中心之间的数据同步方案 设想

阅读更多
1. 数据的分布式存储与计算应该是基于一个数据中心内的,即使用户参与的计算也应该是基于区域内的,例如南北两个数据中心。
2. 数据应该与数据的管理信息(Meta)内容应该是分开存放的,因为meta(数据的唯一标识,路径或者key,大小,更新时间,增量更新的长度与内容)数据的量非常小,对meta信息的南北同步可以在非常短时间内来完成,通过对meta的定期扫描可以对数据做增量的更新,然后对meta对应的数据南北的同步,只要指定的数据同步完成后,再更新meta的信息。meta数据的最终一致可以在比较短的时间内完成.
3. 数据的管理应该由两部分结成,一部分是数据的存储(例如hadoop的hdfs),其次是使用数据库格式(例如HBase)来管理meta数据信息.
4. 只有不断的在不同服务区域内来回切换的用户才会涉及到迫切的南北数据同步问题,针对这样的用户在有数据同步请求时,可以对该用户的数据来进行高优先级的同步,同步可以由南北数据中心之间的直接同步,也可以由N多的用户中转站来实现,这些注册的用户在充分利用带宽的之余也获得了直接的收益.
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics