炼数成金 大数据存储
订阅

存储

新手必学的Ceph理论知识
新手必学的Ceph理论知识
Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一。Crush算法是ceph的两大创新之 ...
我的Ceph存储历险记2:为菜鸟准备的架构说明
我的Ceph存储历险记2:为菜鸟准备的架构说明
在前面本系列的第一部分中,我为大家介绍了Ceph这一开源横向扩展对象存储。在这第二部分,我将要为大家解说Ceph的架构。我花了好一阵子才完全理解Ceph是如何构建的、它都包含哪些组件、这些组件都有哪些功能。同样地 ...
Ceph存储历险记--第一部分:介绍
Ceph存储历险记--第一部分:介绍
Ceph,就像前面提到的那样,是一个开源软件解决方案。它要求一些linux技能,并且如果你需要商业支持,你唯一的选择就是联系Ceph背后的InkTank公司,或者集成商,或者收购InkTank的RedHat公司。如果自己觉得自己搞定C ...
Ceph不同存储策略的性能对比分析
Ceph不同存储策略的性能对比分析
在Sage A. Weil的论文RADOS:A Scalable. Reliable Storage Service for Petabyte-scale Storage Clusters中,第三节智能存储设备描述了副本策略的三种实现模式:Primary-copy,Chain,Splay。无论具体是那种实现方 ...
浅析硬盘数据恢复原理:断电真的没救了么?
浅析硬盘数据恢复原理:断电真的没救了么?
最近,笔者身边的一些朋友突然关心起“硬盘数据恢复”这个话题来:特别是好多人都在讨论,硬盘因为频繁“掉电”而造成数据损坏或者丢失的时候,真的就完全不能恢复了么?当然不是!要明白这一点,首先就得搞清楚,硬 ...
为什么现在的监控系统容易硬盘坏?
为什么现在的监控系统容易硬盘坏?
电脑不能强制关机,否则会损坏硬盘——相信这是很多人关于电脑使用的最初认知。在如下所示的例子中就有多次强制断电,从而导致存储硬盘严重损坏、难以恢复的情况发生。那么,强制断电为何会导致硬盘数据丢失?一般来 ...
硬盘数据恢复的十大神器
硬盘数据恢复的十大神器
因为众所周知的原因:硬盘总是坏!但是嘛,其实硬盘数据恢复也是那么难,一起来看看!在一切工作进行之前,请先判断硬盘是否有损坏,以及缺损类型,而往往硬盘出现问题主要集中下以下两个方面:物理(驱动器故障或者 ...
4节点近160万IOPS:SDS/超融合测试不能只看数字
4节点近160万IOPS:SDS/超融合测试不能只看数字
简单来说,早期磁盘阵列IOPS受限于HDD机械硬盘的平均访问时间,到了SSD时代介质的瓶颈相对容易解决。我给出的参考值不能充分代表所有厂商,也并不是每家厂商都积极参与SPC-1这样的军备竞赛,因为性能不是存储的全部 ...
一文读懂Apache Kudu
一文读懂Apache Kudu
Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工 ...
分布式数据库的存储设计改进
分布式数据库的存储设计改进
为什么 hdfs 的 namenode 没有存储块的对应节点信息,导致启动 hdfs 的时候,datanode 需要扫描所有的数据块,再将该 datanode 上的块信息发送给 namenode,namenode 才能构建完整的元数据信息。根据文件和数据块的 ...
聊聊磁盘I/O那些事
聊聊磁盘I/O那些事
计算机硬件性能在过去十年间的发展普遍遵循摩尔定律,通用计算机的 CPU 主频早已超过 3GHz,内存也进入了普及 DDR4 的时代。然而传统硬盘虽然在存储容量上增长迅速,但是在读写性能上并无明显提升,同时 SSD 硬盘价 ...
IndexR:最快的开源大数据存储格式
IndexR:最快的开源大数据存储格式
IndexR项目包括存储格式,实时入库模块,管理工具和对接其他系统如Hive,Drill等的插件。其中IndexR的存储格式是目前查询速度最快的On Hadoop格式,扫描速度是Parquet的2~4倍,在添加索引之后查询速度普遍提升十几倍 ...
2016年SSD全球销量排行榜:第一竟是它
2016年SSD全球销量排行榜:第一竟是它
虽然从去年年中开始,闪存颗粒制程问题的拖累,让原本发展迅猛的固态硬盘行业停下了脚步,但是在整体业绩上,固态硬盘行业在去年依旧实现了跨越式发展,特别是随着各大传统机械硬盘厂商的或关停或衰败,固态硬盘行业 ...
DeepMind用区块链系统挑战深度学习黑箱,数据可验证透明处理
DeepMind用区块链系统挑战深度学习黑箱,数据可验证透明处理
2016年7月,立志要在智能医疗上发力的 DeepMind 首次将机器学习用于纯粹医疗研究。——NHS 的 Moorfields眼科医院将向 DeepMind 提供100万份匿名的眼球扫描资料,后者被用来对机器学习算法进行训练,以便更好地发现 ...
IBM创造出世界上最小磁存储介质,只有一个原子大
IBM创造出世界上最小磁存储介质,只有一个原子大
在IBM圣何塞研究院工作的一个国、研究团队近日宣布,他们成功地创造了目前世界上尺寸最小的磁体-这个磁体仅由单个原子组成。在他们发表在《自然》杂志上的论文中,研究团队这样形容他们的成就:这是利用经典手段所能 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

      GMT+8, 2017-12-17 00:42 , Processed in 0.120350 second(s), 16 queries .