什么是Ceph

Ceph是一个可扩展的，高性能的分布式存储系统。提供了三种不同类型的接口以适应不同的应用场景：

• block-based: 块存储，可以用做VM的虚拟磁盘
• object-based: 对象存储，与Amazon S3等常用对象存储兼容
• file system: POSIX兼容的分布式文件系统，可以被本地系统挂载，并且能被多个客户端共享

Ceph的特性

由于采用了CRUSH算法，Ceph有着优异的可扩展性（宣称可以无限扩展）。并且借助可扩展性，进而实现高性能、高可靠性和高可用性。

Ceph是一个去中心化的存储系统，无需中心节点进行资源的管理与调度，全部的管理功能由存储节点自治完成。使得整个系统可以自我管理与自我恢复，减少运维成本与管理成本。

RADOS - Ceph的存储引擎

RADOS=Reliable Autonomic Distributed Object Store。RADOS是Ceph底层的存储引擎，所有的接口都建立在RADOS的功能之上。

RADOS中的存储结构

• 存储池（pool）：逻辑层，每一个pool里都包含一些放置组
• 放置组（placement-group, PG)：逻辑层，一份数据会在PG当中进行灾备复制。每一个PG都对应着一系列的存储节点
• 存储节点 …

写在前面

phxrpc是微信团队开源的一个轻量级RPC框架。

我对RPC这些东西了解不多，看到phxrpc的代码相对简单，而且还在初步开发阶段（在本文写作时，版本号是0.8）。所以想读一读，提高一下姿势水平。

就是这样。

自定义stream buffer

network/socket_stream_base.[h|cpp]中的class BaseTcpStreamBuf继承了std::streambuf，自定义了一个流缓冲区，用于接收/发送TCP数据包。

这个用法比较新颖（或者是我见识少），网上的资料也不多。这里翻译一篇介绍文章，学习一下新姿势。

A beginner's guide to writing a custom stream buffer

流(streams)是STL中提供的一个重要的抽象概念。著名的“Hello world”程序，便是使用了std …

Background

Linkedin (or other social networks, such as Facebook and G+) use the "social graph information" to show the social relationship between you and other members.

Such as, "You and Mr.Obama share 10 mutual friends" or "You have 1,000 second-degree connections".

This feature is very common for a …

ØMQ是一个消息系统

ZeroMQ是一个消息系统，也被称为“消息中间件”。它被广泛的用于经济、游戏、嵌入式等领域。

什么是消息系统

打个比方，消息系统就像我们使用的IM软件一样。首先，一方决定将消息发往何处（一对一或一对多）。然后将信息打包，点击发送按钮。之后，IM系统会帮你料理剩余的事务。

但是，它们也有很大的不同点。IM系统对于消息系统似乎太低效了一点。另外，消息系统是没有用户界面（GUI）的。在错误发生时，消息的另一端也不会有人来智能的介入处理。

所以，我们可以这样下定义。消息系统是具有高效性和容错性的消息传递解决方案。

ZeroMQ的起源和发展

ZeroMQ最先的设想是实现一个炒鸡快的用于证券交易的消息系统，所以在设计初期的关注点就是在极致的优化上。

第一年的工作重点，在于发明性能测试的方法，和设计高效架构。

之后，大约在第二年，工作重点转移到实现一个通用的消息系统，以应用于分布式系统，使其可以利用不同的编程语言，使用不同方式，来传递各种模式的信息。

启示1：独立应用 vs. 程序库 …

写在前面

问题是非常流行的，也确实流行了一阵的system-design问题。在知乎上再次被人提起。然后我非常欣赏陈硕的回答。所以要写一篇文章，记下自己的感想。

问题

海量数据算法:如何从超过10G的记录IP地址的日志中，较快的找出登录次数最多的一个IP？

银弹？

面对这种system-design问题，尤其是这种，非高并发、非实时的问题，很多人会采用_map-reduce_ —— 解决system-design问题的银弹。

我对map-reduce的理解非常肤浅，但是可以解释一下大概的流程。

1. 将日志进行分片。把hash(ip)相同的ip地址分到同一个片中。（注：这里的hash并不是签名函数，只是一个分片标示）
2. 分片后的日志的大小会小很多，可以方便的进行排序，记数。
3. 然后再从各个片中，统计出最热门的IP地址。（或TopK的IP地址）

如果不满意我的答案的话，推荐Mining of Massive Datasets一书，其中对map-reduce算法做一番不错的介绍。

正确的分析姿势

业务实体

业务实体拥有四种主要的组件： 信息模型、生命周期模型 …