Router.md

Router服务

功能简介

• 提供路由管理服务，能让客户端Proxy快速定位要访问的数据位于哪个Cache服务器上。
• 控制Cache服务进行主备切换。
• 当集群性能不足或容量不够的情况下，提供数据迁移的调度功能。

原理

路由功能

由于数据分布在多个cache服务器上，客户端访问数据时，就需要通过路由来快速定位要访问的数据位于哪个cache服务器。具体来说就是客户端Proxy根据Router提供的路由信息，去定位业务的key落到哪个Cache服务上。这个路由信息就是一张路由表，下面是一个路由表的例子:

编号	业务模块名	开始页	结束页	路由目的服务器组名
4	SQQProfile	0	143165	SQQProfileGroup0
16	SQQProfile	143166	286330	SQQProfileGroup1
28	SQQProfile	286331	429497	SQQProfileGroup2

在DCache中，不同的业务模块有自己独立的路由表，而每个模块又分成了多个cache组，每个cache组都对应了一条自己的路由信息，负责存储一段路由页。 路由页：业务数据的key有各种含义，比如QQ号码、电话号码或字符串MD5值等，但我们都可以将key通过一致性hash算法转换到0～4294967295 (unsigned int)范围内，以方便我们做路由。 由于分组数不会太多，所以实际的路由范围是以页为单位，每一页包含了连续的10000个hash值，所以路由范围就是0～429497（页）。[图片:路由查找流程]

数据迁移

数据的路由是基于路由表的。但由于机器性能不足，或者容量不够的情况下，数据需要从一台机器迁到另一台机器，路由表也需要做相应的变动。这个过程就叫做数据迁移。 但这个过程中业务还在读写，不能在迁移过程中屏蔽业务的所有读写操作。所以数据迁移的重要目标的就是业务无感知。

迁移采用的是先复制数据后改路由表的策略。每次迁移10页（可以配置），迁移过程中不允许写这10页的数据。虽然这10页的数据不可写，但由于我们有42W的页数，10页的的占比很小，而且proxy在迁移过程中出错会有重试的机制（重试一次），因此由迁移导致的写失败业务侧无感知。

1. 迁移流程先通知目的组，把要迁移的页范围锁住，然后做些数据清理的动作；
2. 然后通知迁移源组，把要迁移的页范围锁住不可写，然后从内存读取数据，把数据发送到目的组，完成之后返回给router；
3. router收到迁移完成之后，把最新路由信息推送给源组和目的组，然后修改DB和内存的路由表信息。
4. 整个迁移流程结束。

其中Proxy是通过定时获取路由的变更状态来获取最新的路由。当迁移结束到proxy获取到最新的路由有一个时间窗口，这个时候proxy还会访问到旧的cache。 这时由于cache拥有最新的路由信息，会判断请求是否属于本cache负责，如果发现请求不属于本cache，会回复路由错误的信息给proxy，proxy就随后立即更新路由信息再次访问。 通过这样的方式来保证路由变更不会影响业务数据的一致性。

自动切换

RouterServer中还支持了Cache服务的自动切换，包括主备机的自动切换，镜像的自动切换和备机不可读切换。自动切换的主要逻辑是在RouterServer内部实现。DCache的自动切换功能提高了集群容灾容错能力，减少了系统异常对业务的影响，也使得运维工作更加轻松高效。 自动切换保证的两个基本目标是： A．防止误切（例如网络波动的影响），这都就要求严格的宕机检测。 B．切换过程中保证所有接入机的写操作不会同时写到两个master（切换前的master，和切换后的master），从而导致数据错乱或丢失。

主备机以及镜像会定时向RouterServer发送自身的心跳信息，心跳超时后即会启动自动切换检测流程，满足一定条件后便会执行自动切换。

具体来说，Router执行主备切换的逻辑是这样的：

1. 判断Cache主机心跳超时。
2. 判断备机心跳没有超时。
3. 向Cache主机发送探测包，确认主机没有响应。
4. 向备机发送探测包，确认备机存活。
5. 通知备机断开与主机之间的连接。
6. 通知主机降级。
7. 修改路由信息并同步新的路由到Proxy，切换完成。