今天集群中的一个App节点因为程序错误（我称之为撞车，系统的负载能力跟高速公路的车辆通行能力很相似，可以类比）导致系统负载急剧增加，直至没有响应，挂掉了。
本来按照预计，挂掉的节点应该在6秒钟内权值(weight)被自动降为零。然后等了一分钟，也没有被降权，立刻意识到，nanny遇到了我之前做监按、写监控经常遇到的问题，超时问题。
nanny在App高负载的情况下迟迟得不到应答（不知道进行到了哪一步），不知怎么办是好了。
在配置文件里明明是有timeout配置的，不知道为什么没有生效，看来到目前为止，我们的LVS集群，还是不能完全无人值守的，占个位置，等待新的研究结果：
………………
食人鱼（Piranha）是南美洲食肉的淡水鱼。它们通常15—25厘米（6—10英寸）长，虽然有时发现有长度达到40厘米的。食人鱼具有尖利的牙齿（能够轻易咬断用钢造的鱼钩或是一个人的手指[1]），非常凶猛，一旦发现猎物，往往群起而攻之。可以10分鐘內將一隻活牛吃剩一排白骨。当地人用它们的牙齿来做工具和武器。亚马逊河、圭亚那河、巴拉圭河、等河流是食人鱼经常出没的场所。
piranha,水虎鱼,食人鱼
piranha,水虎鱼,食人鱼
piranha：
Summary : Cluster administation tools
Description : Various tools to administer and configure the Linux Virtual Server as well as heartbeating and failover components. The LVS is a dynamically adjusted kernel routing mechanism that provides load balancing primarily for web and ftp servers though other services are supported.
piranha的组件：
/usr/sbin/pulse
heartbeating daemon for monitoring the health of cluster nodes.
/usr/sbin/lvsd
daemon to control the Red Hat clustering services.
/usr/sbin/nanny
tool to monitor status of service in a cluster.
/usr/sbin/fos
failover services daemon to control the Red Hat clustering service.
/usr/sbin/send_arp
tool to notify network of a new IP address / MAC address mapping.
这个工具非常有用。之前有一篇《send_arp的一个角本》，我曾经简单介绍过。
On LVS router, there are three service which need to be set to activate at boot time.
If you are clustering multi-port services or using firewall marks, you must enable the iptables service.