分散式储存系统STF

如果大家对日本IT界有一定认识的话，大概都会听过livedoor这家老牌企业。它营运的livedoor Blog服务在日本的地位，就如我们的Yahoo和新浪。Google和Facebook等企业一直都有把自家技术开源化的取向，livedoor也不例外，最近它就把自家的储存系统开源化。

livedoor Blog的服务需要保存和管理大量的图片和数据，而且因为成本效益的关系，使用底价储存系统的同时，也必须达到安全和高速存取的成效，因此内部已经采用开源技术多年。这次公开的STF正是由livedoor改良后的产物，卖点是在生产环境下有曾经保存4亿个档案、约70TB数据的实绩，采用的是Artistic License 2.0用户授权。

livedoor Blog从前使的是每年成本达千万日元的储存系统，但随着数据增长速度越来越快，原本系统的扩展能力已经追不上，要长远发展就必须开发看家专用的系统。最初他们使用的分散式储存系统是DAVStorage，成本的确较低但扩充性仍不足够，最后使用的便是这个自家开发的STF。STF可用档案为单位进行分散处理，而且可以用最普通的硬碟架设出并列处理的系统。

技术上STF采用了Apache、MySQL、Q4M、memcached和Perl等开源技术，数据会被保存多个复本，故障时可以自动修复，而且无需停机也可随时追加和卸载储存媒体，客户端方面使用的是最普通的HTTP。熟悉储存技术的朋友可能会问，它和MogileFS有合分别？STF的好处在相容PSGI，而且使用的通讯协定是老到不可再老的HTTP，有问题时进行疑难排解也较为容易，而且员工不需要因此学习新技术。有兴趣的朋不妨下载回来试试。本篇已被纳入“征文”范围，欢迎各位投稿撰写更多关于本软体更深入的教学，一经刊登将获薄酬，详情请参考此处。