DSAS開発者の部屋:DSASのファイル転送システムをオープンソースで公開します(情報元のブックマーク数)

同一サイトの同一ネットワーク上にあるサーバのファイル同期システムをオープンソースで公開とのこと。

一般的な話として、サイトの規模が大きくなるほど運用コストは増大しますが、 その要因のひとつとして「デプロイ時のファイル転送に時間がかかる」という 点がありました。そこで、できるだけ運用コストを抑える(作業者の負担を減 らす)ために、独自のファイル転送システムをこしらえてみました。

「まくお」は、マルチキャストを利用して、複数のサーバへ同時にディレクト リ構造を複製するファイル転送システムです。

DSAS開発者の部屋:DSASのファイル転送システムをオープンソースで公開します

マルチキャストの偽装とか出たらどうなるんだろ・・・・

送信元のサーバは、ひとつのファイルを何度も送りなおす必要がありません。 転送先のサーバが何台あったとしても、一度の送信ですべてのサーバへ転送 することができます。

とはいっても実際は、取りこぼしたパケットを補間するために再送処理が必 要になるので、同じデータが何度か繰り返し流れることもあります。その場 合でもファイルをまるごと再送するわけではなく、取りこぼしたパケットの みを再送するので、すべてのサーバへ一台づつ転送するよりも、ネットワー ク全体を流れるデータ量や転送時間は少なくて済んでいます。

DSAS開発者の部屋:DSASのファイル転送システムをオープンソースで公開します

screenshot