AmazonS3

Amazon S3 (Simple Storage Service)

• amazon のプラットフォームを利用した、低価格のリモートストレージサービス...と思っていたけど、もっと凄いサービスだとわかってきた。AmazonEC2, AmazonSimpleDBと組み合わせることで真価を発揮する。

  • Amazon Simple Storage Service (Amazon S3)
  • データ転送料が2008/05/01から値下げ。

New data transfer price (effective May 1, 2008):
$0.100 per GB - data transfer in
$0.170 per GB - first 10 TB / month data transfer out
$0.130 per GB - next 40 TB / month data transfer out
$0.110 per GB - next 100 TB / month data transfer out
$0.100 per GB - data transfer out / month over 150 TB

- 価格も上記ページにある。現在の価格は以下の通り(2008/01/23)。

Storage
$0.15 per GB-Month of storage used 

Data Transfer
$0.10 per GB - all data transfer in
$0.18 per GB - first 10 TB / month data transfer out
$0.16 per GB - next 40 TB / month data transfer out
$0.13 per GB - data transfer out / month over 50 TB 

Requests
$0.01 per 1,000 PUT or LIST requests
$0.01 per 10,000 GET and all other requests*
## No charge for delete requests

• アクセスは REST と SOAP インターフェイス
  • CPAN にも モジュールがある

[[$$us-amazon2 0596515812 0470097779 3540756930]]

簡単に使うには

• サンプルプログラムは Amazon Simple Storage Service >> Code Samples にある。

• firefox へのプラグインで(s3fox) ftp っぽく使える

  • はずだけど、うまくいかない。参照とかはできるけど、アップロードで 「This request does not support content」と言われる。未解決。
  • ↑いま試したら問題なし。いい感じに使えます。
  • [[$$googlead-firefox]]

• Jungle Disk という S3 を local な WebDAV にみせかけるソフトウェアもある。

  • Windows版を試してみた。ちゃんと動く。ただし、日本語のファイル名はきちんと扱えないみたい。

• アップロードしたファイルは、http://バケット名.s3.amazonaws.com/ でアクセス可能。

  • 例→ http://zu2.s3.amazonaws.com/index.html
  • 実は独自ドメインも使える→ http://s3.zu2.org/index.html

落ちることもあるの?

• 2008/02/15に落ちていました。
  • Thread: Massive (500) Internal Server Error.outage started 35 minutes ago
  • Amazon S3 Storage Down?
  • Amazon S3がダウンしたことで
  • Amazon S3 / EC2 / AWS outage this morning...
  • アマゾンのストレージサービス「S3」に障害--信頼性をめぐりWeb 2.0界に波紋
  • 米Amazonのストレージサービス、3時間以上にわたって障害 (Internet Watch)

落ちてるかどうかわかる?

AWS Service Health Dashboard ってのがあります。

Amazon S3 でCGIは使えるの?

使えません。でも、Javascriptを使ってそれっぽいことをしている人はいます。 問題はアクセス管理ですね。

• An S3 AJAX Wiki

Amazon S3 を使ってる企業は?

• twitter (画像)
• tumblr (画像)
• The New York Timesのアーカイブサービス (Internet Watchによる)
• SmugMug (写真共有サイト)

単なるWebサーバーとして使うと

S3の使い方は2通りある。 単なるhttpサーバーとして使う方法と、AmazonEC2や自分のサーバーのストレージとして使う方法だ。後者はそれなりに手間がかかるので、前者の場合を考える。

• 利点

  • ファイルの転送は S3 firefox などを使えば簡単。
  • 独自ドメインがCNAME を向けるだけで作成できる。
  • サーバー負荷を考える必要がない。金はかかるけど、個人のトラフィックならたいしたことはない。

• 欠点

  • DirectoryIndexがない。 / で終わるURLが作れない。
  • cgiがない。全部クライアントサイドで作る必要がある。Javascriptやflash
  • ログが取れない。google analyticsなどの併用が必要。

ログを取るには

AmazonS3 でログを取る(日記)にも書いたが、ログはちゃんと取れる。ただし、独自形式。 apache (common log format) に合わせるのは簡単にできそう。referer が取れてるかどうかは まだわからない。

• ログを取る方法

  • Setting Up Server Access Logging にある。
  • Programming Amazon Web Services: S3 and Ec2 の Chapter 3、「Server Access Logging」に方法が書いてある。

• 簡単にログの設定をするには

  • 次項で紹介するツール、s3safe や Bucket Explorer を使う。s3fox 0.4 では不可能。

ツール

• s3fox

  • firefoxの拡張。ftp のような感じで S3 が使える。
  • s3safeと比べると機能不足だけど、入門にはいいかも。

• Park Place - An Amazon-S3 Clone in Ruby

  • AmazonS3 で何かを開発するときに使うと便利なクローン。
    • Amazon S3クローンを作る「Park Place」 (MOONGIFT)に解説記事がある。

• Bucket Explorer

  • s3foxみたいなもの。ログの設定ができる。

• S3Safe

  • s3foxみたいなもの。ログの設定ができる。

• Amazon S3 plugins for Munin

  • AmazonS3の利用状況を muninで監視できる。

ライブラリ

• Amazon S3 Library for REST in Perl
• Amazon S3 Library for REST in Ruby
• Net::Amazon::S3 (CPAN)

リンク

• 2年前の障害報告書から学んだAmazon S3の凄さ (ITpro)
  • 良記事
• Versioning Feature for Amazon S3 Now Available (Amazon AWS)
  • S3にバージョン管理機能がついた
• Amazon Simple Storage Service (Amazon S3)
• PHP を使ってマルチメディアのコンテンツと帯域幅を Amazon に任せる (IBM)
• Amazon S3で年間6000万円ほど節約できてるという話: suadd blog
• AmazonS3をバックアップストレージとして利用する (untitled.)
• OpenfountのS3マネージャ「Openfount InfoMirror」 (ここギコ！) (javascriptを使ったS3上で動作しているリモートストレージサービス)
• Amazon's Dynamo is awesome! (たけまる) (amazonの分散DBについての理論面の話)
• 分散アーキテクチャにおいて一貫性と交換でスケーラビリティを手に入れる (InfoQ) (ebayの話。興味深い)
• MapReduceが牽引〜Amazon EC2をサポートするEclipseプラグインがリリース (InfoQ) (EC2を用いたmapreduce)
• Gyazo.comのデータをAmazon S3で運用 (Gyazo.com)

[[$$include 世界にコンピューターは5台しかない]]