ApacheによるCGIスタイル(EC2などない) -2000
LAMPスタックやRails(RDSなどない) 2000-2005
トラフィックの増加でキャッシュ使用(徐々に複雑になる) 2005-2008
さらなるトラフィックでロードバランシングが必須(このあたりからAWS出てくる) 2008-2010
モバイルでさらにトラフィック pubsub notification ビッグデータ解析カジュアルにアップされるファイルトラフィックの予測ができなくなってきて、レビューするのもしんどくなってくる実際のロードも難しく、構成設計もカンだのみ 2010-
さらにシステムの入出力が多様化仕様も複雑化→耐障害性がわかりづらい
そしてLambda

そもそもラムダってなんだよそんなにすごくないじゃん…っていう感想

理解

すべてなフルマネージドな世界への出発点かつEC2の役割の縮小クラウドアプリケーションの実現

EC2セットアップ→プログラムの仕様、設計→見積もり(期間、性能などの見積もり)→レビューに時間がかかる

Lambdaのメリット

費用は従量課金
スケーラビリティは考えなくていい
冗長性は考えなくていい
リアルタイムアプリケーションの作成
運用コストの削減

開発リードタイムの削減

今までだと冗長・スケーリングからプログラム動作仕様、費用、期間などの見積もりに時間がかかる

設計
見積もり
セットアップ

これらの時間を削減出来たりできる

プログラム動作仕様→費用見積もり→開発期間見積もりだけでよくなる

サイクルタイムを短くすることが物を言う Marc Andressen

イベントログによる耐障害性

イベントログを残しておくことで再処理さえすれば同じ結果を得られる

イベントドリブンとAWS

クラウドレベルでのイベントドリブンができるのがLambda
イベント操作、メッセージの標準化(誰が書いても一緒のものができる)
シンプリシティ(EC2の設計、つなぎこみなどをシンプルにできる)

仕様策定と開発に集中できる

HTTPサーバとイベントドリブン

HTTPサーバもラムダもイベント待ち受けという点では一緒(口が違うだけ)

S3のファイルを使うときにルータを自作するとか

AWSとLambdaがもたらす変化

イベント起点の増加
よりデータに着目した設計に

まとめ

Resilience(耐障害性)
Agility(警戒さ)
Elasticity(えらすてぃっくなんとかのように伸縮可能)
Timeliness(リアルタイム処理)
Event-Driven Computing(ラムダの最大の特徴)

<a href="http://qiita.com/advent-calendar/2014/lambda">AWS Lambda Advent Calendar 2014 - Qiita</a>

2014-12-22

Lambda × Mobileの可能性 #LambdaMeetup

勉強会

アンダースコア (クラスメソッドの子会社)

<a href="http://us.classmethod.jp/">_underscore.Inc</a>

モバイルから直接使えるAWSサービス

Cognito(認証)
DynamoDB(データストア)
S3(ストレージ)
SNS(プッシュ通知)
Mobile Analytics(行動分析)
Kinesis(データストリーmキング)
SQS(分散キュー)

2 Tierではちょっと使いづらい

<a href="http://it.impressbm.co.jp/articles/-/11271">現場指向の業種・業務特化で「2Tier」市場を攻める | IT Leaders</a>

サービスが粗結合
実装がつらい
アプリに実装する場合はAndroid iOSのそれぞれの実装が必要
サーバーレスでなければSDKの真価が発揮できない

そこでLambda

イベントドリブン
サービス同士の連携
サーバーレス

写真管理

モバイルからS3で保存
メタデータを抜き出してDynamoDB
モバイルからS3オブジェクトとメタデータを取得

構成

Credential取得(顔本尼先生のアカウント) 写真ファイルを保存し取得→イベント発火→ラムダメタデータ取得→メタデータ保存→ラムダ

Like機能

顔本のいいね的なアレ
DynamoDBにToとFromを保存
EC2を立てなくても機能が作れる

キャンペーン配信

イベント告知やクーポン配信など
モバイルからユーザー通信をDynamoDBに送信

Lambdaがモバイルアプリで活用できそう

でも本当にサーバーレスでいけるの?

イベントドリブンではあるが、要件によってはイベントが足りない
モバイルから実行させたくない処理
RDSのデータ読み書き
アクセス権限付与(Lambdaを使うことで)

つまり、iOSからLambda FunctionをInvokeAsyncしたい人生だった

でも AWS SDK for iOSは未対応 →Forkして実装を修正する力業

http://aws.amazon.com/jp/sdkforios/

なぜかInvokeAsyncが成功しない

課題

対応しているイベントが少ない(SNSのサポート)
Functionの実行結果を受け取れない
非同期で処理が行われている
SQSやSNSの併用
バッチ処理ができない
S3で状態管理などの実装が必要

まとめ

Lambdaのモバイル活用は今後に期待
AWS Mobile SDKも今後に期待

2014-12-22

ambdaで作るクローラー／スクレイピング #LambdaMeetup

勉強会

<a href="http://blog.takuros.net/">プログラマになりたい</a>

http://www.nri-net.com/

サーバ不要でイベントドリブンなプログラム実行基盤

インフラのありかたを根底から変えるかもしれん
S3のオブジェクトに対してのイベントを検知

クローラー/スクレイピング

クローラー巡回
スクレイピングデータ抜き出し(正規表現 vs データ解析)

Lambdaクローラー

クローリング部分とスクレイピング部分

クローラー実装

キック
httpリクエストダウンロードをlambda
html保存

スクレイピング実装

S3 Event call
S3 GetObject
Scrape

<a href="http://blog.takuros.net/entry/2014/12/14/053606">Lambdaで作るクローラー／スクレイピング - プログラマになりたい</a>

<a href="https://github.com/takuros/lambda-crawler">takuros/lambda-crawler</a>

実行元のサーバ

実行のたびに違うサーバが呼ばれるのか

考察

Lambdaは自動的にスケールアウト
スケールアウトの時間は数秒
タスクの分割と追跡性を工夫すればHadoopぽくできる

感想

Lambda導入
スケールジョブ制御システムが必要
その部分は現状自前
AWSによるサービス希望
もしかしたらサードパーティ製が必要になるかも

教訓

Lambdaは簡単に暗黒面に落ちる
強力すぎる仕組みなので使い方
バグって無限循環したらどうやって止めるんだろう(Functionを消す)

2014-12-22

Lambdaによるクラウド型言語の実装 #LambdaMeetup

勉強会

Lambdaによるクラウド型言語の実装 #LambdaMeetup

コンソールがぶっ壊れててテンプレートが丸見え

<a href="https://twitter.com/sgwr_dts">元気がない方の (@sgwr_dts) | Twitter</a>

<a href="https://github.com/winebarrel">winebarrel (I left from github. probably...)</a>

戻り値が受け取りづらい
ログ取得APIがない
CloudWatch Logsつらい
エラーハンドリングつらい
lambshop-tail

Internet of Things

作り方

Kinesis

Lambda

Kinesis + Lambda

Twitter

まとめ

AWS Lambda(えーだぶるえす らむだ)とは

Lambda以前

理解

Lambdaのメリット

開発リードタイムの削減

イベントログによる耐障害性

イベントドリブンとAWS

HTTPサーバとイベントドリブン

AWSとLambdaがもたらす変化

まとめ

モバイルから直接使えるAWSサービス

2 Tierではちょっと使いづらい

そこでLambda

写真管理

構成

Like機能

キャンペーン配信

Lambdaがモバイルアプリで活用できそう

でも本当にサーバーレスでいけるの?

つまり、iOSからLambda FunctionをInvokeAsyncしたい人生だった

課題

まとめ

サーバ不要でイベントドリブンなプログラム実行基盤

クローラー/スクレイピング

Lambdaクローラー

クローラー実装

スクレイピング実装

実行元のサーバ

考察

感想

教訓

AWS Lambda(えーだぶるえすらむだ)とは