インフラ構築1年間の振り返り

今年の振り返り。

今年もAWSでたくさんサーバ構築しました。
インフラ構築して行った中で基本方針を社内に定めているのですが、その基本方針にそぐわず、結果的にとんでもないことが起きた事例を挙げていきたいと思います。

Qiitaで公開しようと思いましたけど、人目につきすぎて、可哀想なので、個人ブログに掲載する形を取ることにしました。(ネットに載せること事態はやるのかという突っ込みは置いときます)

1. よくわからないので、全IP、全ポート許可しました

6月ごろに遡る話ですが、開発陣営にインフラ構築を任せた案件がいくつかあるのですが、お約束を破ってサーバが乗っ取られる事態に陥りました。
お約束とは、開発環境であれば、このIPで、このポートのみ許可とかこのセキュリティグループならこのポートのみ許可とか限定的に公開していくのが弊社のお約束になっています。 そうすることで、一般の方々から閲覧することもできず、危険に晒されることもありませんし、必要最低限のアクセスに限定することができます。

ところがどっこい、とあるエンジニアが報告なくJenkinsに対し「設定がよくわからないので、とりあえず全許可(全IPから全ポートを許可)しました」。 はい、アウトー。

おかげ様でJenkinsサーバ経由でTaobabaという中国の通販サイトに超高負荷がかかり、AWSからabuseメールをいただく結果になりました。
原因を調べて行ったところ、Jenkinsサーバに対し、匿名ユーザでアクセスされ、かつ、負荷をかけるshellが/tmp/ディレクトリ配下に作成されていることが確認されました。

乗っ取られたあかんパターンのやつです

大至急、Jenkinsサーバや現在構築中の他の関連サーバを停止し、AWS様には謝罪のメールを送りました。
開発環境は全て作り直し、基本方針に則って我々インフラチームで巻き取り直しました、とさ。

2. CloudFormationがよくわからないので手で直しました。

9月ごろに行ったインフラ構築の話です。
社内ではこの頃からCloudFormationによるインフラのコード化が推進されている時期でした。
ぼくもその機会に参戦するべく、CloudFormationを試行錯誤しながら作成していました。

「CloudFormationで作ってるから手で修正しないでねー」ってことを
Slackや口頭
で何度も伝えていたのですが、とあるエンジニアと何度か会話していたのですが、夜遅くに「これこれを手で修正しました。」と何度かいただき、「CloudFormationでやった感じでしょうか?」って毎回尋ねると、「いや、直接修正しました」という。 その都度の翌朝にCloudFormationで流し直すということをやっていましたが、

直接触るなっつってんだろうがってパターンです。

何度となく言ってるのに聞かないので最終的にガチギレしたパターンです。
次やったらそいつはもう追い出すことにします。

3. Sandbox環境に案件の環境作っちゃった☆

SANDBOXに環境作っちゃった☆じゃねーよ

基本的に弊社では受託で色々なお客様から案件をいただく都合上、AWSアカウントを分けるようにしています。
そのこともあって、今まで無事故無違反でやれているのですが、弊社にはAWS SANDBOXというアカウントがあり、社員なら誰でもAWSで実験できるように解放している環境があります。(もちろんお金は取られますし、我々インフラチームがそう謳っているだけですが。) 案件に使う場合は我々インフラチームに依頼し、AWSアカウントを作成のうえ、インフラ構築していくのが通常の流れです。
何も知らないエンジニアはそのことを10月ごろまで隠しており、お客様にも伝えていませんでした。(7月や8月に打ち合わせに行ったときも隠していた) 我々インフラチームももちろん知りませんでした。

ある日、突然、とあるエンジニアが
エンジニア(仮にEさん)「○○案件なんですけどね、AWS SANDBOX上に環境構築してるんですけど、どうしましょうか」 ぼく「は?(何言ってんだこいつの意」
Eさん「いや、えっと、まだどうしたらいいかわからない時期に構築したんだよねー」
ぼく「は?(なら聞けよの意」
Eさん「どうしましょうか」
ぼく「どうするもこうするも7月か8月の打ち合わせ段階で新しくアカウント作るって話になってただろ」
Eさん「どうすればいいですか?」
ぼく「どうするこうするもそんなんすぐに作り直すしかないでしょ」
Eさん「でも、リリース明日なんですよね」
ぼく「知るかボケ」

ってやりとりがあり、もうぼくはそのことでこのエンジニアを信用できなくなりました☆

まとめ

ちなみに全ての出来事は同じエンジニアがやらかしているんですけどね

もう一度言います
全部、同じエンジニアがやらかしてるんですけどね

わかなかったらどうすればいいかを新卒でも聞くでしょ。
何勝手やってんだよって言いたくなって思い出したので、怒りのままにネットの海に放り投げておくことにしました。
もう今月は何もしてないよね?(怒

ていうか、某案件どうしようかなぁと悩んでます。
お客さんにはたぶん話してないだろうしなぁ。どーすっかなぁ…。

カテゴリー: Text

コメントを残す

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください

%d人のブロガーが「いいね」をつけました。