JAWS-UG東京 ランチタイムLT会 #11 参加メモ
元々 LT 枠で登壇申し込みをした状態(抽選は落選)で、繰り上げ待ちの補欠状態だったので、なんで 12 時回ったのに connpass で URL 公開されないんだろう?って一人で悩んでて参加が遅れてしまったが、LT 開始までには何とか間に合った。
そんな 11 回目の LT 会への参加メモ。(ほぼ自分がつぶやいたツイートの言葉遣いを丁寧にしただけの感じではある)
インフラエンジニアがAthenaと格闘してみた
登壇者:CTCシステムマネジメント株式会社の古林 信吾さん
公開いただいている登壇資料:インフラエンジニアがAthenaと格闘してみた
- Athena では SQL クエリ単位での課金が発生する。データを圧縮することで低減することが可能
- そもそもアプリのエンジニアやデータサイエンティストでないので SQL になじみがないため各種生成 AI を使って SQL を生成してみた
- Linux の audit ログを利用し、監査のためのログイン記録を抽出する SQL の生成を Copilot in Bing (Microsoft)、Gemini (Google)、Claude 3 Sonnet (Anthropic) を利用してみたとのこと
- SQL の生成に限らないが、それっぽいコードが出力されてから以降の微調整や存在しないオプションや指定方法に気づくのが難しそうだな。
「IoT初心者にオススメ。神サービスAmazon Monitronについて」
登壇者:株式会社カミナシの宮本 大嗣さん
公開いただいている登壇資料:見つけられず
- Amazon Monitron は 後付け で回転機器に設置して振動・温度を機械学習で分析してくれるサービス 「後付けできる」っていう点で、IoT とかいう概念がなかった頃の古の機器でも使えるってことか。
- 社内での(実際は宮本さんのご自宅での)設置と収集を行って検証を実施w
- Wi-Fi は 2.4 GHz 帯しか対応していない模様
- ファン、ベアリング、コンプレッサー、モーター、ギアボックス、ポンプなどが対象取りなりうる感じ
- モバイルアプリに Amazon Monitron アプリを入れると通知をさせることができる。
- 検証ではライブデータエクスポート機能を使って、異常検知時に Amazon Connectから自動架電させてみた
- Amazon Monitron → Kinesis data stream →Lambda → Amazon Connect のように連携
- AWS Organizations と連携した IAM Identity Center が必須なところがハマりポイントかも。
- AWS Organizations が整理されて利活用されているのであればもちろん構わないが、怪しい場合は独立したアカウントで検証する方が良いかもしれない点は Blackbelt 資料にも記載があるらしい
- 実は弊社でも Amazon Monitron を購入して、今データを絶賛収集中
- 検証開始時に AWS Organizations と連携し「ない」 IAM Identity Center の「アカウントインスタンス」として IAM Identity Center を設定していた状態で進めていたらしく、Amazon Monitron の設定が進められない、っていう状況になっていたと聞きました。
- 本日時点で技術ブログが第三弾まで公開されているので、続きをご期待いただきたいところ
5分で分かる(かもしれない)Vector engine for OpenSearch Service Serverless
登壇者:クラスメソッド株式会社のつくぼしさん
公開いただいている登壇資料:5分で分かる(かもしれない)Vector engine for OpenSearch Service Serverless
- OpenSearch Service Serverless ってどのハンズオンに参加しても「忘れずに消してくださいね!」って割と強めに勧められるので、自分の中ではとても怖いやつだという印象
- ベクターエンジンとは OpenSearch Service Serverless におけるコレクションタイプの一つ
- 数値ベクトルに変換された文字や画像、音声等のデータを類似性を比較し、関連性の高いデータを検索できるようにしたもの
- OpenSearch Service コンソールでコレクションを作成するときはデフォルトインデックスが作成されないが、Bedrock コンソールで knowledge Base を作成する時のみ、デフォルトインデックスが作成される
- なので、少し挙動が変わる点がある点に注意が必要
運営のみのるんさんからの告知タイム
執筆中に次から次へとアップデートがあって大変だろうなぁ、とツイートしたら「毎日血ヘドを吐きながら楽しく執筆してます」と返信をいただきました。
業務時間外にめっちゃ勉強してるのに、してないって言い張るタイプ(本人が勉強と思ってない)に通ずるものがあるなぁと思って Bedrock・技術のことが本当に好きなんだなぁということを実感。
Amazon Pinpoint使ってますか?Amazon PinpointでGmail送信者ガイドラインに対応した話
登壇者:みんなのマーケット株式会社の石橋 翔太さん
公開いただいている登壇資料:Amazon Pinpoint使ってますか?Amazon PinpointでGmail送信者ガイドラインに対応した話
- 石橋さんの好きな AWS サービスのうちの一つは AWS Support!
確かに高度な技術力と問題解決能力の高さすごいもんね。 - Gmail送信者ガイドラインで求められていること
- DMARCなどの基礎的な電子メール認証技術を利用して、送信者がメールを正しく認証しているかの対応をしなければならない
- 加えて事業者の WEB サイトに行かずとも配信停止する手段を提供しておく「ワンクリックで登録解除」機能に対応しなければならない
- そのためにはメールのヘッダに List-Unsubscribe、List-Unsubscribep-Post などの設定を適切に設定しておく必要がある。
- 詳細は RFC を確認!(RFC 8058 が相当するのかな?日本語だとここらへん)
- ただし、Amazon Pinpoint ではカスタムヘッダが使えないため、Lambda で整形する後処理に繋げる仕組みにして「ワンクリックで登録解除」に対応した
- 自分自身が通販やってた頃は、いかに登録解除されないかの観点で(逆の意味で)配慮したメルマガ作成してたな(よくない)
- まあ、当時から迷惑だ、解除の方法がわからない、解除したのにまだ届く、など言われることも多かったので準拠すべきガイドラインができたこと自体はいいことなんだろう。
MWAAの良さを伝えたい!
登壇者:株式会社NTTデータの足立 宏輝さん
公開いただいている登壇資料:見つけられず
- AWS サービスで略称がアルファベット3文字にならない(ちょっと気色悪い)やつだ。
- 正式名称 Amazon Managed Workflows for Apache Airflow のやつですね。
- 代表的なジョブ管理との比較
- Cron:前後関係が定義できない
- クラウド固有のスケジューラ(Lambdaなど):前後関係の定義もやれなくないがブラックボックスになりがち
- ジョブ管理ツール(JP1など)GUIが使えるが費用、外部サービスとの連携に難あり
- AWS Step Functions:JSON で整形できるが、他のクラウドへの可搬性にとぼしい
- Airflow を使用するユースケース
- ジョブの前後関係が必要
- データ分析プロジェクトなどで、ワークフローの頻繁な追加や変更が発生する
- Git などを利用したコード管理の仕組みが準備されている
- Python ができるエンジニアが構築、運用時に対応可能
- AWS に閉じない各種サービスとの連携がある