イベント参加レポート AWS Expert Online for JAWS-UG #33

2024年5月15日 19:00 から開催された AWS Expert Online for JAWS-UG #33 「生成 AI ユースケースを考え倒すための Generative AI Use Cases JP の魅力と使い方」に JAWS-UG KANSAI として開催してくださったイベントで参加しました。

以下、参加した際のレポート

公開された資料

動画公開：AWS Expert Online for JAWS-UG #33 / YouTube

スライド：生成AIユースケースを考え倒すためのGenerative AI Use Cases JP (GenU)の魅力と使い方

ソース・実装

GItHub リポジトリ：generative-ai-use-cases-jp

導入：基盤モデルについて

そもそも、基盤モデルは従来の AI/ML モデルと異なり、「一定の汎用さ」があるため、その範囲内では、ゼロから学習させる必要性がない。

新たなコンテンツアイデアの創造や人間の能力拡張や作業支援を従来と異なる手軽さで実現できることが注目を集めている理由の一つ

Amazon Bedrock について簡潔に

Amazon Bedrock のデータプライバシー

要件に応じて閉域接続経由で利用可能
サービスログにユーザーデータを保存しない
ユーザーの入力値を、モデルの訓練や第三者への配布をしない
複数の不正利用検出メカニズムがある

主題：Generative AI Use Cases JP（GenU）とは

生成 AI を始めるにあたってよくある課題

チャット以外のユースケースの検討や実装方法をどうしようか？
利用状況をモニタリングしたい（利用者からのフィードバックの収集も含む）
セキュリティは？

ここで Generative AI Use Cases JP の出番

すぐに業務活用できるビジネスユースケす集付きの安全な生成 AI アプリ実装として AWS が OSS として無償提供するソリューション

長いから、略称を社内で考えたよ、これからは GenU って呼んでね。

内部実装について

アーキテクチャの基本部分はフルサーバレスで構成されており様々なオプションをデプロイ可能にしている。

GenU の開発状況として Claude 3 Sonnet のビジョン機能に１日で対応し、その後も迅速に機能拡充したこともあり、瞬間風速的にプルリク数が積み上がるなど、継続的なアップデートをしている。

でも、お高いんでしょ

サーバレスで小さく始めやすく Claude 3 Haiku を 50人規模で利用した場合、利用頻度は１人当たり１日10回利用し、月間22日を利用した想定で、１人当たり月額 0.4 ドル程度での運用も視野に入れることができる。

導入の容易さと柔軟性

さらに、リポジトリクローンして 3 行 CLI を叩くだけで環境構築できる簡易さ！

マルチモデル対応も可能。
他のモデルが生成した会話履歴を引き継いで、他のモデルにプロンプトを投げるようなことも可能。

AWS によるその他のサンプル実装との違い

AWS による他の実装として Bedrock Claude Chat も存在するがこちらはチャットに特化したシンプルな UI となっており、少し差異がある。

GenU に収録されているユースケースの例

テキスト系

テキスト系としてもちろん鉄板のチャットの実装も可能。
ここから始めてプロンプト例を見てひらめきを得られるようになっている。
その他、Claude 3 系を利用すれば画像を使った生成も可能

長い文章を人間の指示通りに再構成する「文章生成」も可能

校正や翻訳も行える
JAWS DAYS で佐々木さんも校正の担当者として生成 AI は有用だって言ってたな。

Webコンテンツの抽出として１つの URL からコンテンツを取得して本文を直接処理することも可能
アンディ・ジャシーの長いありがたいメッセージを箇条書き３行で出力、何てこともできる

画像系

画像系の処理として映像分析を行うこともできる。カメラ画像から質問に回答させる、など。
スライドでの例示ではトランプのカード画像で、写っているカードの数字を合計させることをやっていた。
Q(ueen) が 12 だということも認識できている様子。

外部との連携

外部ナレッジとの連携として Lambda を呼び出して回答生成するような Agent チャットの実装もできる。

ファイルの取り扱い

Transcribe との組み合わせで mp3 mp4 などの対応フォーマットからの文字起こしと、マイク音声認識ができる。
っていうか、これ使ってリアルタイム翻訳とかできないのかな？それがあれば re:Invent 全然怖くないぞ！

その他

URL 文字列でプロンプト実行も！

ビジネス・エンタープライズ向けの配慮

CloudWatch でモニタリング用のダッシュボードも作成できて、トークンの発行数など利用料を可視化することができる。また、Cognito 認証や AWS WAF を用いた接続元 IP アドレス制限も可能

ビジネスユース、エンタープライズ向けに痒いところに手が届いてる感

機能開発からの解放・軽減

React + AWS CDK を採用しているので簡易に改造が可能

生成 AI のバックボーン部分などの重たい作業は AWS 側（GenU側）にオフロードできるので、利用者側はユースケースの検討など利用の観点により注力することができる。

質問

デプロイ時にリージョンを変更できるか

切り替えも可能

同一アカウント内で複数環境作れるか

CDK での実装なので同一アカウント内で利用するとリソース名の競合が起きるかもしれない。

リージョンを分けるとデプロイはできるはず。

スタックの名前を変えると実現可能性はあるはず。

→ただし「はず」なので、実行結果が思わしくなければプルリクください！とのこと