生成AIプロジェクトを本番稼働するために必要な4つの質問

こんにちは。SCSK三上です。

今回は、先日参加したパートナー向けのAmazon Bedrockセミナーのセッションの1つにあった、
“本番稼働に至る生成AIプロジェクトにするための4つの質問” がとても印象的だったので、共有させていただこうと思います。

背景

最近ホットな生成AIですが、皆様生成AIプロジェクトの本番稼働はうまくいっていますでしょうか？
一般的に、学習なしで利用できる生成AIは日本企業でのAI活用を約20%伸長させるポテンシャルがあります。
その一方で、日本では米国と約7倍差で、データ活用が売上増加やコスト削減に繋がりにくい傾向があると言われています。
生成AI活用も大体70~90%で失敗、機械学習プロジェクトは80%の確率で失敗すると言われています。

実際に、皆様このようなお悩みを抱えていないでしょうか。
パートナーの方は、PoC案件が多く、本番稼働に移れない。本番環境に値する生成AIを活用したユースケースの探索に課題がある。
ユーザの方は、生成AIをどのような業務に活かして良いか分からない。生成AIを活用したいがどう進めて良いか分からない。

このようなお悩みを抱えている皆様に、少しでも役立つ4つの質問をご紹介します！
これは、AWSのAI活用事例をもとに導かれた質問なので実践的に活用いただくことが出来ると思います。

生成AIプロジェクトを本番稼働にするために必要な4つの質問

生成AIが利益につながるための3つのステップ

質問を始める前に、生成AIが利益につながるためには3つのステップが重要です。
この先は、このステップに沿った質問を順番にご紹介します。

• Biz：生成AIによる成長サイクルを設計する
  • インパクトがあり実現・実装可能なユースケースを選ぶ
• Dev：迅速に顧客体験を検証する
  • マネージドサービスを活用し、小さく・多く経験する
• ML：顧客から得られたフィードバックで体験を改善する
  • より良い体験をコスト効率、よいモデルで提供する

第1問：『生成AIの活用にあたり求められている成果はありますか。また、「あなた」の業績評価やキャリアにどのような影響がありますか？』

• 質問
  • 『生成AIの活用にあたり求められている成果はありますか。』
    １．自社のプロダクトに組み込み「売り上げ」を拡大する
    ２．自社の業務・開発プロセスを改善し「コスト」を削減する
    ３．良く分からない
  • 『また、「あなた」の業績評価やキャリアにどのような影響がありますか？』
• 背景
  • この質問の背景としては、以下の通りです。
  • 生成AIの活用にあたり求められている成果はありますか。
    • 売り上げ・コストといった経営指標を改善するのか、市場認知を取ることなのか、従業員の意識改革なのかで施策が異なる。
  • また、「あなた」の業績評価やキャリアにどのような影響がありますか？
    • 評価にかかわらない活動にモチベーション高く取り組むのは困難。
• Biz：生成AIによる成長サイクルを設計する
  • AI/MLで価値が高まるサイクルは、
    • ①顧客体験の改善②ユーザ増加による利益の増加③データの蓄積によるモデルの改善④データドリブンな意思決定 です。 
      • 実際に生成AIプロジェクトで成功している理想的な企業はどのようにこのサイクルを実現しているでしょうか？
  • 事例①：デザイン作成サービスCanvaの価値が高まるサイクル
    • ①顧客体験の改善：作りたいパンフレットに適したイラストがなければテキストで要望を書けばよい
    • ②ユーザ増加による利益の増加：画像の生成量が増えると編集機能（有償）を使いたい人も増える
    • ③データの蓄積によるモデルの改善：蓄積されたログから需要の高い用途に特化したモデルを生成
  • 事例②：画像共有サービスPinterestの価値が高まるサイクル
    • ①顧客体験の改善：分析したいアイディアをテキストで書けば、テーブルやクエリの提案が受けられる
    • ②ユーザ増加による利益の増加：短期間で分析できれば、収益につながる様々な仮説を検証できる
    • ③データの蓄積によるモデルの改善：蓄積されたテキストと実行可否をもとに、よりモデルの生成を制御できる

第2問：『身軽なチームで頻繁かつ改善効果が高いユースケースに注目していますか？』

• 質問
  • 『身軽なチームで頻繁かつ改善効果が高いユースケースに注目していますか。』
• 背景
  • この質問の背景としては、以下の通りです。
  • 生成AIは進化が早い。身軽なチームが自社のフィードバックだけでなく外部の技術変化にも適応していく必要がある。
  • その一方で、身近なチームは組織的権力が弱い傾向があるため、ハイインパクトではにと関係者の協力を得ることが難しい。
• Dev：迅速に顧客体験を検証する
  • Devフェーズで検証すべきポイントとしては、②ユーザ増加による利益の増加
  • 重要なこと
    • 実際にやってみないと成立するかわからない。ので…迅速かつ低コストで検証したい。
  • 事例から見る学び
    • 事例①Canva：3週間で画像生成機能を実装。
    • 事例②Pinnterest：テキストからSQLを生成するLLMをパートタイムのエンジニア2人2ヶ月で構築。データ分析の時間を40%効率化。
    • ⇒ AWSの20件以上の生成Ai事例でも、大半が小規模で2~3ヶ月でリリースされている。

第3問：『短期間で本番稼働しフィードバックを得るには、どんな人を評価に巻き込む必要がありますか？』

• 質問
  • 『短期間で本番稼働しフィードバックを得るには、どんな人を評価に巻き込む必要がありますか。』
• Dev：迅速に顧客体験を検証する
  • Who：評価者は？
  • What：評価にはどんなデータを使うか？
  • How：どのように評価するか？
• ML：顧客から得られたフィードバックで体験を改善する
  • 生成AIを蓄積したデータでカスタマイズすることで顧客体験や業務プロセスを競争優位にする。
    • 生成AIをそのまま使うこともできるが、それだと成長しない。優位に立てない。通常の機械学習モデルを学習し続けると競争優位に立てる。
  • 競争優位につながる改善ポイント
    • より良い応答を、より小さいモデルで実現する
      • 体験向上によるインパクト増加、モデル縮小によるコスト削減
    • より良い応答へ改善する手段
      • プロンプトをチューニングする
        • 回答の精度を上げるために、回答を人間が3段階で評価。
      • モデルそのものをチューニングする。
        • Amazon BedrockでFine Tuningを実施可能。
          • プロンプトの改善からモデル学習へ移行するタイミングは意外と早い。

第4問：『生成AIによるインパクトを継続的に高めていくにはどんなデータを蓄積し誰に伝える必要がありますか？』

• 質問
  • 『生成AIによるインパクトを継続的に高めていくにはどんなデータを蓄積し誰に伝える必要がありますか。』
• ML：顧客から得られたフィードバックで体験を改善する
  • 生成AIはまだ発展途上の技術のため、継続的改善を前提に考えてもらう。
  • 改善結果が社内の認知や関係者の業績評価に繋がるような組織内のレポートラインの構築も不可欠

最後に、ポイントをまとめます。

まとめ

いかがでしょうか。私自身、お客様に生成AIを活用いただくために、この4つの質問は役立つと思いました。

特に印象に残った点は、①評価者はだれなのか？評価基準はなにか？を明確にすること。②高頻度のユースケースに着目し高い効果に着目すること。そのためには、お客様に”社内にはどんなユースケースが存在するか”を把握していただくことが大切だと感じました。

これから生成AIプロジェクトを進めていこうと思っている方は、ぜひ参考にしてみてください。
また、この日のセミナーのメインセッションはAmazon Bedrockについてでした。Amazon Bedrockは、API経由で基盤モデルにアクセスが可能となるサービスです。
こちらもとても興味深かったので、また記載していこうと思います！