Amazon Bedrock Managed Knowledge Baseの最大ファイルサイズにご用心！

こんにちは、ひるたんぬです。

最近は雨が続いていますね。。
そんな中でも空を眺めていると虹を見つける機会も多くあるかと思います。🌈

しかし…「虹」という漢字は、なぜ「虫」+「工」なのでしょうか？
虫要素一つもないような…

「虫」はヘビの形を字にした象形文字。もとはヘビを指すものである。その「虫（ヘビ）」に、「つらぬく」という意味の「工」を添え、「大空（天空）をつらぬく大蛇」に見立てた呼び名。
引用：レファレンス協同データベース – 「「虹」という漢字は、何故虫偏(むしへん)なのか。」

ロマンチックな成り立ちですね。こんな考えができるような人を少し羨ましく思いました。

さて、今回はAmazon Bedrock Managed Knowledge Baseを使用するにあたっての注意事項があったので、備忘も兼ねてご紹介いたします。

今回のミソ

Bedrock Managed Knowledge Baseでは、従来のテキストベースのコンテンツ処理に加え、

に対応しています。これらが特別な設定をすることなく、チェックボックスにチェックを入れるだけで使える手軽さが特徴になっています。

Bedrock Managed Knowledge Baseを作成し、データソースを紐づける際の設定を見てみます。
デフォルトでは、上記でご紹介した3つのインデックス作成にチェックが入っており、最大ファイルサイズが10240 MB（1 MB～指定可能）となっています。

例えば、「今回は動画ファイルは対象外なのでこのチェックは外す」とした場合、最大ファイルサイズも変動します。（最大2048 MBになる）

さらに、音声ファイルのチェックも外すと、さらに最大ファイルサイズは小さくなります。（最大500 MBになる）

「ドキュメント内のビジュアルコンテンツ」のチェック有無では最大ファイルサイズに変化はありませんでした。

これを踏まえると、一つのある疑問が出てきました。

「最大10240 MB」や「最大2048 MB」は、動画・音声ファイルに対しての制限であり、テキスト系ファイルについては最大500 MBで固定なのか…？

というのも、先程の設定の中に気になる表記があったためです。

このデータソースから同期されたドキュメントの最大ファイルサイズ (MB 単位)。選択したメディアタイプの最大サイズに自動的に設定されます。必要に応じてこの値を下げることができます。

これを検証するために、すべてのインデックス作成を有効にし、最大ファイルサイズを10240 MBに設定した上で、500 MBを超える文書ファイルをアップロードし検証してみます。

この検証をする上で一番ネックとなる（個人的）のは、「500 MBを超える文書ファイル」を用意することです。
今回はこの部分を生成AIに依頼し、適当なPDFを作成してもらいました。これをS3にアップロードします。
続いて、ナレッジベースの同期を実行します。

…失敗しましたね。エラー文を見てみると、

The document content length of 505 MB is exceeding maximum length of 500 MB.

とあり、最大ファイルサイズの設定によらず、ドキュメントファイルのファイルサイズ制限が500MBになっていることが分かりました。

今回はBedrock Managed Knowledge Baseを使用して大容量ファイルを処理する際に、ファイルタイプごとにそれぞれ最大容量が存在することをご紹介しました。
この記事がどなたかのご参考になれば幸いです。