ぶちAIゲートウェイのトークン圧縮はどこまで効く? ChatGPT/Codexで試してみた

AIに書類のチェックや調査を任せる場合、実はAIは裏で同じ資料を何度も読み返しています。そのため、AIには確認のたびに同じ規程やログを読み直すため、その分だけAIの利用量(トークン量)がかさんでしまう問題を抱えています。

ぶちAIゲートウェイの「トークン圧縮」機能は、この「読み返し分」を圧縮して利用量を減らす仕組みです。

トークン圧縮の仕組み
トークン圧縮の仕組み

今回、ぶちAIゲートウェイの「トークン圧縮」機能が本当に効果があるのかを、実際の作業を使って計測しました。本記事の対象は、GPT/Codex(ChatGPTサブスクリプション契約を想定)です。その結果から、良いところも悪いところも正直にお伝えします。

パイロットユーザー募集

現在、ぶちAIゲートウェイのパイロットユーザーを募集しています。詳しくは以下をご確認ください。

目次

何が効いて、何が効かないか

作業・素材ごとに想定する圧縮率(どれだけAI利用量を減らせたか)は、次の通りです。これは利用しているトークン圧縮モジュールの設計による想定値です。

作業・素材圧縮率(検証した上限)
大量のビルドログ調査(300KB超)~89%
大きな変更内容(プログラム差分)のレビュー~78%
整理された表データ(JSON形式)~75%
経費規程の照合チェック(申請20件)~51%
複数の資料を組み合わせた実務作業〜42%
障害ログの分析~29%
コーディング作業~1.6%
表データ(CSV)の単純集計0%
※いずれも当社が作成した、実業務を想定したテストデータとなります。

この表から分かる事実は1つです。

「同じ内容を何度も読み返す」作業ほど圧縮が効き、新しい内容や単純な集計には圧縮が効かない。

たとえば、300KBを超える大量のビルドログを繰り返し読み込む作業では89%──「読み返し」をほぼ全て省けました。一方、CSVの表データを単純に集計するだけの作業は0%で、圧縮の効果はまったくありませんでした。

つまり、この「トークン圧縮」機能には向き不向きがあり、万能ではありません。「読み返し」のないプロンプトには効果がない事実を実証しました。

パイロットユーザー募集

現在、ぶちAIゲートウェイのパイロットユーザーを募集しています。詳しくは以下をご確認ください。

トークン圧縮ができる作業の特徴3選

今回の実証実験で、数字が大きく出た作業には、3つの共通点があります。

トークン圧縮ができる作業の特徴
  1. AIが読む資料の量が多い ── 大量のログや資料を読み込ませる作業ほど、削れる「読み返し分」も大きくなります。
  2. 同じ資料を何度も読み返す ── 確認や突き合わせを繰り返す作業です。AIは作業のたびに同じ資料を再読するため、そこが丸ごと圧縮対象になります。
  3. 作業が長く続く ── 一問一答で終わる短いやり取りではなく、ひとつの目的に向かって何回もやり取りする作業に向いています。

つまり、「チェック」「レビュー」「調査」「確認の繰り返し」といった仕事が得意分野です。反対に、文章や資料をゼロから新しく作る作業や、短い質問のやり取りには向きません。

実験結果

実際に行った実験と、その結果だけをかんたんに紹介します。

トークン圧縮 71.25% -- 開発ログの調査
開発ログの調査の実験結果
  • 実験1:開発ログの調査 ── 大量のログを繰り返し読んで不具合箇所を探す作業。この作業では 71.25% 削減を記録しました。AIが読む量の約7割を減らせた計算です。
  • 実験2:経費規程の照合チェック ── 経費の申請書20件を社内規程と何度も突き合わせて適否を判定する作業。51.0% 削減となり、AI利用量がおよそ半分になりました。
  • 実験3:大きな変更内容のレビュー ── プログラムの大きな変更点(差分)を読み込んでレビューする作業では、78% 削減を確認しました。

ただし、正直にお伝えすると、同じ実験でも回によって数字にはばらつきがあります。71%を記録した回もあれば、37.9%に落ちる回もありました。

利用するタイミングやAIの機嫌によって、効果が変わってしまうという事実も分かってしまいました。ご留意ください。(ご機嫌取りをしても効果は上がりませんでしたが…)

「ぶちAIゲートウェイ」のトークン圧縮活用法

トークン圧縮効果を引き出す作業

細かな技術論は抜きにして、「どんな作業を任せると効果が出るか」を紹介します。

向いている作業向いていない作業
「読んで・比べて・確かめる」仕事新規作業・重複しないデータ
・規程・マニュアルの照合
・メールや議事録の確認
・契約書の突き合わせ
・Webの調べもの
新しい文章の作成
短い一問一答
数字の単純集計

AIに書類のチェックや繰り返しの確認を任せる場面で、AI利用量を半分にできる可能性があります。つまり、ルーチンワークを任せる場合には、高い効果を得られる可能性が高いです。

トークン圧縮が向かない作業

効果が出にくい作業も、あらためて整理しておきます。

  • 通常のチャット ── 短い一問一答では「読み返し」が発生しないため、圧縮の余地がほとんどありません。
  • コーディング(新しいコードを書く作業) ── ゼロからコードを書き起こす作業は、読む内容が毎回新しく、繰り返しが少ないため効果が出ません。
  • リサーチ(新しいテーマを一から調べてまとめる作業) ── 同じ資料の読み返しが少ないため、圧縮が効きにくい傾向があります。

これらの作業は、トークン圧縮の得意分野とは言えません。ここで無理に活用するより、照合・チェック・レビューといった向いている作業に任せるのが、効果を引き出すコツです。

トークン圧縮は万能ではないが、効果はある

トークン圧縮は、「同じ資料を何度も読み返す」作業で効果がある事実が判明しました。実測では最大71%台、書類チェック業務でもおよそ半分(51.0%)の削減を確認しました。

ただし、効果は作業内容によって0%から99%まで大きく変わります。「読んで・比べて・確かめる」仕事を選ぶこと──それこそが、トークン圧縮の効果を最大限に引き出すカギです。

パイロットユーザー募集

現在、ぶちAIゲートウェイのパイロットユーザーを募集しています。詳しくは以下をご確認ください。


皆様の活用により、より高い圧縮結果をお知らせいただけると助かります。

目次