コンテンツにスキップ

LLM 準備パネル

すべての変換には、テキストをモデル向けに整える小さなパネルが付いてきます。完全にローカルで、AI 呼び出しはゼロです。

  • tiktoken による トークン数o200k_base、イメージに焼き込み済み — オフラインで動作)。
  • 匿名化によって 節約されたトークンとコスト。PII を削除することで何が得られるかが分かります。
  • モデルごとのリアルタイムコスト見積もり — 価格とコンテキストウィンドウは OpenRouter から取得され(数百のモデル、キャッシュ済み)、数値が古くなることはありません。
  • コンテキストウィンドウへの収まり — このドキュメントがどのモデルに収まるかをひと目で確認。
  • ワンクリックの RAG チャンク分割 — トークン上限つきで重なりを持たせたチャンクに分割し(semchunk)、.jsonl としてダウンロード可能。
  • プロンプトインジェクション検出 — 下流の LLM を乗っ取ろうとするテキストを警告します。

モデルごとのコストをシミュレートする

Section titled “モデルごとのコストをシミュレートする”

パネルは モデルが何も選択されていない 状態から始まります。気になるモデルを選ぶと、Escriba はこのドキュメントそのものを各モデルに送る場合のコストを、リアルタイム価格を使って見積もります。一銭も使う前に「どのモデルを使うべきか、いくらかかるか」に答える最速の方法です。

ワンクリックで Markdown を、検索パイプラインに適したトークン上限つき・重なりありのチャンクに分割し、.jsonl としてダウンロードできます。ドキュメントが対象モデルのコンテキストウィンドウより大きい場合に便利です。

これらすべてはあなたのサーバー上で動作します。API キーも外部呼び出しも不要で、変換したテキストに対するローカルな計算だけです。