メインコンテンツまでスキップ

Cubeの次世代AIモデレーション機能がやってくる!

· 約14分
tah
FullStack Engineer

こんにちは!Cubeチームのtahです。 今私たちは、CubeのAIモデレーション機能を大幅にアップデートする計画を立てています。 この記事では、現時点で公開可能な情報をすべて皆さんにお伝えします!

注意事項

ここでご紹介する機能はすべて開発中であり、最終的なリリース内容や仕様は変更される可能性があります。また、具体的なリリース時期も変動する可能性があります。

なぜAIモデレーションが必要なのか

そもそも、なぜAIモデレーションの開発に取り組んだのか、その背景をお話しします。

私自身、もともとDiscordサーバーの運営者でした。運営をしていて常に感じていたのは「人間は、常に全てのメッセージを監視できるわけではなく、ヒューマンエラーが発生することもある」という限界です。モデレーターがオフラインの時間や見落としなど、どうしても人の目には限界があります。

加えて、既存の単語フィルターでは次のような問題がありました:

  • 適切な言葉や表現でも機械的にブロックされてしまう
  • 「やばい」「クソ」などの文脈によって意味が変わる言葉への対応が難しい
  • 潜在的な悪意のあるメッセージを検出できない
  • 複数のメッセージに分けて送られる暴言を検出できない
  • フィルター回避のための意図的な言葉の言い換えに対応できない

これらの課題を解決するためには、文脈を理解できる高度なAIが必要だと確信しました。そして、その思いがCubeの新しいAIモデレーション機能の開発につながったのです。

何が変わるの?

現在のCubeでは基本的な単語フィルタリングのみを行っていますが、新しいCubeは「会話の流れ」や「言葉の使い方」を理解できるようになります。例えば:

  • 「殺す」という言葉でも、ゲームの話なのか実際の脅しなのかを区別できる
  • 皮肉や冗談として隠された悪意ある発言も検出できる
  • 過去の会話の流れを踏まえて判断するため、誤検出が大幅に減少

GPT-4.1シリーズを選んだ理由

「なぜGPT-4.1シリーズなのか?」と思った方もいることでしょう。

最大の理由は日本語能力の向上です。Cubeの主なターゲットは日本のコミュニティなので、日本語の微妙なニュアンスを理解できることが最重要でした。GPT-4.1シリーズは以前のモデルと比較して日本語能力が大幅に向上しており、私たちのニーズにぴったり合っていました。

もう一つの重要な要素はコスト効率です。高性能かつ経済的に持続可能なサービスを提供するために、パフォーマンスとコストのバランスが取れたモデルを選ぶ必要がありました。GPT-4.1シリーズ、特にnanoモデルはこの点で優れていました。

新機能の紹介

自動対応機能

  • 自動タイムアウト: 違反度や違反回数に応じて自動的にタイムアウトを設定
  • 自動キック: 重大な違反や繰り返しの違反に対して自動的にキック
  • 自動警告メッセージ: 違反内容に応じた個別のDM警告文をAIが作成

会話の流れを理解したチェック

AIが単語だけでなく、会話全体の流れを見て判断します:

  • Liteプラン: 過去15メッセージまで見て判断
  • Proプラン: 過去30メッセージまで見て判断
  • Maxプラン: 過去45メッセージまで見て判断

かんたん設定

  • 日本語でルールを設定: プログラミング知識不要!例えば「政治的な議論は禁止」「個人情報の共有は禁止」などの日本語でルールを書くだけでOK
    • Liteプラン: 最大1,500文字のルール設定
    • Proプラン: 最大3,000文字のルール設定
    • Maxプラン: 最大4,000文字のルール設定

違反履歴の活用

個人的に最も期待している機能の一つが、この「違反履歴参照」機能です。AIが過去の違反履歴を見て判断するので、繰り返し違反するユーザーには厳しく対応できます:

  • Liteプラン: 14日間の違反履歴を参照
  • Proプラン: 30日間の違反履歴を参照
  • Maxプラン: 90日間の違反履歴を参照

何回も違反を重ねるユーザーに対して適正な措置を下せるようになり、コミュニティの安全性が大幅に向上すると期待しています。

料金プランについて

実は、CubeTeam創立当初は有料プランを作成する予定はありませんでした。しかし、どうしてもコスト面で赤字になってきて、このままでは安定したサービスの提供ができないと感じたため、有料プランを作成することに決めました。

有料プランの目的はあくまでも赤字を回避するためであるため、ユーザーの納得感を最重視しています。具体的には値段に見合った特典の提供、AIモデルの利用上限の設定などでギリギリまで利益率を減らして対応しています。

注意事項

現状のプラン名、値段は全て仮です。 機能は変動する可能性があります。

Cube Free - ¥0

特典内容:

  • omni-moderationを利用したメッセージの単体評価
  • スコアによるメッセージの自動削除
  • クレジットを用いた文脈審査
    • 別途買い切りのクレジットが必須

Cube Lite - ¥220/月 (年額 ¥2,200/年 - 2ヶ月分お得)

特典内容:

  • Freeの全ての機能
  • 自動タイムアウトの利用
  • 自動キックの利用
  • 自然言語でのルール設定(最大1,500文字まで)
  • 高度モデルを用いたメッセージの文脈チェック機能
    • 検閲されたメッセージから過去15メッセージまで参照
  • 違反履歴参照期間: 14日間
  • DM警告文自動生成(基本テンプレート)
  • 毎月15,000 Cubeクレジット (CC) 付与
    • 参考: 約100〜200件のモデレーション処理に相当
  • 有効期限: 付与日から1年間

使用可能モデル(すべて利用可能):

  • GPT-4.1-nano
  • GPT-4.1-mini
  • GPT-4o-mini

Cube Pro - ¥550/月 (年額 ¥5,500/年 - 2ヶ月分お得)

特典内容:

  • Liteの全ての機能
  • 自然言語でのルール設定(最大3,000文字まで)
  • 高度な画像検閲機能
  • 高度モデルを用いたメッセージの文脈チェック機能
    • 検閲されたメッセージから過去30メッセージまで参照
  • 違反履歴参照期間: 30日間
  • DM警告文のカスタマイズ機能
  • 毎月37,500 Cubeクレジット (CC) 付与
    • 参考: 約250〜500件のモデレーション処理に相当
  • 有効期限: 付与日から1年間

使用可能モデル(すべて利用可能):

  • GPT-4.1-nano
  • GPT-4.1-mini
  • GPT-4o-mini

Cube Max - ¥790/月 (年額 ¥7,900/年 - 2ヶ月分お得)

特典内容:

  • Proの全ての機能
  • 自然言語でのルール設定(最大4,000文字まで)
  • 高度モデルを用いたメッセージの文脈チェック機能
    • 検閲されたメッセージから過去45メッセージまで参照
  • 違反履歴参照期間: 90日間
  • 専属サポート(全般的なモデレーション設定・運用サポート)
  • 優先サポート(72時間対応)
  • 毎月50,000 Cubeクレジット (CC) 付与
    • 参考: 約333〜600件のモデレーション処理に相当
  • 有効期限: 付与日から1年間

使用可能モデル(すべて利用可能):

  • GPT-4.1-nano
  • GPT-4.1-mini
  • GPT-4o-mini

Cubeクレジット (CC) について

Cubeクレジットは、CubeのAIモデレーション機能を利用するための独自通貨です。 このクレジットを消費することで、AIモデレーション機能を利用することができます。 クレジットがない場合は、高度なAIモデレーション機能は利用できません。

  • 繰越可能: 未使用のクレジットは翌月以降も利用可能(最大1年間)
  • 消費順序: 有効期限が近いクレジットから優先的に使用
  • 使用状況確認: ダッシュボードでいつでもクレジット残高と使用履歴を確認可能
  • 追加購入: クレジットが不足した場合は追加購入も可能(準備中)
  • 買い切り版: Freeユーザー向けに、買い切りのクレジットを用意

開発で見つかった意外な発見

開発テスト中に発見した意外な点は、思ったより誤検知率が高かったことです。従来のモデレーションモデルでは、「やばい」や「クソ」などの文脈によって意味が変わる言葉が頻繁に誤検出されていました。

この問題を解決するため、AIモデレーションの精度向上に向けてプロンプトの改善を常に続けています。具体的かつ簡潔に指示を出し、コストパフォーマンス面を考慮しながら、どのようなプロンプトを与えたらAIが正確に理解してくれるかを日々研究しています。

今後の予定

他にも以下のような機能を開発中です:

  1. サーバーに合わせた学習: サーバーごとの雰囲気やルールに合わせたAIモデレーション
  2. 統計情報の表示: どんな違反が多いか、時間帯による傾向などを確認できる機能
  3. 他ツールとの連携: Webhookを使った外部ツールとの連携強化

また、ここだけの話ですが、現在ダッシュボードの開発も進めています(秋までに間に合うかは不明ですが)。このダッシュボードを通じて、モデレーション状況や違反傾向などを一目で確認できるようになる予定です。

おわりに

このアップデートは、Cube過去最高のアップデートとなるでしょう。大幅な精度向上、さらに見やすく、扱いやすくなるUI。確実に言えることは、絶対にユーザーの皆さんにとって使いやすくなるということです。

これらの機能はまだ開発中であり、変更される可能性があります。また、リリース時には段階的に導入される可能性もあります。

今回リークした内容に関するご意見や質問は大歓迎です!皆さんの声を聞きながら、より良いサービスを作っていきたいと思います。

正式リリース時には、詳しい使い方や設定画面のスクリーンショットなども公開する予定です。

より安全で快適なDiscordサーバー運営のために、ぜひ新しいCubeをお試しください!期待して待っていてください。

開発中の機能について

この記事でお伝えした内容はすべて開発中の機能です。最終的な仕様やリリース時期は変更される可能性があります。