Cubeの次世代AIモデレーション機能がやってくる!
こんにちは!Cubeチームのtahです。 今私たちは、CubeのAIモデレーション機能を大幅にアップデートする計画を立てています。 この記事では、現時点で公開可能な情報をすべて皆さんにお伝えします!
ここでご紹介する機能はすべて開発中であり、最終的なリリース内容や仕様は変更される可能性があります。また、具体的なリリース時期も変動する可能性があります。
なぜAIモデレーションが必要なのか
そもそも、なぜAIモデレーションの開発に取り組んだのか、その背景をお話しします。
私自身、もともとDiscordサーバーの運営者でした。運営をしていて常に感じていたのは「人間は、常に全てのメッセージを監視できるわけではなく、ヒューマンエラーが発生することもある」という限界です。モデレーターがオフラインの時間や見落と しなど、どうしても人の目には限界があります。
加えて、既存の単語フィルターでは次のような問題がありました:
- 適切な言葉や表現でも機械的にブロックされてしまう
- 「やばい」「クソ」などの文脈によって意味が変わる言葉への対応が難しい
- 潜在的な悪意のあるメッセージを検出できない
- 複数のメッセージに分けて送られる暴言を検出できない
- フィルター回避のための意図的な言葉の言い換えに対応できない
これらの課題を解決するためには、文脈を理解できる高度なAIが必要だと確信しました。そして、その思いがCubeの新しいAIモデレーション機能の開発につながったのです。
何が変わるの?
現在のCubeでは基本的な単語フィルタリングのみを行っていますが、新しいCubeは「会話の流れ」や「言葉の使い方」を理解できるようになります。例えば:
- 「殺す」という言葉でも、ゲームの話なのか実際の脅しなのかを区別できる
- 皮肉や冗談として隠された悪意ある発言も検出できる
- 過去の会話の流れを踏まえて判断するため、誤検出が大幅に減少
GPT-4.1シリーズを選んだ理由
「なぜGPT-4.1シリーズなのか?」と思 った方もいることでしょう。
最大の理由は日本語能力の向上です。Cubeの主なターゲットは日本のコミュニティなので、日本語の微妙なニュアンスを理解できることが最重要でした。GPT-4.1シリーズは以前のモデルと比較して日本語能力が大幅に向上しており、私たちのニーズにぴったり合っていました。
もう一つの重要な要素はコスト効率です。高性能かつ経済的に持続可能なサービスを提供するために、パフォーマンスとコストのバランスが取れたモデルを選ぶ必要がありました。GPT-4.1シリーズ、特にnanoモデルはこの点で優れていました。
新機能の紹介
自動対応機能
- 自動タイムアウト: 違反度や違反回数に応じて自動的にタイムアウトを設定
- 自動キック: 重大な違反や繰り返しの違反に対して自動的にキック
- 自動警告メッセージ: 違反内容に応じた個別のDM警告文をAIが作成
会話の流れを理解したチェック
AIが単語 だけでなく、会話全体の流れを見て判断します:
- Liteプラン: 過去15メッセージまで見て判断
- Proプラン: 過去30メッセージまで見て判断
- Maxプラン: 過去45メッセージまで見て判断
かんたん設定
- 日本語でルールを設定: プログラミング知識不要!例えば「政治的な議論は禁止」「個人情報の共有は禁止」などの日本語でルールを書くだけでOK
- Liteプラン: 最大1,500文字のルール設定
- Proプラン: 最大3,000文字のルール設定
- Maxプラン: 最大4,000文字のルール設定
違反履歴の活用
個人的に最も期待している機能の一つが、この「違反履歴参照」機能です。AIが過去の違反履歴を見て判断するので、繰り返し違反するユーザーには厳しく対応できます:
- Liteプラン: 14日間の違反履歴を参照
- Proプラン: 30日間の違反履歴を参照
- Maxプラン: 90日間の違反履歴を参照
何回も違反を重ねるユーザーに対して適正な措置を下せるようになり、コミュニティの安全性が大幅に向上すると期待しています。