feat: ワードクラウド生成時に装飾を外し削除されたメッセージを除外 (#3)

* fix: strip_decorationを使用してワードクラウド生成時のテキストを整形

* feat: メッセージ削除時のデータベース更新とギルド退出時のメッセージデータ削除機能を追加

* fix: ギルド削除時に関連設定をデータベースから削除する機能を追加

* fix: メッセージコレクションのtimestampインデックスを削除

* fix: メッセージIDのインデックス設定を修正し、メッセージ削除イベントハンドラーの名前を変更

* feat: メッセージ削除時のデータベース更新機能を追加し、複数メッセージ削除イベントハンドラーを実装

* fix: メッセージ削除時のデータベース処理を改善し、ギルドとチャンネル名の取得を安全に行うよう修正

Author: yuito-it

src/cogs/wordcloud.py

@@ -4,7 +4,7 @@
 from datetime import datetime, timedelta
 from typing import Optional
 from zoneinfo import ZoneInfo
-from libs.visualize import generate_wordcloud_image
+from libs.visualize import generate_wordcloud_image, strip_decoration
 from libs.embed import EmbedHelper
 
 
@@ -125,7 +125,7 @@ async def wordcloud(
             await interaction.followup.send(embed=embed)
             return
 
-        raw_text = " ".join(doc.get("content", "") for doc in docs)
+        raw_text = " ".join(strip_decoration(doc.get("content", "")) for doc in docs)
 
         try:
             image_buffer = generate_wordcloud_image(raw_text)
@@ -482,7 +482,9 @@ async def _execute_scheduled_wordcloud(
                 self._update_last_executed(guild_id, channel_id, frequency)
                 return
 
-            raw_text = " ".join(doc.get("content", "") for doc in docs)
+            raw_text = " ".join(
+                strip_decoration(doc.get("content", "")) for doc in docs
+            )
 
             try:
                 image_buffer = generate_wordcloud_image(raw_text)

src/libs/visualize.py

@@ -75,6 +75,32 @@ def normalize_text(text: str) -> str:
     return unicodedata.normalize("NFKC", normalized)
 
 
+def strip_decoration(text: str) -> str:
+    """テキスト中のコードブロック（```...```, ~~~...~~~）とインラインコード（`...`）、取り消し線（~~...~~）、スポイラー（||...||）を除去して返す。
+
+    意図: ワードクラウド生成時にコードのトークンがノイズになるため除去する。
+    """
+    if not text:
+        return ""
+
+    # フェンス付きコードブロック（```...``` や ~~~...~~~）を削除
+    text = re.sub(r"```.*?```", " ", text, flags=re.S)
+    text = re.sub(r"~~~.*?~~~", " ", text, flags=re.S)
+
+    # インラインコード `...` を削除
+    text = re.sub(r"`[^`]*`", " ", text)
+
+    # 取り消し線 ~~...~~ を削除
+    text = re.sub(r"~~[^~]*~~", " ", text)
+
+    # スポイラー ||...|| を削除
+    text = re.sub(r"\|\|[^|]*\|\|", " ", text)
+
+    # 複数空白を単一空白に
+    text = re.sub(r"\s+", " ", text)
+    return text.strip()
+
+
 def extract_nouns(text: str, tokenizer: Tokenizer | None = None) -> str:
     t = tokenizer or Tokenizer()
     words_list: list[str] = []

src/main.py

@@ -34,6 +34,11 @@ def setup_db():
     bot.db.messages.create_index("user_id")
     bot.db.messages.create_index("channel_id")
     bot.db.messages.create_index("guild_id")
+    bot.db.messages.create_index(
+        "message_id",
+        unique=True,
+        partialFilterExpression={"message_id": {"$exists": True}},
+    )
 
     # TTL Index: 30日後に自動的に削除
     bot.db.messages.create_index("timestamp", expireAfterSeconds=30 * 24 * 60 * 60)
@@ -85,6 +90,7 @@ async def on_message(message):
     roles = message.author.roles
 
     data = {
+        "message_id": str(message.id),
         "guild_id": str(message.guild.id),
         "guild_name": message.guild.name,
         "user_id": str(message.author.id),
@@ -101,6 +107,69 @@ async def on_message(message):
     await bot.process_commands(message)
 
 
+def _delete_message_records(message_ids):
+    normalized_ids = [str(message_id) for message_id in message_ids]
+    result = bot.db.messages.delete_many({"message_id": {"$in": normalized_ids}})
+    return result.deleted_count
+
+
+@bot.event
+async def on_guild_remove(guild):
+    print(f"Left guild: {guild.name} (ID: {guild.id})")
+    # サーバーから退出した際に、そのサーバーのメッセージデータを削除する
+    result = bot.db.messages.delete_many({"guild_id": str(guild.id)})
+    print(
+        f"Deleted {result.deleted_count} messages from the database for guild {guild.name}"
+    )
+    # 設定の削除
+    settings_result = bot.db.guild_settings.delete_many({"guild_id": str(guild.id)})
+    print(
+        f"Deleted {settings_result.deleted_count} guild settings from the database for guild {guild.name}"
+    )
+    channel_settings_result = bot.db.channel_settings.delete_many(
+        {"guild_id": str(guild.id)}
+    )
+    print(
+        f"Deleted {channel_settings_result.deleted_count} channel settings from the database for guild {guild.name}"
+    )
+
+
+@bot.event
+async def on_raw_message_delete(payload):
+    """
+    メッセージが削除された際のイベントハンドラー
+    """
+    if payload.guild_id is None:
+        return
+
+    deleted_count = _delete_message_records([payload.message_id])
+    if deleted_count > 0:
+        guild = bot.get_guild(payload.guild_id)
+        channel = bot.get_channel(payload.channel_id)
+        guild_name = guild.name if guild is not None else "Unknown Guild"
+        channel_name = channel.name if channel is not None else "Unknown Channel"
+        print(
+            f"Deleted {deleted_count} message records from the database for deleted message in guild '{guild_name}' (ID: {payload.guild_id}), channel '{channel_name}' (ID: {payload.channel_id})"
+        )
+
+
+@bot.event
+async def on_raw_bulk_message_delete(payload):
+    """
+    複数メッセージが一度に削除された際のイベントハンドラー
+    """
+    if payload.guild_id is None:
+        return
+
+    deleted_count = _delete_message_records(payload.message_ids)
+    if deleted_count > 0:
+        guild = bot.get_guild(payload.guild_id)
+        guild_name = guild.name if guild is not None else "Unknown Guild"
+        print(
+            f"Deleted {deleted_count} message records from the database for bulk deleted messages in guild '{guild_name}' (ID: {payload.guild_id})"
+        )
+
+
 @bot.event
 async def on_guild_join(guild):
     print(f"Joined guild: {guild.name} (ID: {guild.id})")