Skip to content

Changelog 2026 04 23 Discord ChatBot

longsizhuo edited this page Apr 24, 2026 · 4 revisions

2026-04-23 · Discord ChatBot 接入 + 审核通知链路

负责人:@longsizhuo 关联 PR:involutionhell-backend#18 · involutionhell-backend#19 · InvolutionHell/ChatBot 状态:已上线(Oracle 主站 nohup 跑,systemd 待接入) 最后更新:2026-04-24(PR #19 + UX 改造 + iptables 坑)

一句话概述

把 involutionhell Discord 群的链接分享接入主站 shared_links:群友直接贴链接自动收录,/share 斜杠命令主动推荐,同时解决"FLAGGED 内容没人看得到 / 管理员看不到待审队列"两个老问题。

背景

Community-Shared-Links 墙上线后暴露两个问题:

  1. 没人愿意贴链接 —— 从 Discord 群复制 → 打开主站 → 填 URL → 点提交,摩擦太大。但 Discord 群每天都有人自发分享。
  2. 审核队列无人看 —— PENDING_MANUAL / FLAGGED 只能通过 GET /api/admin/community/links/pending 拉,没通知机制,堆多了也没人知道。

两件事并到一个改动里:Discord Bot 做搬运工 + 打通审核告警链路。

架构总览

Discord 群(involutionhell)
  │
  ├─ 群友发消息带链接 → ChatBot 监听(频道白名单内)
  └─ /share <url>      → ChatBot 收到 Interaction
           │
           ▼
  ChatBot(Oracle 主站,nohup)
           │ POST /api/community/links/internal
           │ header X-Internal-Key: <shared secret>
           ▼
  involution-hell-backend(127.0.0.1:8080, 不经 Caddy)
           │
           ├─ UrlNormalizer 规范化 + 去重
           ├─ insert shared_links (status=PENDING, submitter_id=discord-bridge)
           └─ @Async SharedLinkEnrichmentWorker
                ├─ OgFetchService 抓 OG
                ├─ ClassificationService → DeepSeek 分类 + 安全审查
                └─ 决定终态:
                   ├─ APPROVED        (白名单 + 无 flag)→ 主站 /feed 公开
                   ├─ PENDING_MANUAL  (非白名单)       → 人工待审
                   └─ FLAGGED         (nsfw/ad/flame)  → 人工待审 + ⚡ 实时告警
                                                                │
                                                                ▼
                                                     AlertWebhookClient
                                                     POST 127.0.0.1:6200/alert/flagged
                                                                │
                                                                ▼
                                                    ChatBot 内嵌 aiohttp
                                                     ├─ Discord 管理员频道 embed
                                                     └─ Gmail SMTP 邮件

关键决策

1. Bot 不直连 DB,只调 API

第一版原本打算 Bot 直接写 Postgres(另起 share.submission 表),被打回。理由:绕开 SharedLinkEnrichmentWorker = 绕开 AI 审核 + 白名单 + 举报 + 归档 = 合规性归零。最终 Bot 调 API,所有机器人渠道的内容走同一套审核管线,和网站用户手动提交无差别。

2. discord-bridge 固定 submitter

Discord 用户不在 user_accounts 里。选项:

  • A. 给每个 Discord 用户建行(需映射 Discord ID ↔ user_accounts.github_id,迁移脏)
  • B. 所有 Discord 提交共用一个系统账号 discord-bridge,真实分享人名放 recommendation 字段(采用)

选 B 的代价:展示层要在 recommendation 里解析 "来自 Discord @xxx" 前缀。submitter_id FK 不再是真实用户,但审核 / 举报 / 归档仍然正常工作,主站 /u/{id}/shares 看不到这些提交(不希望在)。

discord-bridge 硬性禁用:password_hash='!'(非法 hex,口令校验永远失败)+ enabled=FALSE(即便未来误重置密码也挡住登录)。每次启动 ON CONFLICT DO UPDATE reconcile 这两列。

3. 两套通知路径,不同优先级

事件 触发 通道
FLAGGED(AI 高置信度命中 nsfw/ad/flame) 即时 ① Discord #moderator-only embed ② 邮件到所有 admin
PENDING_MANUAL(非白名单堆积) 每日 09:00 (Asia/Shanghai) digest:Discord + 邮件,含 10 条最久未处理示例
APPROVED 无 不打扰

实现上:

  • FLAGGED 走 backend AlertWebhookClient @Async POST 到 ChatBot 的 /alert/flagged endpoint
  • digest 是 ChatBot 的 @tasks.loop(time=...) 定时任务,自己拉 GET /api/community/links/internal/summary

两条链路共享 INTERNAL_API_KEY。webhook-url 配置留空时 backend 静默跳过;DIGEST_EMAIL_TO 留空时 bot 只推 Discord。

4. 白名单扩充

原白名单只有公众号/知乎/小红书/36kr/掘金/少数派 9 个域名。Discord 群日常分享里 arxiv 论文、github 项目、huggingface 模型占大头,之前全走 PENDING_MANUAL 挤队列。

新加:arxiv.org / www.arxiv.org / github.com / huggingface.co。AI 的 nsfw/ad/flame 仍作兜底。

5. /share 的 UX 取舍

初版设计显示"✅ 已收录 状态:审核中 ID:42"风格 embed。被用户反馈:"这不如直接贴"。Discord 原生对任意 URL 自动 unfurl 出大卡 OG 预览,自己做 embed 反而绕开了这个特性。

最终版:/share 回复的消息正文直接就是 URL(触发 Discord 原生预览),下面跟一行 -# subtext 小字 ✅ 已收录到 [内卷地狱分享库] · #123 · by xxx。删掉"审核中"文案——API 200 就是入库了,PENDING_MANUAL/FLAGGED 是展示层决定,告诉用户反而让人觉得失败。

API 设计

统一在 /api/community/links/internal/**,走 X-Internal-Key header 鉴权(SaTokenConfigure 对此路径放行,Controller 自己校验密钥)。

端点 用途
POST /internal 桥接提交。跳过 24h 限频,固定 submitter=discord-bridge,recommendation 自动前缀"来自 Discord @label"
GET /internal/{id} 查单条(Bot 原本用于轮询 enrichment 状态,后因 /share 改用 Discord 原生 unfurl 已不主动调用,但保留给未来场景)
GET /internal/summary 审核摘要(PENDING_MANUAL / FLAGGED / APPROVED 24h 新增 + N 条最久未处理样本),供每日 digest 用

密钥比较用 MessageDigest.isEqual(constant-time),避免 timing side-channel。未配置 key 时接口整体返回 503,防裸奔。

部署

两个组件都在 Oracle 主站 api.involutionhell.com 这台:

  • backend:docker compose(/home/ubuntu/involution-hell/),involutionhell-backend:latest
  • ChatBot:/home/ubuntu/ChatBot/,uv run chat-bot(nohup 跑,systemd 待接)

两边共享 /home/ubuntu/involution-hell-project/backend/.env 作为单一 .env 源:

  • INTERNAL_API_KEY —— 共享密钥(双向鉴权)
  • DISCORD_BOT_TOKEN / DISCORD_WATCH_CHANNEL_IDS / DISCORD_GUILD_ID
  • GMAIL_USER / GMAIL_APP_PASSWORD / DIGEST_EMAIL_TO(支持逗号分隔多地址)
  • COMMUNITY_ALERT_WEBHOOK_URL=http://127.0.0.1:6200/alert/flagged
  • DISCORD_ADMIN_CHANNEL_ID(留空则只发邮件)

部署后坑

  1. docker build 副本目录:/home/ubuntu/involution-hell/ 是部署副本,src 是旧的。build 必须在 /home/ubuntu/involution-hell-project/backend/,否则新代码进不去镜像。
  2. Gmail App Password 带空格:.env 里必须加引号 GMAIL_APP_PASSWORD="yfti yosy ezot dxoe",否则 shell source 时会把第二个 token 当命令。
  3. SPRING_DATASOURCE_URL 容器 vs 宿主机:项目 backend .env 里是 127.0.0.1(dev),部署 .env 里必须是 postgres(compose service hostname)。两个 .env 不能直接互拷。

测试

backend(PR #18)

  • 单元:SharedLinkEnrichmentWorkerTests × 8
  • 集成:SharedLinkInternalControllerIntegrationTests × 10(覆盖 3 端点 × 鉴权分支 + 409/400/404/sampleLimit)
  • 总:community/ 包下 41 tests all green

ChatBot(main 分支)

  • 42 tests all green:
    • config 解析(watch_channel_ids / guild_id 空值降级 / email 三字段齐全)
    • email_sender 多收件人 + 异常兜底
    • digest _parse_hhmm 合法 / 非法降级
    • listener + commands 两套 URL 正则
    • alert_server aiohttp TestClient × 5(鉴权 + payload 解析)
    • api_client submit + fetch_link + fetch_summary

不写 Discord Cog 完整流程(on_message / Interaction)的测试:discord.py 一整套 mock 成本远高于收益,E2E 由真实 Discord server 覆盖。

已知 follow-up

  • ChatBot 接入 systemd(现在 nohup 跑,Oracle 重启会丢)
  • 前端 /feed 页面展示 recommendation 中的 "来自 Discord @xxx" 前缀,做为提交源标签
  • 域名黑名单机制(目前只有白名单 + AI flag 兜底,没有硬黑)
  • FLAGGED 邮件改 HTML 样式(当前纯文本)
  • 把 ChatBot 也加进 docker compose,走容器 DNS 替代 host.docker.internal + iptables hack
  • buildAdminSummary 的 sample 查询下推到 SQL 层 LIMIT(Copilot PR #19 CR #3),当前全量拉 findPendingForAdmin 再 stream limit,队列 > 100 时考虑重构

2026-04-24 补:PR #19 + UX 改造(初版上线当晚的发现)

🔥 触发事件:@raven 发了篇 DeepSeek-V4 文章没上架

群友 @raven 在 #rookie-channel 发了 https://mp.weixin.qq.com/s/8bxXqS2R8Fx5-1TLDBiEDg(DeepSeek-V4 预览版发布公告),Bot 正常收录成了 shared_links.id=9,但是:

  1. AI 把它判成 ad=true → status=FLAGGED,不上架
  2. 管理员没收到告警邮件 → 因为 webhook 链路一直默默失败
  3. @raven 本人也没收到任何反馈 → 他以为 Bot 没工作

三个独立问题一起暴露,全部在这版修完。

Bug #1:webhook 从容器内连不上宿主机 Bot

根因:后端跑在 docker 容器里,.env 里写的 COMMUNITY_ALERT_WEBHOOK_URL=http://127.0.0.1:6200/alert/flagged —— 容器内 127.0.0.1 是容器自己,打不到宿主机的 ChatBot aiohttp server。

AlertWebhookClient 日志一直在哭但被用户忽略:

WARN  c.i.b.c.service.AlertWebhookClient : alert webhook 失败(忽略): linkId=9 error=null

修复(PR #19):

  • ChatBot cogs/alerts.py:aiohttp 从 127.0.0.1 改绑 0.0.0.0
  • docker-compose.yml backend service 加 extra_hosts: host.docker.internal:host-gateway
  • .env 的 webhook URL 改成 http://host.docker.internal:6200/alert/flagged
  • 宿主机 iptables 允许 docker bridge → :6200(Oracle 默认 REJECT 所有非白名单入站):
    sudo iptables -I INPUT -s 172.16.0.0/12 -p tcp --dport 6200 -j ACCEPT \
         -m comment --comment "ChatBot alert webhook from docker bridges"
    sudo iptables-save > /etc/iptables/rules.v4

更彻底的长期方案:把 ChatBot 也 dockerize 加进 compose,走容器 DNS http://chatbot:6200,不用 host-gateway 也不用 iptables hack。留给 systemd/容器化那次重构一起做。

Bug #2:AD flag 误判率过高

DeepSeek 把 "迈入百万上下文普惠时代 · 即刻体验顶级长文本记忆能力" 这类产品发布公告判成广告,因为 prompt 原本只说"广告、营销软文、商业推广",范围太宽。

修复(同 PR #19 的 ClassificationService prompt):改"宁松勿严"策略,ad 要同时满足:

  • (a) 主体是商品 / 课程 / 服务 / 会员购买引导
  • (b) 几乎没独立内容价值

并明确给反例:产品发布公告 / 版本更新说明 / 技术博客 / 论文宣传 / 开源项目介绍 / 新闻报道 / 个人作品集 —— 一律 false。

nsfw / flame 也做了类似 soften:强调"明确涉及"才 true,理性观点分歧不算 flame。

Bug #3(UX):提交人无感知

原来群友发完链接后只能看到 Discord 原生的 URL 预览,Bot 既不 ack 也不告知结果。导致:

  • 用户以为 Bot 没工作
  • 被 FLAGGED / PENDING_MANUAL 的用户不知道要联系管理员 appeal
  • 没人愿意用 /share 指令因为比贴链接还没反馈

新 UX(ChatBot 4140f9c):

Step 1 · 立即 @user 反馈(< 1s):

感谢 @xxx 大佬分享!正在过审核,通过后会上架 [内卷地狱分享库] #123

Step 2 · 后台轮询 asyncio.create_task 每 2s 查一次 /internal/{id},最多 30s:

终态 bot 回复
APPROVED 🎉 @user 已上架 · #123 [点此查看]
PENDING_MANUAL ⏳ @user 非白名单域名(host),需人工复核。长时间未过可私信管理员 🙏
FLAGGED ⚠️ @user AI 审核认为命中敏感标签,已进入人工复核队列。如是误判可私信管理员 appeal 🙏
REJECTED ❌ @user 被管理员拒绝,有疑问私信管理员
ARCHIVED 📦 @user 原文已失效
超时 静默不发(enrichment 通常 2-5s 搞定,30s 还没完就不打扰了)

去重、API 失败、网络异常也都有对应的友好 reply,不让用户懵。mention_author=False 避免连续 @ 触发手机 push spam。

这次暴露的经验

  • 容器部署新 service 之前,先想清楚 "从容器内调外部服务" 的 IP 路径。127.0.0.1 / docker bridge gateway / host.docker.internal 都不一样。
  • 宿主机 iptables 规则要持久化(/etc/iptables/rules.v4),不然 Oracle 重启后 webhook 又挂。
  • fire-and-forget webhook 的失败必须有 alert 之外的反馈路径。这次 AlertWebhookClient 的 log 被吞了一整个下午,如果是强依赖链路而不是可选 alert,会更严重。
  • AI 判定器的 prompt 要把反例列出来。只说"xxx 是什么"会让模型倾向于 false-positive,补"xxx 不包括什么"立竿见影。
  • LLM-based classifier 不应该成为硬路径。我们的 status 流转里 FLAGGED 只是"进人工队列"不是"拒绝",这个设计是对的——即使 AI 误判,人工审核也能救回来。这次 UX 改造给用户一条 appeal 路径是必要补充。

2026-04-24 再补:审核策略简化 + 屏蔽 Discord 源

Bug #4:白名单策略太保守导致 /feed 常年只 1 条

/feed 上线后用户发现 Discord 提交的链接几乎全不见。原因:非白名单域名(arxiv.org / scholar.google.com / bilibili.com / dev.to 等)全部落到 PENDING_MANUAL,而管理员没人看队列。

审计了一下实际数据:上线 5 天内 5 条 Discord 提交只有 1 条自动 APPROVED(mp.weixin.qq.com + AI 无 flag),其它 4 条都在审核队列躺着。

改法(PR #19 commit 630fd6c):信任 AI 判断,干掉 PENDING_MANUAL 分支。

  • AI 任一 flag 命中 → FLAGGED
  • AI 无 flag → APPROVED(不管域名)

DomainWhitelist 类保留作为未来的 fast-path(可用于跳过 AI 调用省 token),当前不参与状态决策。

Bug #5:合规要求 —— 中国法律 illegal flag

面向中国大陆互联网社群,必须识别违反《网络安全法》《网络信息内容生态治理规定》的内容。

ClassificationResult 加第 4 个 flag illegal。prompt 明确列出判定标准:

  • 反对宪法 / 颠覆国家政权 / 分裂国家
  • 港独 / 台独 / 藏独 / 疆独
  • 攻击党和政府、民族仇恨
  • 邪教(法轮功等)、封建迷信
  • 赌博 / 毒品 / 淫秽 / 暴力恐怖
  • 翻墙 VPN 售卖 / 违禁品交易
  • 泄露国家秘密

对 illegal 采用"宁可误报"策略(与其它 flag 的"宁松勿严"相反)。学术中立讨论敏感话题不算 illegal。

Bug #6:Security gap —— provider content filter 被当 fallback 放行

测试时发现:智谱 GLM 在检测到赌博 / 邪教内容时直接返回 {"error":{"code":"1301"}} 不返回 choices。原 ClassificationService.parseResponse 走到 catch → fallback() → 全 false → 违法内容自动 APPROVED。

防线倒挂。修复:新增 ClassificationResult.blockedByContentFilter() 工厂方法(illegal=true),parseResponse 先检查 error.code=1301 或 contentFilter 字段非空,命中直接返回;其它上游错误(限流/鉴权)仍走普通 fallback 不误标。

Bug #7:用户复制消息链接误入库

discord.com/channels/.../.../...(右键消息 → 复制链接)经常被用户手滑粘到频道,bot 当作分享收录,污染 /feed。

ChatBot 88d63e0:listener 加 _SKIP_HOSTS 静默跳过:

discord.com / www.discord.com / canary.discord.com / ptb.discord.com
discord.gg
discordapp.com / cdn.discordapp.com / media.discordapp.net

匹配精确 host(防 discord.com.evil.com 钓鱼),大小写不敏感。静默忽略不 reply,像 bot 没看见。

数据清理

这波一起处理的历史记录:

  • 3 条 PENDING_MANUAL(id=2/5/10 arxiv / mmbiz / scholar)→ 手动 APPROVED
  • 1 条 FLAGGED id=4 discord.com → DELETE(屏蔽规则上线后不会再产生)
  • 1 条 FLAGGED id=9 DeepSeek-V4 公告 → 手动 APPROVED(AI 误判 ad,新 prompt 下次不会)

/feed 现在显示 5 条 APPROVED。

这次的经验

  • 产品策略比技术实现更影响落地效果。白名单 PENDING_MANUAL 架构技术上没毛病,但配合"管理员不看待审队列"的人性 = 99% 提交永远不上架。删一个分支比任何通知系统都见效。
  • LLM content filter 的 refuse 是强信号,不是 fallback 候选。provider 自己拒绝 = provider 觉得敏感 = 十有八九真敏感。默认 "fail open" 放行 = 安全防线颠倒。
  • 合规红线要显式列在 prompt 里。不要指望模型"凭本能"识别法律边界——特别是跨司法辖区(面向中国大陆的内容审核 vs 模型训练数据的欧美语料默认)。每一条法律红线都要明示并举例。

Clone this wiki locally