Repository navigation
Changelog 2026 04 23 Discord ChatBot
负责人:@longsizhuo 关联 PR:involutionhell-backend#18 · involutionhell-backend#19 · InvolutionHell/ChatBot 状态:已上线(Oracle 主站 nohup 跑,systemd 待接入) 最后更新:2026-04-24(PR #19 + UX 改造 + iptables 坑)
把 involutionhell Discord 群的链接分享接入主站 shared_links:群友直接贴链接自动收录,/share 斜杠命令主动推荐,同时解决"FLAGGED 内容没人看得到 / 管理员看不到待审队列"两个老问题。
Community-Shared-Links 墙上线后暴露两个问题:
- 没人愿意贴链接 —— 从 Discord 群复制 → 打开主站 → 填 URL → 点提交,摩擦太大。但 Discord 群每天都有人自发分享。
-
审核队列无人看 ——
PENDING_MANUAL/FLAGGED只能通过GET /api/admin/community/links/pending拉,没通知机制,堆多了也没人知道。
两件事并到一个改动里:Discord Bot 做搬运工 + 打通审核告警链路。
Discord 群(involutionhell)
│
├─ 群友发消息带链接 → ChatBot 监听(频道白名单内)
└─ /share <url> → ChatBot 收到 Interaction
│
▼
ChatBot(Oracle 主站,nohup)
│ POST /api/community/links/internal
│ header X-Internal-Key: <shared secret>
▼
involution-hell-backend(127.0.0.1:8080, 不经 Caddy)
│
├─ UrlNormalizer 规范化 + 去重
├─ insert shared_links (status=PENDING, submitter_id=discord-bridge)
└─ @Async SharedLinkEnrichmentWorker
├─ OgFetchService 抓 OG
├─ ClassificationService → DeepSeek 分类 + 安全审查
└─ 决定终态:
├─ APPROVED (白名单 + 无 flag)→ 主站 /feed 公开
├─ PENDING_MANUAL (非白名单) → 人工待审
└─ FLAGGED (nsfw/ad/flame) → 人工待审 + ⚡ 实时告警
│
▼
AlertWebhookClient
POST 127.0.0.1:6200/alert/flagged
│
▼
ChatBot 内嵌 aiohttp
├─ Discord 管理员频道 embed
└─ Gmail SMTP 邮件
第一版原本打算 Bot 直接写 Postgres(另起 share.submission 表),被打回。理由:绕开 SharedLinkEnrichmentWorker = 绕开 AI 审核 + 白名单 + 举报 + 归档 = 合规性归零。最终 Bot 调 API,所有机器人渠道的内容走同一套审核管线,和网站用户手动提交无差别。
Discord 用户不在 user_accounts 里。选项:
- A. 给每个 Discord 用户建行(需映射 Discord ID ↔ user_accounts.github_id,迁移脏)
- B. 所有 Discord 提交共用一个系统账号
discord-bridge,真实分享人名放recommendation字段(采用)
选 B 的代价:展示层要在 recommendation 里解析 "来自 Discord @xxx" 前缀。submitter_id FK 不再是真实用户,但审核 / 举报 / 归档仍然正常工作,主站 /u/{id}/shares 看不到这些提交(不希望在)。
discord-bridge 硬性禁用:password_hash='!'(非法 hex,口令校验永远失败)+ enabled=FALSE(即便未来误重置密码也挡住登录)。每次启动 ON CONFLICT DO UPDATE reconcile 这两列。
| 事件 | 触发 | 通道 |
|---|---|---|
| FLAGGED(AI 高置信度命中 nsfw/ad/flame) | 即时 | ① Discord #moderator-only embed ② 邮件到所有 admin |
| PENDING_MANUAL(非白名单堆积) | 每日 09:00 (Asia/Shanghai) | digest:Discord + 邮件,含 10 条最久未处理示例 |
| APPROVED | 无 | 不打扰 |
实现上:
- FLAGGED 走 backend
AlertWebhookClient@Async POST 到 ChatBot 的/alert/flaggedendpoint - digest 是 ChatBot 的
@tasks.loop(time=...)定时任务,自己拉GET /api/community/links/internal/summary
两条链路共享 INTERNAL_API_KEY。webhook-url 配置留空时 backend 静默跳过;DIGEST_EMAIL_TO 留空时 bot 只推 Discord。
原白名单只有公众号/知乎/小红书/36kr/掘金/少数派 9 个域名。Discord 群日常分享里 arxiv 论文、github 项目、huggingface 模型占大头,之前全走 PENDING_MANUAL 挤队列。
新加:arxiv.org / www.arxiv.org / github.com / huggingface.co。AI 的 nsfw/ad/flame 仍作兜底。
初版设计显示"✅ 已收录 状态:审核中 ID:42"风格 embed。被用户反馈:"这不如直接贴"。Discord 原生对任意 URL 自动 unfurl 出大卡 OG 预览,自己做 embed 反而绕开了这个特性。
最终版:/share 回复的消息正文直接就是 URL(触发 Discord 原生预览),下面跟一行 -# subtext 小字 ✅ 已收录到 [内卷地狱分享库] · #123 · by xxx。删掉"审核中"文案——API 200 就是入库了,PENDING_MANUAL/FLAGGED 是展示层决定,告诉用户反而让人觉得失败。
统一在 /api/community/links/internal/**,走 X-Internal-Key header 鉴权(SaTokenConfigure 对此路径放行,Controller 自己校验密钥)。
| 端点 | 用途 |
|---|---|
POST /internal |
桥接提交。跳过 24h 限频,固定 submitter=discord-bridge,recommendation 自动前缀"来自 Discord @label" |
GET /internal/{id} |
查单条(Bot 原本用于轮询 enrichment 状态,后因 /share 改用 Discord 原生 unfurl 已不主动调用,但保留给未来场景) |
GET /internal/summary |
审核摘要(PENDING_MANUAL / FLAGGED / APPROVED 24h 新增 + N 条最久未处理样本),供每日 digest 用 |
密钥比较用 MessageDigest.isEqual(constant-time),避免 timing side-channel。未配置 key 时接口整体返回 503,防裸奔。
两个组件都在 Oracle 主站 api.involutionhell.com 这台:
-
backend:docker compose(
/home/ubuntu/involution-hell/),involutionhell-backend:latest -
ChatBot:
/home/ubuntu/ChatBot/,uv run chat-bot(nohup 跑,systemd 待接)
两边共享 /home/ubuntu/involution-hell-project/backend/.env 作为单一 .env 源:
-
INTERNAL_API_KEY—— 共享密钥(双向鉴权) -
DISCORD_BOT_TOKEN/DISCORD_WATCH_CHANNEL_IDS/DISCORD_GUILD_ID -
GMAIL_USER/GMAIL_APP_PASSWORD/DIGEST_EMAIL_TO(支持逗号分隔多地址) COMMUNITY_ALERT_WEBHOOK_URL=http://127.0.0.1:6200/alert/flagged-
DISCORD_ADMIN_CHANNEL_ID(留空则只发邮件)
-
docker build 副本目录:
/home/ubuntu/involution-hell/是部署副本,src 是旧的。build 必须在/home/ubuntu/involution-hell-project/backend/,否则新代码进不去镜像。 -
Gmail App Password 带空格:
.env里必须加引号GMAIL_APP_PASSWORD="yfti yosy ezot dxoe",否则 shell source 时会把第二个 token 当命令。 -
SPRING_DATASOURCE_URL 容器 vs 宿主机:项目 backend .env 里是
127.0.0.1(dev),部署 .env 里必须是postgres(compose service hostname)。两个 .env 不能直接互拷。
backend(PR #18)
- 单元:
SharedLinkEnrichmentWorkerTests× 8 - 集成:
SharedLinkInternalControllerIntegrationTests× 10(覆盖 3 端点 × 鉴权分支 + 409/400/404/sampleLimit) - 总:
community/包下 41 tests all green
ChatBot(main 分支)
- 42 tests all green:
- config 解析(watch_channel_ids / guild_id 空值降级 / email 三字段齐全)
- email_sender 多收件人 + 异常兜底
- digest
_parse_hhmm合法 / 非法降级 - listener + commands 两套 URL 正则
- alert_server aiohttp TestClient × 5(鉴权 + payload 解析)
- api_client submit + fetch_link + fetch_summary
不写 Discord Cog 完整流程(on_message / Interaction)的测试:discord.py 一整套 mock 成本远高于收益,E2E 由真实 Discord server 覆盖。
- ChatBot 接入 systemd(现在 nohup 跑,Oracle 重启会丢)
- 前端
/feed页面展示recommendation中的 "来自 Discord @xxx" 前缀,做为提交源标签 - 域名黑名单机制(目前只有白名单 + AI flag 兜底,没有硬黑)
- FLAGGED 邮件改 HTML 样式(当前纯文本)
- 把 ChatBot 也加进 docker compose,走容器 DNS 替代 host.docker.internal + iptables hack
- buildAdminSummary 的 sample 查询下推到 SQL 层 LIMIT(Copilot PR #19 CR #3),当前全量拉 findPendingForAdmin 再 stream limit,队列 > 100 时考虑重构
群友 @raven 在 #rookie-channel 发了 https://mp.weixin.qq.com/s/8bxXqS2R8Fx5-1TLDBiEDg(DeepSeek-V4 预览版发布公告),Bot 正常收录成了 shared_links.id=9,但是:
-
AI 把它判成
ad=true→ status=FLAGGED,不上架 - 管理员没收到告警邮件 → 因为 webhook 链路一直默默失败
- @raven 本人也没收到任何反馈 → 他以为 Bot 没工作
三个独立问题一起暴露,全部在这版修完。
根因:后端跑在 docker 容器里,.env 里写的 COMMUNITY_ALERT_WEBHOOK_URL=http://127.0.0.1:6200/alert/flagged —— 容器内 127.0.0.1 是容器自己,打不到宿主机的 ChatBot aiohttp server。
AlertWebhookClient 日志一直在哭但被用户忽略:
WARN c.i.b.c.service.AlertWebhookClient : alert webhook 失败(忽略): linkId=9 error=null
修复(PR #19):
- ChatBot
cogs/alerts.py:aiohttp 从127.0.0.1改绑0.0.0.0 -
docker-compose.ymlbackend service 加extra_hosts: host.docker.internal:host-gateway -
.env的 webhook URL 改成http://host.docker.internal:6200/alert/flagged -
宿主机 iptables 允许 docker bridge → :6200(Oracle 默认
REJECT所有非白名单入站):sudo iptables -I INPUT -s 172.16.0.0/12 -p tcp --dport 6200 -j ACCEPT \ -m comment --comment "ChatBot alert webhook from docker bridges" sudo iptables-save > /etc/iptables/rules.v4
更彻底的长期方案:把 ChatBot 也 dockerize 加进 compose,走容器 DNS http://chatbot:6200,不用 host-gateway 也不用 iptables hack。留给 systemd/容器化那次重构一起做。
DeepSeek 把 "迈入百万上下文普惠时代 · 即刻体验顶级长文本记忆能力" 这类产品发布公告判成广告,因为 prompt 原本只说"广告、营销软文、商业推广",范围太宽。
修复(同 PR #19 的 ClassificationService prompt):改"宁松勿严"策略,ad 要同时满足:
- (a) 主体是商品 / 课程 / 服务 / 会员购买引导
- (b) 几乎没独立内容价值
并明确给反例:产品发布公告 / 版本更新说明 / 技术博客 / 论文宣传 / 开源项目介绍 / 新闻报道 / 个人作品集 —— 一律 false。
nsfw / flame 也做了类似 soften:强调"明确涉及"才 true,理性观点分歧不算 flame。
原来群友发完链接后只能看到 Discord 原生的 URL 预览,Bot 既不 ack 也不告知结果。导致:
- 用户以为 Bot 没工作
- 被 FLAGGED / PENDING_MANUAL 的用户不知道要联系管理员 appeal
- 没人愿意用
/share指令因为比贴链接还没反馈
新 UX(ChatBot 4140f9c):
Step 1 · 立即 @user 反馈(< 1s):
感谢 @xxx 大佬分享!正在过审核,通过后会上架 [内卷地狱分享库] #123
Step 2 · 后台轮询 asyncio.create_task 每 2s 查一次 /internal/{id},最多 30s:
| 终态 | bot 回复 |
|---|---|
| APPROVED | 🎉 @user 已上架 · #123 [点此查看] |
| PENDING_MANUAL | ⏳ @user 非白名单域名(host),需人工复核。长时间未过可私信管理员 🙏 |
| FLAGGED | |
| REJECTED | ❌ @user 被管理员拒绝,有疑问私信管理员 |
| ARCHIVED | 📦 @user 原文已失效 |
| 超时 | 静默不发(enrichment 通常 2-5s 搞定,30s 还没完就不打扰了) |
去重、API 失败、网络异常也都有对应的友好 reply,不让用户懵。mention_author=False 避免连续 @ 触发手机 push spam。
- 容器部署新 service 之前,先想清楚 "从容器内调外部服务" 的 IP 路径。127.0.0.1 / docker bridge gateway / host.docker.internal 都不一样。
-
宿主机 iptables 规则要持久化(
/etc/iptables/rules.v4),不然 Oracle 重启后 webhook 又挂。 - fire-and-forget webhook 的失败必须有 alert 之外的反馈路径。这次 AlertWebhookClient 的 log 被吞了一整个下午,如果是强依赖链路而不是可选 alert,会更严重。
- AI 判定器的 prompt 要把反例列出来。只说"xxx 是什么"会让模型倾向于 false-positive,补"xxx 不包括什么"立竿见影。
- LLM-based classifier 不应该成为硬路径。我们的 status 流转里 FLAGGED 只是"进人工队列"不是"拒绝",这个设计是对的——即使 AI 误判,人工审核也能救回来。这次 UX 改造给用户一条 appeal 路径是必要补充。
/feed 上线后用户发现 Discord 提交的链接几乎全不见。原因:非白名单域名(arxiv.org / scholar.google.com / bilibili.com / dev.to 等)全部落到 PENDING_MANUAL,而管理员没人看队列。
审计了一下实际数据:上线 5 天内 5 条 Discord 提交只有 1 条自动 APPROVED(mp.weixin.qq.com + AI 无 flag),其它 4 条都在审核队列躺着。
改法(PR #19 commit 630fd6c):信任 AI 判断,干掉 PENDING_MANUAL 分支。
- AI 任一 flag 命中 → FLAGGED
- AI 无 flag → APPROVED(不管域名)
DomainWhitelist 类保留作为未来的 fast-path(可用于跳过 AI 调用省 token),当前不参与状态决策。
面向中国大陆互联网社群,必须识别违反《网络安全法》《网络信息内容生态治理规定》的内容。
ClassificationResult 加第 4 个 flag illegal。prompt 明确列出判定标准:
- 反对宪法 / 颠覆国家政权 / 分裂国家
- 港独 / 台独 / 藏独 / 疆独
- 攻击党和政府、民族仇恨
- 邪教(法轮功等)、封建迷信
- 赌博 / 毒品 / 淫秽 / 暴力恐怖
- 翻墙 VPN 售卖 / 违禁品交易
- 泄露国家秘密
对 illegal 采用"宁可误报"策略(与其它 flag 的"宁松勿严"相反)。学术中立讨论敏感话题不算 illegal。
测试时发现:智谱 GLM 在检测到赌博 / 邪教内容时直接返回 {"error":{"code":"1301"}} 不返回 choices。原 ClassificationService.parseResponse 走到 catch → fallback() → 全 false → 违法内容自动 APPROVED。
防线倒挂。修复:新增 ClassificationResult.blockedByContentFilter() 工厂方法(illegal=true),parseResponse 先检查 error.code=1301 或 contentFilter 字段非空,命中直接返回;其它上游错误(限流/鉴权)仍走普通 fallback 不误标。
discord.com/channels/.../.../...(右键消息 → 复制链接)经常被用户手滑粘到频道,bot 当作分享收录,污染 /feed。
ChatBot 88d63e0:listener 加 _SKIP_HOSTS 静默跳过:
discord.com / www.discord.com / canary.discord.com / ptb.discord.com
discord.gg
discordapp.com / cdn.discordapp.com / media.discordapp.net
匹配精确 host(防 discord.com.evil.com 钓鱼),大小写不敏感。静默忽略不 reply,像 bot 没看见。
这波一起处理的历史记录:
- 3 条 PENDING_MANUAL(id=2/5/10 arxiv / mmbiz / scholar)→ 手动 APPROVED
- 1 条 FLAGGED id=4 discord.com → DELETE(屏蔽规则上线后不会再产生)
- 1 条 FLAGGED id=9 DeepSeek-V4 公告 → 手动 APPROVED(AI 误判 ad,新 prompt 下次不会)
/feed 现在显示 5 条 APPROVED。
- 产品策略比技术实现更影响落地效果。白名单 PENDING_MANUAL 架构技术上没毛病,但配合"管理员不看待审队列"的人性 = 99% 提交永远不上架。删一个分支比任何通知系统都见效。
- LLM content filter 的 refuse 是强信号,不是 fallback 候选。provider 自己拒绝 = provider 觉得敏感 = 十有八九真敏感。默认 "fail open" 放行 = 安全防线颠倒。
- 合规红线要显式列在 prompt 里。不要指望模型"凭本能"识别法律边界——特别是跨司法辖区(面向中国大陆的内容审核 vs 模型训练数据的欧美语料默认)。每一条法律红线都要明示并举例。