项目定位与系统架构#

SentimentPlatform-Open 是一个面向海量社交文本舆情监测与情感倾向度判别的工业级全栈分析平台。

在当下复杂的内容生态中，纯规则匹配容易挂一漏万，而完全依赖云端大模型 API 则成本高昂且无法保证吞吐量与低延迟。本项目创新性地设计了**“本地轻量预训练模型（BERT/RoBERTa）高吞吐推理＋云端大模型协同纠偏＋增量微调闭环重训”**的混合智能架构。

[社交文本流] ➔ 文本清洗与特征提取
                    ⬇
[轻量深度学习推理] ➔ 置信度判别引擎
       ├── 置信度 ≥ 0.70 ➔ 自动采信 ➔ 实时入库与情感大屏呈现
       └── 置信度 < 0.70 ➔ 边缘模糊样本
                               ⬇
[大模型辅助判别 / 专家标注复核] ➔ 修正样本落入重训集
                               ⬇
[Celery 异步训练队列] ➔ PyTorch 增量微调 ➔ 权重热切换上线

置信度阈值与主动人工复核#

系统引入了严格的 0.70 置信度分流防线：

自动高频采信：对于置信度 ≥ 0.70 的明确样本，直接由本地轻量深度学习模型输出正向/负向/中性情感标签并实时入库；
主动复核隔离：对于低于 0.70 的边缘歧义或反讽样本，系统绝不强行采信，而是打上待审标记推入复核队列；
阻断脏样本污染：必须经过专家标注或云端大模型二次交叉校验后，修正样本方可纳入下一轮增量微调数据集，从源头杜绝错误推断累积并污染模型权重。

异步任务调度与训练队列物理隔离#

基于 Celery 与 Redis 构建分级异步任务体系，彻底解决计算密集型任务阻塞 Web 进程的痛点：

秒级推理队列：负责批量文本的实时特征提取、情感打分与趋势聚合；
重型训练队列：将分钟级甚至小时级的 PyTorch 增量微调重训任务调度至专属 Worker 进程，限制并发数并配置独立内存上限，确保后台繁重重训任务绝不影响前台高频查询与仪表盘渲染。

细粒度三角色 RBAC 与安全纵深#

系统在前后端均实施了严格的三角色权限控制（超级管理员 / 标注专家 / 普通访客）：

前端路由守卫：动态根据用户角色挂载导航菜单与敏感操作按钮（如模型微调、权重热加载、批量删除）；
后端强制拦截：通过自定义 Django 中间件与 DRF 视图权限类，在 API 入口层校验数据所有权与操作权限，彻底杜绝水平与垂直越权。

工程质量与验证基准#

全套工程配套了 122 个自动化单元测试与集成测试用例，覆盖从分词预处理、置信度边界判定、Celery 异步任务状态机到模型权重动态热加载的全流程，保证了系统的强健性与高可用性。