2025年6月12日,小红书在北京举办了打击“虚假”治理开放日活动,届时,财视传播受邀来到了活动现场。活动中,小红书虚假内容治理负责人蒂法与小红书黑灰产治理负责人必行,分别就大家关心的多个问题进行的分享。
据蒂法分享,2025年上半年小红书打击了320万的虚假笔记、1万的虚假人设账号、以及60万的低质AIGC笔记。
在识别虚假内容方面蒂法表示,用户表达个人感受和看法的内容是不具备客观信息传递过程的,所以不会去做真实性判断。在涉及客观信息的内容时,小红书建立了一套“前置拦截、事中追踪、分析回扫”的全面治理体系,并上线了内容信息量模型,笔记摘要提取模型,AIGC谣言诊断模型等15个识别大模型,并建立了真实信源库和谣言库,实现了对虚假内容的实时拦截和批量回扫。
1、内容信息量模型,主要帮助区分出哪些内容是需要进行真实性判断的,这个模型会过滤掉一些个人观点内容。
2、笔记摘要提取模型,该模型会基于一条内容,快速提取出时间、地点、人物、事件等重要信息,为后续的真实性比对提升效。
3、AI谣言诊断模型,这会基于AIGC的技术手段,收集全网信息辅助判断谣言信息。
4、小红书建立了信源库和谣言库。信源库中会会收录真实的内容,谣言库中会收录虚假内容,关于内容的真实性判断,有一部分来源于权威媒体发言。
一条笔记发布后会先过到内容信息量模型去判断是否需要真实性判断,如果需要就会走到笔记摘要提取模型环节进行摘要拆解,然后会到信源库中进行比对,如果有不匹配的情况则大概率会被认定为虚假内容。
蒂法在分享中指出,其实也有很多内容是不具备和信源库进行匹配的能力的,因为信源库中大多收录的是国家大事或重大事件,一些例如某地新开某店的事件一般不会记录。这类内容主要是依赖用户的举报,用户会在帖子下留言是虚假或者是举报笔记,这样就会进入到人工审核环节,人审的同学最后会结合AI模型进行一个最终的判断。
图源:官方提供
针对企业伙伴,小红书也上线了“争议性标签”和“限时加私”功能,有效保护企业降低虚假信息的影响。
在虚假人设治理方面,小红书采用了四大步骤:
1、完善账号准入制度,对可能涉及虚假人设的重点领域账号,要求提供更详细的身份信息和资质证明。
2、内容前置审核,识别可能存在虚假人设的线索,如内容中是否存在夸大、虚构身份或经历的表述,是否与已有真实信息存在矛盾等。
3、上线多个识别模型,检测内容中是否存在伪造场景、合成图片、虚假特效等问题。
4、算法挖掘账号网关系,通过算法,挖掘账号之间的关联关系,进一步印证身份是否真实。
活动现场,小红书黑灰产治理负责人必行为大家分享了小红书黑灰产治理的应对策略,针对黑灰产生产内容同质化严重的特点,小红书上线了50多种模型,强化账号、笔记、评论文本三维相似度识别。同时也实施了实名认证解冻策略,对高危账号先冻结,完成验证后解冻,极大程度提升了作恶成本。
图源:官方提供
在线上治理的同时,小红书案件调查团队还向多地警方和市场监督部门积极提供线索,对黑灰产团伙进行线下打击。目前有7起案件在侦办中,后续警方和市场监督部门将根据调查结果采取各种处罚措施,涉及犯罪行为的还将进一步追究刑事责任。
截至目前,小红书黑灰产治理行动累计封禁账号1000万+,实现了黑灰产账号曝光次数减少80%。
现场的问答环节,财视传播进行了提问:“接到虚假和灰产举报后,小红书的处理流程是怎样的?”
蒂法介绍:接到虚假举报后,首先是机审流程,因为举报量比较大所以由模型先判断,随后部分内容会进入人审环节,会对内容进行针对性判断。这种判断也不是纯个人判断,因为每个人有自己的局限性,所以在举报环节也借助了AI,AI先去搜集笔记有关的内容,审核会相应去了解可供参考的信息源,也会用AI关键信息提取来帮助工作,最终做出判断。”