近日，国豪书院2022级交通工程（精英班）专业李敏行同学作为第一作者完成的学术论文《Urban traffic evaluation with social media data: A consensus-based LLM negotiation paradigm》成功被交通运输工程领域顶级期刊Transportation Research Part A: Policy and Practice录用。该研究面向城市交通的出行体验评价，提出了基于大语言模型的出行者主观体验评价框架：以社交媒体数据为基础，构建基于共识的大语言模型协商机制，实现对交通参与者真实体验与出行感受的情感分析与量化评价。本研究在交通学院苏子诚研究员和马万经教授的共同指导下完成。
Transportation Research Part A: Policy and Practice是交通运输领域的国际权威期刊，致力于为全球交通政策制定与实践提供科学依据和学术支持。该刊发表的研究成果深入探讨交通系统与社会经济发展的互动关系，对公共政策制定具有重要价值。该期刊同时也被认定为中科院1区（工程技术类）和JCR Q1区（交通、运输、经济学类）期刊。
《交通强国建设纲要》明确提出，要建设“人民满意、保障有力、世界前列的交通强国”，其中“人民满意”被置于首要位置。与此同时，随着智能交通系统的持续发展，交通规划、管控、服务与治理正逐步从“保障需求、实现通达”的基础阶段，向追求高质量效能、提升出行者满意度的更高层次迈进。在此背景下，交通评价也亟需从以流量、速度、延误等客观运行指标为主的传统范式，转向更加关注出行者在真实场景中的主观体验与感受，从而为智能交通发展提供以出行者为中心的决策依据和政策启示。
本研究基于社交媒体数据，构建了一个以共识驱动的大模型（LLM）协商范式为核心的城市交通评价系统。下图展示了该研究的整体评价框架，其中大模型被贯穿式嵌入数据获取、内容识别、情感量化和结果解释等关键环节。首先，研究构建了面向城市交通场景的关键词词典，用于高质量社交媒体数据的精准检索与收集。其次，针对评价维度识别和情感强度量化这两个关键任务，提出了一种基于共识的大模型协商范式，使多个模型围绕同一文本进行讨论、修正与迭代判断，从而将传统的一次性评价过程转化为可校正、可追溯、逐步收敛的零样本学习过程。最后，协商过程中生成的完整日志不仅保留了模型形成判断的依据，也为城市交通规划、设计与治理提供了具有解释性的政策建议和决策支持。整体而言，该协商机制在降低单一模型幻觉与判断偏差的同时，也显著提升了评价结果的稳定性与可解释性。
本研究提出的大模型协商评价机制，涉及两个LLM参与者：生成器输出评价结果，判别器评估输出的质量并提供反馈以供改进，具体协商过程示意见下图。生成器先输出数据的评价指标分类、主观体验得分和原因，判别器则对输出进行检查和判断。如果未能达成共识，判别器将向生成器提出关于评价结果的修改建议和理由，以便进一步协商讨论。直到二者达成共识，生成器的答案将被采纳作为结果。
本研究基于微博平台收集2023—2024两年间全国范围的共315538条出行体验数据。所提出的方法所生成的检索关键词覆盖交通领域专家词典82.86%的语义范围，有效剔除过于专业、不符合社交媒体表达习惯的术语，并且平均每个关键词可获取35.12条有效数据，明显高于专家词典的约22.25条。
在评价结果上，论文以上海和北京为案例开展独立重复验证实验。结果表明，所提出的框架能够稳定输出城市交通多维度评价结果，在零样本学习下的独立重复实验中达到预训练RoBERTa等SOTA模型的水平，并展现出较好的稳健性。此外，所提出的评价范式能进一步识别评价结果背后的关键问题，并形成有针对性的分析与建议。
本研究构建了一个基于社交媒体数据的出行体验可泛化评价框架，并验证了其在评价过程中的稳健性与可解释性。与此同时，研究提出了一套面向交通出行主观体验数据的高效采集方法，以及基于出行者视角的协商式评价机制，从而为刻画真实场景下出行者对城市交通系统的主观感知提供了新的技术路径。上述方法将进一步封装为功能模块，集成至交通学院自研“行之”智慧交通大模型中，为“行之”在城市交通评价、道路交通管控与智能治理等方向的研究与应用奠定坚实基础。
本研究最早孵化于“同路人”交通科技大赛和大学生创新创业训练计划（SITP）项目。团队由三位国豪书院同学和一位交通学院同学组成，成员分工明确、协作紧密，良好的团队合作为研究顺利推进提供了重要保障。同时，苏子诚老师和马万经老师的悉心指导也是团队克服困难、持续推进研究的重要支撑。两位老师通过定期组织讨论与交流，帮助团队及时发现问题、校准研究方向，为项目顺利开展发挥了关键作用。团队四位同学未来都将继续深造，并将在交通、计算机等领域持续探索、贡献力量。
团队成员：
·国豪书院2022级交通工程（精英班）李敏行
·国豪书院2022级计算机科学与技术（精英班）闫浩扬
·国豪书院2022级交通运输（精英班）武鹏凯
·交通学院2022级交通运输范程