GithubHelp home page GithubHelp logo

beatsleo / social-mindset-analysis Goto Github PK

View Code? Open in Web Editor NEW
7.0 1.0 1.0 94.2 MB

2023年四川大学大创项目—基于开放域事件提取的社会心态交互式挖掘与引导系统

Python 46.89% Jupyter Notebook 53.11%
nlp open-domain

social-mindset-analysis's Introduction

交互式社会心理分析系统(ISPS)

2023年四川大学大创项目—基于开放域事件提取的社会心态交互式挖掘与引导系统

项目简介

​ 随着互联网的社会问题和矛盾不断积累,消极社会心态的及时挖掘和引导愈发重要。为此,本项目基于人在环路、开放域事件抽取与社会心态分析的技术框架,构建基于开放域事件提取的社会心态交互式挖掘与引导系统,交互式挖掘社会心态的演化机制,摸清其背后的事件原因,并提供社会心态引导建议,形成针对社会心态的智能监控、分析、归因和引导的一体化解决方案,辅助社会治理。

​ 本项目所使用的深度学习模型[1]基于Pytorch框架开发,网站前端使用Vue框架,后端使用Django框架。

功能介绍

​ 本项目通过爬取微博、BiliBili等主流网络平台得到互联网的动态信息,并从该信息中监控所含事件,分析互联网用户的心态变化,并归因到对应事件中。此外,针对不同事件所造成的心态影响,本项目也会为其定制地进行合理地心态引导。具体技术流程见技术细节

网站向导

​ 本项目网站主要分为如下5个界面。其中,可以在心态分析界面看到近期全国心态变化,并可通过点击浏览引起变化的背后事件导向;在热点事件界面看到近期热点事件以及活跃地区;在心态调整建议界面获取心态调整建议;在模型接口界面使用我们的模型,并给予反馈以供模型的修正。

项目网站使用简介

​ 项目网址为:http://www.beatsleo.com:8080

image-20230417201907357

技术细节

​ 我们将爬取到的数据分为用户动态和网友评论两部分。对于用户动态,我们使用Bart模型进行文本摘要,找出核心事件,并训练DeBERTa模型识别关键命名实体,将重合度高的事件进行聚类合并。在获得核心事件后,我们训练RoBERTa模型对核心事件及其下的评论进行心态分析,并将其归因于对于事件。除此之外,我们利用GPT2训练了引导建议的生成模型,针对不同事件对其所造成的心态影响进行合理引导。这里训练所使用的预训练模型均源自于IDEA-CCNL的封神榜语言模型[1]

参考文献

[1] IDEA-CCNL: Fengshenbang-lm. https://github.com/IDEA-CCNL/Fengshenbang-LM (2021)

social-mindset-analysis's People

Contributors

akrachel avatar beatsleo avatar lyy030914 avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar

Forkers

texas-dog

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.