asoulcnki / oauth

OAuth Service provide by ASoulCnki(枝网)

A-SOUL评论区小作文 枝网查重系统

网站地址：https://asoulcnki.asia

项目首页：https://github.com/ASoulCnki

项目后端（基于spring boot）已迁移至 https://github.com/ASoulCnki/ASoulCnkiBackend

项目前端（基于vue2）已迁移至 https://github.com/ASoulCnki/ASoulCnkiFrontend

项目新前端（基于vue3）已迁移至 https://github.com/ASoulCnki/ASoulCnkiFrontendV3

本项目为枝网查重的动态+评论区爬虫部分

爬虫部署文档:Deploy.md

简介

想法起源

NGA Asoul板块

• 想搞一个asoul知网查重小作文。

豆瓣相关讨论

• 一个想法，发病小作文查重系统， 来征求一下豆油的意见
• ASoul评论区发病小作文 枝网查重系统 需求讨论楼

简单总结就是做一个A-Soul评论区的小作文数据库，并提供查重能力。让广大au可以精准甄别评论是是原偷/原创，还是从之前的评论区复制粘贴改词偷来的😈

A-Soul 简介

A-SOUL是乐华娱乐于2020年11月23日公开的其旗下首个虚拟偶像团体，由5名成员组成。

A-SOUL主页链接：https://space.bilibili.com/703007996
乃琳：https://space.bilibili.com/672342685
珈乐：https://space.bilibili.com/351609538
嘉然：https://space.bilibili.com/672328094
贝拉：https://space.bilibili.com/672353429
向晚：https://space.bilibili.com/672346917

在未来学院中，五位性格迥异的少女，为了成为偶像这一共同目标走到一起，并且为之努力奋斗。 设定中，她们生活在虚拟城市枝江。所以系统名为枝网查重系统（化用知网）。

Todos

一期计划开发进度:

• 完成基本的动态和评论区爬虫
• 基于数据库实现增量式爬虫, 近实时更新评论数据（基本完成）
• 构建查重系统
• 查重网站前后端

优化点：

• 使用不同的celery队列放置不同的任务
• 使用代理池和更合适的客户端限流策略避免被叔叔封禁ip（采取了使用较低的爬取频率的办法)
• 错误处理，如被限流时更换ip，出现未知错误时邮件/短信告警（已实现邮件报警)

oauth's Issues

CORS配置不当

oauth.asoulcnki.asia/:1

   Access to XMLHttpRequest at 'https://api.asoulcnki.asia/oauth/v1/uid' from origin 'https://oauth.asoulcnki.asia' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.

管理API

需要添加一组管理API，用于管理以下内容

• 监听账号池的账号cookie，提供增删功能
• token 和 session 的过期时间
• 根据 uid 配置黑名单，提供增删功能

管理API通过在参数中携带指定的参数来鉴权，鉴权参数的名称和值都应当是可配置的

新增多账号收取

• 添加多账号收取功能，支持多组 Cookie
• 将不同的 Cookie 固定分配给不同的 Worker，如果能错开时间就更好了
  • 读 Cookie 的时候顺便可以把 uid 整理好
• 新增一个获取账号的接口，用于给前端分发账号uid

数据持久化

目前的用户信息是放在Redis里的，所以遇到特殊情况，可能回丢失数据，需要把Redis的数据持久化