Comments (37)
https://github.com/wangyuxinwhy/uniem/tree/main/mteb-zh 能否直接读取本地微调后的模型进行一键评测?
如果可以通过 sentence_transformers 加载就可以,指定自己的模型就可以了
from uniem.
我看了一下数据集,感觉没啥问题.... 我也试试微调一下.... 有结果我和你说
from uniem.
抱歉,这两天有点忙,才来处理 issue。能提供 uniem 使用的版本,以及可复现 bug 的代码吗?
我在 colab 上,没有复现这个bug
from uniem.
你好 怎么pip install 不了 uniem
from uniem.
你好 怎么pip install 不了 uniem
uniem 只支持 3.10 以上,是不是 python 版本不匹配呀?
from uniem.
确实是! 您好,除了能够在微调过程中看到loss 外 ,可以看到其他评价指标之类的吗?微调了之后可以放到哪里去对比模型性能是否提升了呢?
from uniem.
目前不支持其他指标,主要支持各种指标是一件非常麻烦的事情,我希望代码尽量的轻一点,所以没加这个功能。微调后可以在自己的数据集上面测试,看看指标是不是提升了。
from uniem.
好的 谢谢了 !“微调后可以在自己的数据集上面测试,看看指标是不是提升了”?比如呢?不太明白。
from uniem.
您好 在微调时 ,发现会自动减少batch_size这是什么原因 ?难道是cuda 内存不足?
from uniem.
好的 谢谢了 !“微调后可以在自己的数据集上面测试,看看指标是不是提升了”?比如呢?不太明白。
可以参考 https://github.com/wangyuxinwhy/uniem/tree/main/mteb-zh 的评测方式,分类任务就看准确率有没有提升,召回任务就看 ndcg 有没有提升。
from uniem.
您好 在微调时 ,发现会自动减少batch_size这是什么原因 ?难道是cuda 内存不足?
如果不指定 batch_size 的话,cuda 内存不足时,会自动的减小 batch_size
from uniem.
好的!感谢您 ,目前微调时,在训练集上loss下降的并不大,仅仅是6.9364--6.9305的变化,而且在验证集上的loss 还增加了 ,出现了一定的拟合,我该如何处理呢?您有什么建议吗?再次感谢您
from uniem.
您好 ,微调后用自己的数据集进行评测是需要搭建和自己任务相关的模型吗?
from uniem.
https://github.com/wangyuxinwhy/uniem/tree/main/mteb-zh 能否直接读取本地微调后的模型进行一键评测?
from uniem.
好的!感谢您 ,目前微调时,在训练集上loss下降的并不大,仅仅是6.9364--6.9305的变化,而且在验证集上的loss 还增加了 ,出现了一定的拟合,我该如何处理呢?您有什么建议吗?再次感谢您
尝试调节一下学习率,或者测一测能不能过拟合到 loss 为 0
from uniem.
您好 ,微调后用自己的数据集进行评测是需要搭建和自己任务相关的模型吗?
嗯嗯,最好在自己任务上面测,如果担心微调后会减弱其他场景能力,也可以在 mteb-zh 的数据上面测。
from uniem.
好的!感谢您的解答 “可以通过 sentence_transformers 加载 ”是什么意思啊?我看您的测评代码中并没有给定模型的地址或url
from uniem.
具体的模型加载代码可以查看 https://github.com/wangyuxinwhy/uniem/blob/main/mteb-zh/mteb_zh/models.py
比如 sentence_transformers 的加载是这样的,通过指定 model_id 就可以了
def load_model(model_type: ModelType, model_id: str | None = None) -> MTEBModel:
match model_type:
case ModelType.sentence_transformer:
if model_id is None:
raise ValueError('model_name must be specified for sentence_transformer')
return SentenceTransformer(model_id)
from uniem.
好的 感谢您
from uniem.
你好 在微调过程中,验证集的loss一在上升??不知道咋回事
from uniem.
代表模型过拟合了,学习率调小一点,或者加一些正则的手段(weight decay 大一点)都可以。
from uniem.
你好,微调m3e系列的模型数据量有建议吗?还是多少都行呢?我试了很多,都是验证集的loss一在上升。很疑惑是不是数据量出问题了
from uniem.
这个数据量不是很好建议,视情况而定,一般来讲多多益善,可以尝试使用 GPT-4 来做数据增强。另外,是不是训练和验证的数据分布差的比较多呀?
from uniem.
好的,感谢,不会啊 ,数据都是公开发布的领域数据。对了,我看代码里面没有test data ,只有train和valid 数据集,为啥啊??我的数据有train和valid,test,我可以合并train 和valid,,把test当作vaild吗?
from uniem.
如果分布差不多,那可能是数据量比较少,任务比较难。如果你的 test 有标签,可以这么操作,问题不大。
from uniem.
试了好多次,weight_decay 调到0.1了 ,还是几个epoch(2-3个),valid和train上的loss差就 开始变大 ,太困惑了
from uniem.
嗯呢,调模型的超参也比较复杂,比较看经验。
from uniem.
类似这种情况呢?一定要达到平稳的转态吗?我思考了一下,模型都会拟合,是要达到怎么样的趋势才算微调成功了啊?
from uniem.
这是啥数据集呀?如果是公开的,我也试验一下,这个 validation loss 看起来,模型没有学到东西。
from uniem.
方便加一个微信吗?私聊一下,法律文本相关的数据
from uniem.
您好 数据链接:https://github.com/china-ai-law-challenge/CAIL2019/tree/master/scm
from uniem.
大佬,难道是数据集的问题吗?应该用句子对相似的?而不是这种文档相似的案件描述?
from uniem.
感谢佬!!
from uniem.
{"answer": ["B"], "id": "1_4269", "option_list": {"A": "我国商务部在确定进口橡胶制品是否存在补贴时必须证明出国(地区)政府直接向出口商提供了现金形式的财政资助", "B": "在反补贴调查期间,该八国政府或橡胶制品的出口经营者,可以向**商务部作出承诺,取消、限制补贴或改变价格", "C": "如果我国商务部终局裁定决定对该八国进口橡胶制品征收反补贴税,该反补贴税的征收期限不得超过10年", "D": "如果**橡胶制品进口商对商务部征收反补贴税的终局裁定不服,必须首先向商务部请求行政复审,对行政复审决定还不服,才能向**有管辖权的法院起诉"}, "statement": "**商务部决定对原产于马来西亚等八国的橡胶制品展开反补贴调查。根据我国《反补贴条例》以及相关法律法规,下列关于此次反补贴调查的哪项判断是正确的?", "subject": "国际经济法", "type": "0"}大佬 ,可以用这个数据集吗?采用PairRecord的形式
from uniem.
这是哪个数据集呀?可以采用 PairRecord 或者 TripletRecord 都可以
from uniem.
from uniem.
大佬 咋样了 有后续吗?
from uniem.
Related Issues (20)
- 关于huggingface方法调用 HOT 1
- sentence-transformer调用huggingface模型 HOT 1
- 负采样 HOT 3
- 请教贴:文本最大长度 HOT 5
- 进行评测时会报错,分叉可能会导致死锁. HOT 1
- 求一份评测数据集 HOT 1
- 微调后模型保存和load的问题 HOT 3
- m3e-large数据集的相关问题 HOT 1
- m3e训练的时候使用的数据集是hugg上面列出的数据集,训练和测试集和验证集一起用来训练了吗? HOT 1
- 请问微调之后的模型如何支持C_MTEB数据集上的评测呢 HOT 2
- 实际测试 PairInBatchNegSoftmaxContrastLoss和PairInBatchNegCoSentLoss的值是一样的 HOT 1
- 转onnx问题 HOT 1
- 能不能说明一下显卡要求啊? HOT 3
- fintuner如何使用gpu? HOT 1
- 问题 HOT 3
- 代码跑着跑着就挂了,CUDA out of memory HOT 1
- Loss固定不变或者上升 HOT 2
- M3E如何指定为GPU训练,而不是CPU训练? HOT 2
- 模型训练后生成的内容不对 HOT 1
- 微调后模型没有保存2_Dense HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from uniem.