请问能否实现描述图片某个位置然后返回相应坐标的功能 about cogvlm

[Sleepychord]

@lplplpoooouuu @zRzRzRzRzRzRzR 有这个功能的，请下载本仓库中的CogAgent模型（问题中加上(with grounding)）就是针对你说的任务。不过没有针对标号的图像训练，这个可以通过在cogagent上微调来实现。

[zRzRzRzRzRzRzR]

没做这个训练

[lplplpoooouuu]

好的谢谢，我感觉这个功能会非常有前景，实现了以后可以让LLM来执行鼠标键盘的操作从而做到真正的自动化

[lplplpoooouuu]

感谢！我之前试了web 的demo版，看了一下我的硬件可能没法用CogAgent，有点遗憾

[zRzRzRzRzRzRzR]

可以这么理解
目前的CogAgent模型( 问题中加上(with grounding)) 可以实现你说的 任务，但是局限于较为简单的场景（例子：我想返回图像中猫的位置），或者第二种场景（我希望你帮我寻找到图像中的搜索框并，并填充“搜索xxx”）

但是如果要跟细粒度或者较难的场景（我给图片打上网格并给每个网格标号，比如，把图像切成9个功能并告诉我一个人在打球在图像的哪个区域内）比较难做

[zRzRzRzRzRzRzR]

通过微调的方式能解决一些相似的但是更针对的任务，模型本身的局限性导致了这个方案的效果不一定能完美的达到理想状态，关于别的方式，目前我也没有探索到

[lplplpoooouuu]

模型本身的局限性是指什么啊