GithubHelp home page GithubHelp logo

Comments (13)

MustAPI avatar MustAPI commented on June 17, 2024

你是想偷数据的吧

from one-api.

lomohuang avatar lomohuang commented on June 17, 2024

你是想偷数据的吧

真实生产场景确实是有这样的需求。无论是对内还是对外服务,有时候合规方面需要有这样的需求。

至于「偷数据」的假定我倒也有思考过,确实是个矛盾点,很难完美平衡。

from one-api.

mxdlzg avatar mxdlzg commented on June 17, 2024

debug模式有日志,可以发es分析。不过debug会影响性能

from one-api.

aYYbsYYa avatar aYYbsYYa commented on June 17, 2024

自写渠道,加上百度文本审核

from one-api.

proxyxai avatar proxyxai commented on June 17, 2024

AI 响应的内容, 没必要审计吧

from one-api.

aYYbsYYa avatar aYYbsYYa commented on June 17, 2024

我可能是需要的,我自己写了渠道,支持了语音生成,bert-vits2等,或者其他get post都可以兼容,但是这语音生成有好有坏,怕被拿去干坏事,了解一下5s的音频gpt-sovits就可以克隆音色了

from one-api.

QAbot-zh avatar QAbot-zh commented on June 17, 2024

我感觉内容审计放在应用端做比较好,让one-api更加纯粹一点

from one-api.

songquanpeng avatar songquanpeng commented on June 17, 2024

这个有隐私问题,建议放到网关层

from one-api.

JinCheng666 avatar JinCheng666 commented on June 17, 2024

debug模式有日志,可以发es分析。不过debug会影响性能

@mxdlzg 请问如何启用debug模式?我看了文档和现有issuses,都没有找到该如何开启debug模式。

我用xinference部署了qwen1.5:72b、llama3:70b,使用oneapi接入了fastgpt,聊天和补全都是没问题的,但工具调用一直失败,所以想看下oneapi接收和发送的请求是什么(fastgpt无法打印请求的具体信息)
相同的本地大模型,接入到dify中,是可以正常使用工具调用的能力。

这个问题卡我很久了,麻烦您有空帮我解答一下,非常感谢。

from one-api.

aYYbsYYa avatar aYYbsYYa commented on June 17, 2024

我测试的时候,是用php写的中转达到接入我自己需要的

主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等

至于构造的里面具体值什么,测试过程中没影响,主要就是返回text
image

这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据
image

php接收是

image

希望这些可以帮到你!

from one-api.

JinCheng666 avatar JinCheng666 commented on June 17, 2024

我测试的时候,是用php写的中转达到接入我自己需要的

主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等

至于构造的里面具体值什么,测试过程中没影响,主要就是返回text image

这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据 image

php接收是

image

希望这些可以帮到你!

@mxdlzg 感谢大佬解答。不知道我这样理解是否正确?
oneapi没有debug模式,如果想获取请求详细信息,需要在应用到oneapi,或者oneapi和大模型的中间,加一层自己的应用,才能截获当前请求的具体信息。

from one-api.

aYYbsYYa avatar aYYbsYYa commented on June 17, 2024

我测试的时候,是用php写的中转达到接入我自己需要的
主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等
至于构造的里面具体值什么,测试过程中没影响,主要就是返回text image
这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据 image
php接收是
image
希望这些可以帮到你!

@mxdlzg 感谢大佬解答。不知道我这样理解是否正确? oneapi没有debug模式,如果想获取请求详细信息,需要在应用到oneapi,或者oneapi和大模型的中间,加一层自己的应用,才能截获当前请求的具体信息。

我是这样的,因为我要接入自己的tts api(vits-simple-api),然后看了one api的项目代码,发现有基本的支持,我寻思着得知道发过来的请求是啥,才能针对的截取要的进行返回
然后写了个基本的音频返回,遇到问题不会token计数了,key分发这些正常
然后我就再写个原样返回的语言接口,专门用来计费(这个理论也可以用于其他你任何想要计费的地方)
就是我通过oneapi的tts调用路径,调用到我的渠道,然后那个渠道再调用一次token计费渠道,再返回音频,上面的截图是token计费渠道的代码

因为翻了好几遍文档,gpt也问了(还想着它应该懂得自己的调用方式以及回调,结果不行)都没有,所以我就是采用中间截取数据的方式,再返回
image

from one-api.

JinCheng666 avatar JinCheng666 commented on June 17, 2024

@mxdlzg 明白了,再次感谢大佬。

from one-api.

Related Issues (20)

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.