Comments (13)
你是想偷数据的吧
from one-api.
你是想偷数据的吧
真实生产场景确实是有这样的需求。无论是对内还是对外服务,有时候合规方面需要有这样的需求。
至于「偷数据」的假定我倒也有思考过,确实是个矛盾点,很难完美平衡。
from one-api.
debug模式有日志,可以发es分析。不过debug会影响性能
from one-api.
自写渠道,加上百度文本审核
from one-api.
AI 响应的内容, 没必要审计吧
from one-api.
我可能是需要的,我自己写了渠道,支持了语音生成,bert-vits2等,或者其他get post都可以兼容,但是这语音生成有好有坏,怕被拿去干坏事,了解一下5s的音频gpt-sovits就可以克隆音色了
from one-api.
我感觉内容审计放在应用端做比较好,让one-api更加纯粹一点
from one-api.
这个有隐私问题,建议放到网关层
from one-api.
debug模式有日志,可以发es分析。不过debug会影响性能
@mxdlzg 请问如何启用debug模式?我看了文档和现有issuses,都没有找到该如何开启debug模式。
我用xinference部署了qwen1.5:72b、llama3:70b,使用oneapi接入了fastgpt,聊天和补全都是没问题的,但工具调用一直失败,所以想看下oneapi接收和发送的请求是什么(fastgpt无法打印请求的具体信息)
相同的本地大模型,接入到dify中,是可以正常使用工具调用的能力。
这个问题卡我很久了,麻烦您有空帮我解答一下,非常感谢。
from one-api.
我测试的时候,是用php写的中转达到接入我自己需要的
主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等
至于构造的里面具体值什么,测试过程中没影响,主要就是返回text
这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据
php接收是
希望这些可以帮到你!
from one-api.
我测试的时候,是用php写的中转达到接入我自己需要的
主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等
至于构造的里面具体值什么,测试过程中没影响,主要就是返回text
这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据
php接收是
希望这些可以帮到你!
@mxdlzg 感谢大佬解答。不知道我这样理解是否正确?
oneapi没有debug模式,如果想获取请求详细信息,需要在应用到oneapi,或者oneapi和大模型的中间,加一层自己的应用,才能截获当前请求的具体信息。
from one-api.
我测试的时候,是用php写的中转达到接入我自己需要的
主要感觉是要构造json响应,仿造其他语言模型返回的样例,然后就可以正常调用,包括计费等
至于构造的里面具体值什么,测试过程中没影响,主要就是返回text
这个是在one api那边测试渠道的时候,one api发送给渠道的json请求数据
php接收是
希望这些可以帮到你!@mxdlzg 感谢大佬解答。不知道我这样理解是否正确? oneapi没有debug模式,如果想获取请求详细信息,需要在应用到oneapi,或者oneapi和大模型的中间,加一层自己的应用,才能截获当前请求的具体信息。
我是这样的,因为我要接入自己的tts api(vits-simple-api),然后看了one api的项目代码,发现有基本的支持,我寻思着得知道发过来的请求是啥,才能针对的截取要的进行返回
然后写了个基本的音频返回,遇到问题不会token计数了,key分发这些正常
然后我就再写个原样返回的语言接口,专门用来计费(这个理论也可以用于其他你任何想要计费的地方)
就是我通过oneapi的tts调用路径,调用到我的渠道,然后那个渠道再调用一次token计费渠道,再返回音频,上面的截图是token计费渠道的代码
因为翻了好几遍文档,gpt也问了(还想着它应该懂得自己的调用方式以及回调,结果不行)都没有,所以我就是采用中间截取数据的方式,再返回
from one-api.
@mxdlzg 明白了,再次感谢大佬。
from one-api.
Related Issues (20)
- 点击测试后,程序直接退出
- 文心一言 ERNIE-Lite-8K-0922调用失败 HOT 2
- 能不能加上tiktoken的离线加载 HOT 2
- v0.6.6 Berry 主题不兼容 页面会白屏 HOT 5
- 请求支持谷歌Vertex AI HOT 1
- docker版本dns解析超时 HOT 1
- 讯飞3.5无法支持function calling
- 对于模型无可用渠道时应返回404而不是503
- one api 接入 dify 在联通的情况下,报错
- 调用阿里云 通义千问api报错 HOT 3
- docker 版的怎么没有添加渠道的功能? HOT 2
- 希望增加对百度开物的支持。
- 根据环境变量设置root初始密码 HOT 2
- relay error (channel id 2, user id: 1): Open api daily request limit reached HOT 1
- 请求支持claude的tools
- 针对令牌进行 并发限制
- claude的opus的开源版和pro对不上
- azure openai不稳定,隔一会就报错、过一会又正常,do request failed HOT 1
- 请求添加百川新模型支持
- 希望可以兼容ChatTTS语音识别
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from one-api.