OpenAI今天为开发者们推出了批量处理API,开发者们可以一次性将大量内容提交过去然后在24小时内获得结果。推出这种异步任务对OpenAI来说也有好处,那就是可以在非高峰期时处理这些请求,这样可以平衡服务器资源节省成本,所以OpenAI给这些异步任务API提供了半价优惠,开发者只需要支付50%的费用即可。

举个例子,当存在大量的文本、摘要、翻译或图像需要进行分类整理时,就可以使用异步任务,这些内容的分类整理对及时性要求并不高,开发者可以提交后等待OpenAI给出结果再处理就好。

这样对OpenAI和开发者来说是双赢,按照OpenAIAPI文档的说明,除了开发者可以获得半价折扣外,还可以获得更高的速率,也就是可以在每分钟内提交更多请求。

唯一要求是开发者需要通过JSONL文件格式进行传输,即将需要处理的所有请求放到一个JSONL文件里,然后将这个文件使用batch参数上传到服务器即可。

OpenAI已经在API文档中罗列了详细使用方法,包括创建批处理、请求正文、检索等,有需要的开发者可以前往OpenAI查看调用示例:https://platform.openai.com/docs/api-reference/batch