像OpenAI的GPT这样的api提供了一种简单且可扩展的方式来访问llm，而无需用户管理底层基础设施或培训流程。开发人员将输入数据 (通常称为提示) 发送到API，并接收生成的文本作为响应。例如，开发人员可以发送类似 “编写本文摘要” 的查询，API将返回简洁的摘要。
使用这些API涉及注册访问权限、获取API密钥以及通过HTTP端点发出请求。大多数api都包含配置选项，例如温度 (控制创造力) 和最大令牌 (限制输出长度)，以微调模型的行为。例如，设置较高的温度会产生更多的创造性输出，而较低的值会产生确定性的响应。
这些api通常用于聊天机器人、文档摘要和内容生成等应用程序。它们通过sdk或RESTful api与现有工作流程和编程语言轻松集成。通过抽象模型管理的复杂性，api使开发人员能够专注于构建应用程序，而不是管理LLM基础架构。这种可访问性使api成为许多现实世界中llm部署的首选。