GitHub 助力 AI：免费体验，轻松部署

近日，GitHub 宣布推出 GitHub Models^[1]（Introducing GitHub Models: A new generation of AI engineers building on GitHub^[2]），一个旨在让超过 1 亿用户（2023 年初，GitHub 用户已破亿，100 million developers and counting^[3]）成为 AI 工程师的新平台。通过此平台，开发者可以直接在 GitHub 上访问和使用行业领先的大型或小型语言模型。

这或许是软件开发的又一次重大变革，从早期的家用计算机时代开始，开发者主要通过编写代码来构建、定制和部署软件。如今，在 AI 时代，另一种同样重要的开发模式迅速兴起，那就是利用机器学习模型的能力（如 WWDC24：AI 赋能，Apple 软件生态大变革！）。GitHub Models 将这种能力带给开发者，使他们能够轻松构建生成式 AI 应用（现实中，API 各种限制，开发者很难轻松访问）。

如何使用

申请地址：https://github.com/marketplace/models

GitHub Models 提供了一个内置的游乐场（Playground），开发者可以通过它免费测试不同的模型和参数，包括 Llama 3.1、GPT-4o、GPT-4o mini、Phi 3 和 Mistral Large 2 等。如果开发者在游乐场中获得了满意结果，还可以通过 Codespaces^[4] 或 VS Code^[5] 将这些模型引入到自己的开发环境中。最终，通过 Azure AI^[6] 实现生产部署，提供企业级安全性和数据隐私。

GitHub Models 的互动游乐场不仅面向专业开发者，还适合学生、爱好者或初创公司。用户可以在这里探索来自 Meta、Mistral、Azure OpenAI 服务和微软等的热门私有和开放模型。GitHub 和微软强调，GitHub Models 中的提示或输出不会与模型提供商共享，也不会用于训练或改进模型。

因我还未通过申请，所以在点击 Playground 后，无法进行测试。

GitHub Models 提供了三种格式的示例代码（Python、JavaScript、REST），来帮你快速开始。

📌

哈佛大学的 David J. Malan^[7] 教授将在今年秋季的 CS50 课程中测试 GitHub Models，让学生更容易进行 AI 实验。

David J. Malan 是哈佛大学工程与应用科学学院的 Gordon McKay 计算机科学实践教授，同时也是教育研究生院的教育系成员。他教授的计算机科学课程（CS50）是哈佛大学最大的课程之一，也是耶鲁大学最大的课程之一，并且是 edX 平台上最大的在线公开课程（MOOC），拥有超过 600 万注册用户。他还在哈佛法学院、哈佛拓展学院和哈佛暑期学院授课，并曾在哈佛商学院教授课程。他的所有课程均以开放课程资源的形式免费提供，在 YouTube 上拥有超过 180 万订阅者。还曾在 GitHub 担任驻校教授。

模型选择

GitHub Models 提供了一系列功能各异的模型来满足不同开发需求。如 Mistral 模型具有低延迟优势，而 GPT-4o 在构建需要实时音频、视觉和文本的多模态应用程序时表现出色（OpenAI 生态布局：GPT-4o 免费或许只是一个开始...，ChatGPT 全新升级：GPT-4o Mini 取代 GPT-3.5，免费、快速、更强大！）。开发者可以在这里测试和比较不同模型，选择最适合自己项目的方案。一些高级场景可能需要集成不同的模型，如用于检索增强生成 (RAG) 的嵌入模型（What is retrieval-augmented generation, and what does it do for generative AI?^[8]）。

目前已支持以上模型，随着 GitHub Models 的全面推出，平台将会支持更多模型

📌 RAG

检索增强生成（RAG^[9]，Retrieval-augmented generation）是一种结合预训练密集检索（DPR）和序列到序列（seq2seq）模型的方法，通过从多种数据源检索信息来增强 AI 输出的质量和相关性。RAG 模型首先检索文档，然后将这些文档传递给 seq2seq 模型，最后进行边缘化生成输出。RAG 模型中的检索器和 seq2seq 模块均从预训练模型初始化，并进行联合微调，使得检索和生成能够适应下游任务。

RAG 特别适用于知识密集型任务，因为它可以利用最新的信息而不仅仅依赖于训练时的数据。这种方法不仅避免了高昂的自定义模型训练成本，还使得模型保持最新状态，提高了响应的准确性和相关性。

RAG 通过语义搜索从各种数据源中检索相关信息，包括嵌入系统、传统数据库和搜索引擎，然后将这些信息整合到提示中，以生成更具上下文相关性的输出。这种方法不仅提升了 AI 模型的定制化能力，还确保输出始终与最新的组织知识和互联网信息保持同步。

使用限制

游乐场和免费 API 使用受到每分钟请求次数、每天请求次数、每次请求的 token 数和并发请求数的速率限制（文档：Rate limits^[10]）。如果达到速率限制，则需要等待限制重置后才能进行更多请求。低、中、高和嵌入模型有不同的速率限制。要查看你正在使用的模型类型，请参考 GitHub Marketplace 中的模型信息。

轻松部署

通过 Codespaces，GitHub Models 为开发者提供了一条零摩擦路径，从实验到项目集成再到生产部署都变得更加便捷。开发者可以在 GitHub Actions^[11] 中运行提示评估，或利用 GitHub Models 构建 GitHub Copilot Extensions^[12]，进一步拓展 GitHub 的生态。

• •Codespaces：让你能够更快地启动和编写代码，提供完全配置、安全的云开发环境，且原生集成于 GitHub。

• •GitHub Actions：是一个强大的 CI/CD 平台，可自动化构建、测试和部署流程，并支持在代码库中发生各种事件时运行自定义工作流程。它提供 Linux、Windows 和 macOS 虚拟机，也支持自托管运行器，使开发者能够高效地管理和执行软件开发工作流程。

• •GitHub Copilot：是一个 AI 驱动的开发工具，通过在软件开发生命周期内提供代码补全、聊天辅助、代码解释等功能，极大地提升开发者的工作效率和满意度。它与主流编辑器集成，内置于 GitHub，使开发者能够专注于创造更多价值和创新，是目前全球最广泛采用的 AI 开发工具。

完整视频演示：

未来

AI 的出现，使得编程门槛不断降低。Claude 推出的实时预览代码效果功能吸引了许多编程新手尝试各种有趣的想法（Claude 3.5 免费可用，对话互动再升级！），GitHub Copilot 对开发者的编码提效超 50%，而 GitHub Models 的推出则可能会吸引更多开发者投入 AI 应用的创新中。

References