如何在 Mac 或 PC 上本地运行 Llama 2

动态 编辑:
导读 如果您喜欢ChatGPT、Google Bard、Bing Chat或任何其他人工智能助手的想法,那么您可能会对隐私、成本等方面有一些担忧。这就是 Llama ...

如果您喜欢ChatGPT、Google Bard、Bing Chat或任何其他人工智能助手的想法,那么您可能会对隐私、成本等方面有一些担忧。这就是 Llama 2 的用武之地。Llama 2 是 Meta 开发的开源大型语言模型,有 70 亿到 700 亿个参数的变体。

鉴于它是一个开源法学硕士,您可以修改它并在任何设备上以任何您想要的方式运行它。如果您想在 Linux、Mac 或 Windows 机器上尝试一下,您可以轻松实现!

要求

您需要以下内容才能在本地运行 Llama 2:

最好的 Nvidia GPU之一(您可以在 Linux 上使用 AMD)

互联网连接

如何使用 Ollama 在 Mac 或 Linux 上运行 Llama 2

如果您有 Mac,则可以使用 Ollama 运行 Llama 2。这是迄今为止所有平台中最简单的方法,因为它只需要很少的工作。您所需要的只是一台 Mac 电脑和时间来下载 LLM,因为它是一个大文件。

第1步:下载奥拉玛

奥拉马下载屏幕

您需要做的第一件事是下载Ollama。它在 Mac 和 Linux 上运行,可以轻松下载和运行多个模型,包括 Llama 2。如果您希望轻松配置 GPU 加速,您甚至可以在 Docker 容器中运行它。

下载 Ollama 后,将其解压到您选择的文件夹中并运行它。

第 2 步:下载 Llama 2 模型

下载 130 亿美元的 Llama 2 模型

安装 Ollama 后,运行以下命令来拉取 130 亿参数的 Llama 2 模型。

llama 拉 llama2:13b

这可能需要一段时间,因此请给它一些运行时间。这是一个 7.4GB 的文件,在某些连接上可能会很慢。

标签:
免责声明:本文由用户上传,如有侵权请联系删除!