如果您喜欢ChatGPT、Google Bard、Bing Chat或任何其他人工智能助手的想法,那么您可能会对隐私、成本等方面有一些担忧。这就是 Llama 2 的用武之地。Llama 2 是 Meta 开发的开源大型语言模型,有 70 亿到 700 亿个参数的变体。
鉴于它是一个开源法学硕士,您可以修改它并在任何设备上以任何您想要的方式运行它。如果您想在 Linux、Mac 或 Windows 机器上尝试一下,您可以轻松实现!
要求
您需要以下内容才能在本地运行 Llama 2:
最好的 Nvidia GPU之一(您可以在 Linux 上使用 AMD)
互联网连接
如何使用 Ollama 在 Mac 或 Linux 上运行 Llama 2
如果您有 Mac,则可以使用 Ollama 运行 Llama 2。这是迄今为止所有平台中最简单的方法,因为它只需要很少的工作。您所需要的只是一台 Mac 电脑和时间来下载 LLM,因为它是一个大文件。
第1步:下载奥拉玛
奥拉马下载屏幕
您需要做的第一件事是下载Ollama。它在 Mac 和 Linux 上运行,可以轻松下载和运行多个模型,包括 Llama 2。如果您希望轻松配置 GPU 加速,您甚至可以在 Docker 容器中运行它。
下载 Ollama 后,将其解压到您选择的文件夹中并运行它。
第 2 步:下载 Llama 2 模型
下载 130 亿美元的 Llama 2 模型
安装 Ollama 后,运行以下命令来拉取 130 亿参数的 Llama 2 模型。
llama 拉 llama2:13b
这可能需要一段时间,因此请给它一些运行时间。这是一个 7.4GB 的文件,在某些连接上可能会很慢。