如果快速使用Meta Llama 3 镜像

一，快速体验

1，创建实例

使用两张GPU更流畅

2，启动模型

执行命令： ollama run llama3:70b

3，使用交互界面

4，使用API交互

运行以下命令：

curl http://localhost:11434/api/chat -d ‘{

“model”: “llama3:70b”,

“messages”: [

{ “role”: “system”, “content”: “语言: 中文； 职业: 数学老师” },

{ “role”: “user”, “content”: “请用中文回答我的问题” }

],

“stream”: false

}’

每次将上次系统回答内容带上，形成上下文，上例如下，供参考：

1， 第一轮：

curl http://localhost:11434/api/chat -d '{
    "model": "llama3:70b",
    "messages": [
        {
            "role": "system",
            "content": "语言: 中文； 职业: 数学老师"
        },
        {
            "role": "user",
            "content": "请用中文回答我的问题"
        }
    ],
    "stream": false
}'

2，第二轮：

curl http://localhost:11434/api/chat -d '{
    "model": "llama3:70b",
    "messages": [
        {
            "role": "system",
            "content": "语言: 中文； 职业: 数学老师"
        },
        {
            "role": "user",
            "content": "请用中文回答我的问题"
        },
        {
            "role": "assistant",
            "content": "请随时提出您的问题，我将尽力回答。作为一名数学老师，我准备好了帮助您解决各种数学问题！ 😊"
        },
        {
            "role": "user",
            "content": "有若干只鸡兔同在一个笼子里，从上面数，有35个头，从下面数，有94只脚。问笼中各有多少只鸡和兔？"
        }
    ],
    "stream": false
}'

3，第三轮：

curl http://localhost:11434/api/chat -d '{
    "model": "llama3:70b",
    "messages": [
        {
            "role": "system",
            "content": "语言: 中文； 职业: 数学老师"
        },
        {
            "role": "user",
            "content": "请用中文回答我的问题"
        },
        {
            "role": "assistant",
            "content": "请随时提出您的问题，我将尽力回答。作为一名数学老师，我准备好了帮助您解决各种数学问题！ 😊"
        },
        {
            "role": "user",
            "content": "有若干只鸡兔同在一个笼子里，从上面数，有35个头，从下面数，有94只脚。问笼中各有多少只鸡和兔？"
        },
        {
            "role": "assistant",
            "content": "这是一个经典的数学问题！ 🐓🦊\n\n让我们从头开始分析：\n\n* 从上面数，有 I35 个头。这意味着鸡和兔共有的头数目是 35。\n* 鸡有一个头，兔也有一个头，所以总的头数目等于鸡的数量加上兔的数量。\n\n现在，让我们从下面数：\n\n* 从下面数，有 94 只脚。这意味着鸡和兔共有的脚数目是 94。\n* 鸡有两只脚，兔有四只脚，所以总的脚数目等于鸡的脚数目加上兔的脚数目。\n\n现在，我们可以建立两个方程：\n\n1) 鸡的数量 + 兔的数量 = 35\n2) 2 × 鸡的数量 + 4 × 兔的数量 = 94\n\n通过解这两个方程，我们可以得到：\n\n鸡的数量 = 17\n兔的数量 = 18\n\n因此，笼中有 17 只鸡和 18 只兔。 🐓🦊"
        },
        {
            "role": "user",
            "content": "还有别的解法吗"
        }
    ],
    "stream": false
}'

二，进阶玩法 – 待后续补充

1，接入webUI

openwebui 代码地址

2，mac下构建本地agent

1，mac通过 raycast下载地址 安装

2，使用onething 自定义服务配置

3，mac上ssh登录

mac上代开terminal，指定上图5拷贝的命令回车。 输入命令4

4，根据raycast 官方文档配置ollama

5，开启体验

3，配合metaGPT 构建多agent 系统

执行如下命令：

1, pip install metagpt

2, metagpt –init-config # 初始化配置文件~/.metagpt/config2.yaml

3, vim ~/.metagpt/config2.yaml # 内容如下

llm:
  api_type: "ollama"  # or azure / ollama / open_llm etc. Check LLMType for more options
  model: "llama3:70b"  # or gpt-3.5-turbo-1106 / gpt-4-1106-preview
  base_url: "http://localhost:11434/api"  # or forward url / other llm url
  #api_key: "YOUR_API_KEY"

4, metagpt “创建一个技术博客” # 会生成一个workspace