[實作筆記] 在 MacBook 上安裝與使用 Ollama

前情提要

AI 時代到來,就像 Web、Mobile 等帶來一波波的浪潮與機會,趁機來學習點新技術了。
比如說像是 Ollama 這款簡單好用的工具,可以快速在本機啟用大型語言模型 (LLM),如 LLaMA、Mistral 等。以下記錄在 macOS 上的安裝與初體驗。

實作記錄

1. 安裝 Ollama

  • 使用 Homebrew 安裝

    1
    brew install ollama
  • 確認安裝成功

    1
    ollama --version

2. 執行第一個模型

  • 拉取並執行 LLaMA 2 模型:

    1
    ollama run llama2
  • 若要使用其他模型(如 Mistral):

    1
    ollama run mistral

3. 互動範例

  • 問答互動示例:

    1
    2
    $ ollama run llama2
    > 你好!請問我可以幫你什麼?

4. 常見的 ollama 指令

  • 列出可用模型

    1
    ollama list
  • 查看模型詳情

    1
    ollama info <model_name>
  • 停止運行中的模型

    1
    ollama stop <model_name>
  • 更新 Ollama

    1
    brew upgrade ollama

簡單的 web 介面

使用 Chrome 外掛
安裝後選擇模型就可以透過 Web UI 與模型互動。
也有一些開源專案有提供 Web UI

我沒有實作作,僅記錄一下查找到的結果

參考

(fin)

Please enable JavaScript to view the Gitalk. :D
Please enable JavaScript to view the LikeCoin. :P
Please enable JavaScript to view the LikeCoin. :P