OllamaでローカルLLM入門：自分のPCでAIを動かす最初の一歩

この記事でわかること

• ローカルLLMとは何か
• Ollamaでできること、できないこと
• 自分のPCで試す前に見るべきスペック
• 初心者が最初に選びやすいモデルの考え方
• 機密データを扱うときの注意点
• クラウドLLMとローカルLLMの使い分け

結論：まず見るべき判断軸は3つ

OllamaでローカルLLMを始める前に、最初に見るべき判断軸は3つです。

1つ目は、目的です。

ローカルLLMは、社内メモの下書き、コード補助、文章要約、検索補助、プロトタイプ作成、RAG検証などに向いています。一方で、最新情報検索、非常に高度な推論、大規模な業務自動化、安定した商用SLAが必要な用途では、クラウドLLMや専用APIの方が向いている場合があります。

2つ目は、PCスペックです。

Ollamaの公式macOSドキュメントでは、インストール後に大規模言語モデルを保存する追加スペースが必要で、モデルは数十GBから数百GBになることがあると説明されています。つまり、ローカルLLMでは「動くかどうか」だけでなく、「保存できるか」「実用速度で動くか」「他の作業を圧迫しないか」が重要です。 :contentReference[oaicite:1]{index=1}

3つ目は、データの扱いです。

Ollamaはローカルでモデルを動かせるため、クラウドAIへ送信したくないデータの検証に使いやすい面があります。しかし、ローカルで動くからといって、自動的に組織内ルールを満たすわけではありません。モデルのライセンス、ログ、保存場所、端末管理、持ち出しPC、スクリーンショット、外部連携ツールなども確認する必要があります。

判断表にすると、次のようになります。

ローカルLLMとは

ローカルLLMとは、自分のPC、社内サーバー、ワークステーション、オンプレミス環境など、自分たちが管理する環境で動かす大規模言語モデルのことです。

ChatGPTやClaudeのようなクラウドLLMでは、ユーザーが入力した文章はサービス提供側のサーバーへ送信され、そこで推論が実行されます。一方、ローカルLLMでは、モデルファイルを自分の端末やサーバーに置き、推論もその環境で実行します。

整理すると、次の違いがあります。

ローカルLLMの価値は、単に「無料でAIを使えること」ではありません。自分の環境で、モデル、データ、API、ツール連携を試せることにあります。

特に、AI活用担当者、開発者、情シス、Web/EC運用者にとっては、次のような検証に向いています。

ただし、ローカルLLMは万能ではありません。モデルサイズが小さいほど動かしやすい一方、回答品質や推論力はクラウドの最上位モデルに届かないことがあります。

• 社内FAQのRAG検証
• 商品説明文の下書き
• レビュー分類
• 問い合わせ文面の要約
• コードレビュー補助
• CSVやMarkdownの整形
• ローカルAPIを使ったプロトタイプ
• クラウドAIに出す前の前処理
• AIエージェント用の軽量モデル検証

Ollamaとは

Ollamaは、ローカル環境でLLMを実行・管理するためのツールです。

公式GitHubでは、Kimi、GLM、MiniMax、DeepSeek、gpt-oss、Qwen、Gemmaなどのモデルを動かすためのツールとして説明されています。公式モデルライブラリには、Gemma、Qwen、LLaVA、Phi、CodeLlama、embeddingモデルなどが掲載されており、モデルによってテキスト、コード、マルチモーダル、embeddingなど用途が分かれています。 :contentReference[oaicite:2]{index=2}

Ollamaの特徴は、次の3つです。

1つ目は、CLIでモデルを取得・実行できることです。

Ollama公式Quickstartでは、ターミナルで `ollama` を実行してメニューを開き、モデルを起動して最初のチャットを始める流れが案内されています。 ([Ollama Documentation][1])

2つ目は、ローカルAPIが使えることです。

Ollamaが起動していると、標準では `http://localhost:11434/api` でAPIが提供されます。公式APIドキュメントでは、`/api/generate` へcurlでリクエストする例が示されています。 ([Ollama Documentation][2])

3つ目は、Modelfileでモデルの動作をある程度カスタマイズできることです。

Ollama公式のModelfile Referenceでは、Modelfileはカスタマイズされたモデルを作成・共有するためのblueprintと説明されています。`FROM` でベースモデルを指定し、`PARAMETER`、`SYSTEM`、`TEMPLATE` などで挙動を調整できます。 ([Ollama Documentation][3])

ollama run gemma4

Ollamaでできること

Ollamaでできることを、実務寄りに整理します。

### CLIで動かす

最初はCLIで十分です。

モデルが未取得の場合は、モデルのダウンロードが行われ、その後チャットが始まります。実際のモデル名やタグは時期により変わるため、Ollama公式モデルライブラリで確認してください。

終了するときは、チャット内で次を入力します。

### APIで動かす

アプリやスクリプトから使う場合はAPIを使います。

チャット形式なら、次のような形です。

Ollamaの公式APIドキュメントでは、PythonとJavaScriptの公式ライブラリも案内されています。 ([Ollama Documentation][2])

### embeddingを作る

RAGや類似検索を試す場合は、embedding用モデルを使います。

Ollama公式のembed APIは、入力テキストをベクトル表現へ変換する機能として説明されています。 ([Ollama Documentation][4])

ollama run gemma4

/bye

curl http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4",
    "prompt": "Ollamaを使うメリットを日本語で3つ説明してください。",
    "stream": false
  }'

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4",
    "messages": [
      {
        "role": "user",
        "content": "ローカルLLMの注意点を短く教えてください。"
      }
    ],
    "stream": false
  }'

curl http://localhost:11434/api/embed \
  -H "Content-Type: application/json" \
  -d '{
    "model": "embeddinggemma",
    "input": "OllamaでローカルLLMを動かす"
  }'

Ollamaでできないこと

入門記事で大事なのは、「できること」だけでなく「できないこと」も先に理解しておくことです。

ローカルLLMは、「クラウドに送らずにAIを試せる」点では強いです。しかし、ローカルで動いているからといって、誤回答がなくなるわけでも、ライセンス確認が不要になるわけでもありません。

必要スペック

Ollamaで必要なスペックは、使うモデルによって大きく変わります。

小型モデルなら一般的なPCでも試しやすいですが、大きなモデルほどメモリ、VRAM、ストレージが必要です。Ollama公式macOSドキュメントでも、モデル保存には追加スペースが必要で、モデルは数十GBから数百GBになることがあると説明されています。 ([Ollama Documentation][5])

実務上の目安は次のように考えるとよいです。

ここで重要なのは、「7Bなら必ず動く」「14Bなら必ず無理」といった単純な話ではないことです。量子化、context length、GPU利用、OS、同時起動アプリ、モデル形式によって変わります。

初心者は、まず小型モデルで流れを覚えるのが安全です。

Macで始める場合

Macでは、公式ドキュメント上、`.dmg` をマウントして `Ollama.app` をApplicationsへドラッグする方法が推奨されています。起動時に `ollama` CLIがPATH上にない場合、`/usr/local/bin` へリンク作成を促すと説明されています。 ([Ollama Documentation][5])

基本手順は次の通りです。

1. Ollama公式サイトからMac版をダウンロード

2. `Ollama.app` をApplicationsへ配置

3. Ollamaを起動

4. ターミナルを開く

5. `ollama` または `ollama run <model>` を実行

確認コマンド:

Macでよくある注意点は、モデル保存場所です。

Ollama公式macOSドキュメントでは、`~/.ollama` にモデルと設定、`~/.ollama/logs` にログが保存されると説明されています。ストレージが少ないMacでは、モデルをいくつも入れる前に空き容量を確認しましょう。 ([Ollama Documentation][5])

関連するトラブル記事として、Homebrew経由のOllamaで `llama-server binary not found` が出る場合の復旧手順も別記事化できます。

which ollama
ollama --version
ollama list

df -h
du -sh ~/.ollama 2>/dev/null

• /ainews/article/zenn_llm-1aejwhx/
• /ainews/article/zenn_llm-191udnq/

Windowsで始める場合

Windowsでは、公式サイトからインストーラーを入れて起動する方法が入口になります。

確認するポイントは次の通りです。

API確認:

Windowsでは、次の点に注意します。

最初はWindowsネイティブでOllamaを入れ、うまくいかない場合にWSLやDockerを検討する方が、初心者には切り分けしやすいです。

ollama --version
ollama list

curl http://localhost:11434/api/tags

• Windows版Ollamaの起動状態
• PowerShellとコマンドプロンプトの違い
• WSLを使うかどうか
• NVIDIA GPUを使う場合のドライバ
• セキュリティソフトや社内プロキシ
• モデル保存先のストレージ容量

Linux / Dockerで始める場合

Linuxでは、公式ドキュメントでインストールコマンドが案内されています。

Dockerで試す場合、Ollama公式Docker HubではCPU-onlyの例として次のコマンドが掲載されています。 ([Docker Hub][6])

モデル実行:

Linux / Dockerは、個人の入門よりも、検証サーバー、社内RAG、API連携、複数人利用の検証に向いています。ただし、GPU利用、永続ボリューム、ポート公開、認証、ネットワーク制限は別途設計が必要です。

curl -fsSL https://ollama.com/install.sh | sh

docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

docker exec -it ollama ollama run llama3

モデル選び

Ollama入門で最初に迷うのがモデル選びです。

結論から言うと、初心者は「小さめ」「用途が明確」「公式ライブラリで更新状況が見える」モデルから始めるのが安全です。

Ollama公式モデルライブラリには、Gemma、Qwen、LLaVA、Phi、CodeLlama、embeddingモデルなどが並んでいます。モデルによって、vision、tools、thinking、cloud、embeddingなどのタグや、パラメータサイズ、更新日、pull数が表示されます。 ([Ollama][7])

選び方は次の通りです。

最初の1本は、無理に大きいモデルを選ばない方がよいです。

大きいモデルは、確かに性能が高い場合があります。しかし、ダウンロードに時間がかかり、ストレージを消費し、動作も重くなります。入門段階では、まず小型モデルで次を確認します。

その後、用途別にモデルを追加していくのが安全です。

• インストールできるか
• モデルをpullできるか
• CLIで会話できるか
• APIで応答できるか
• 日本語がどの程度使えるか
• 速度が許容範囲か
• メモリが圧迫されないか

最初に試すコマンド

ここでは、Ollamaを入れた直後に確認するコマンドをまとめます。

### 1. インストール確認

### 2. モデル一覧

### 3. モデル実行

実際のモデル名は、Ollama公式モデルライブラリで確認してください。

### 4. 実行中モデルの確認

### 5. モデル停止

Ollama公式FAQでは、モデルは初期設定では5分間メモリに保持されると説明されています。すぐにメモリから解放したい場合は `ollama stop` を使います。APIでは `keep_alive` parameterで保持時間を指定できます。 ([Ollama Documentation][8])

### 6. API確認

### 7. 生成API

### 8. チャットAPI

ollama --version

ollama list

ollama run gemma4

ollama ps

ollama stop gemma4

curl http://localhost:11434/api/tags

curl http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4",
    "prompt": "ローカルLLMのメリットを3つ教えてください。",
    "stream": false
  }'

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4",
    "messages": [
      {
        "role": "user",
        "content": "Ollamaの使い方を初心者向けに説明してください。"
      }
    ],
    "stream": false
  }'

小さく始める手順

### 手順1: 目的を1つに絞る

最初から「社内AI全部をローカル化する」と考えると失敗しやすいです。

最初の目的は1つに絞ります。

### 手順2: 小型モデルを1つだけ入れる

最初はモデルを増やしすぎない方がよいです。

動いたら、同じプロンプトをクラウドLLMにも投げて比較します。

比較項目:

### 手順3: ローカルAPIで1つだけ連携する

CLIで動いたら、次はAPIで使います。

最初の連携は、簡単なスクリプトで十分です。

ここで見るべきは、アプリ連携そのものではなく、次です。

### 手順4: 端末負荷を確認する

ローカルLLMはPCに負荷がかかります。

Macならアクティビティモニタ、Windowsならタスクマネージャー、Linuxなら `top` や `htop` で確認します。

見る項目:

業務PCで常用するなら、「動いた」だけでは不十分です。Zoom、ブラウザ、Excel、VSCodeなど、普段使うアプリと同時に使って問題ないか確認します。

### 手順5: 失敗ログを残す

Ollamaを業務で使うなら、最初からログ確認を習慣にします。

Macの場合:

WindowsやLinuxの場合も、公式トラブルシューティングを確認し、環境ごとのログ場所をREADMEにまとめておくと便利です。

ollama run <小型モデル>

import requests

res = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "gemma4",
        "prompt": "ECの商品説明文を短く改善してください。",
        "stream": False
    },
    timeout=120
)

print(res.json().get("response"))

cat ~/.ollama/logs/server.log | tail -n 100

• 社内メモの要約
• 商品説明文の下書き
• 問い合わせ分類
• コード説明
• Markdown整形
• RAGのembedding検証
• クラウドAIに送る前の前処理
• APIが安定して返るか
• タイムアウト設定が必要か
• 並列実行で詰まらないか
• モデル読み込み時間が長すぎないか
• レスポンス形式を扱いやすいか
• メモリ使用量
• CPU使用率
• GPU使用率
• スワップ
• ディスク空き容量
• 発熱
• ファン音
• バッテリー消費

機密データを扱う注意

ローカルLLMは、クラウドAIへ送信したくないデータを扱う検証に向いています。しかし、「ローカルだから何を入れても安全」と考えるのは危険です。

確認すべき点は次の通りです。

特に注意したいのは、Ollama単体ではローカルでも、周辺ツールが外部通信する可能性があることです。

例えば、Ollamaと一緒にGUIツール、ブラウザ拡張、エージェント、IDE拡張、RAGツールを使う場合、それぞれの通信先、ログ、同期機能、クラウド連携を確認する必要があります。

情シス向けには、次のような段階導入がおすすめです。

クラウドLLMとの使い分け

Ollamaを導入するときに重要なのは、「クラウドLLMを置き換える」ことではなく、「どこをローカルに寄せると意味があるか」を決めることです。

実務では、次のようなハイブリッド構成が現実的です。

ローカルLLMは「全部をローカル化するための道具」ではなく、「AI活用の選択肢を増やす道具」と考える方がうまくいきます。

• 機密性が高い一次処理はローカルLLM
• 公開情報調査や高精度推論はクラウドLLM
• 社内RAGのembeddingはローカルで検証
• 最終レビューや高品質生成はクラウドLLM
• 開発者の軽い補助はOllama
• 重要な意思決定は人間が確認

実務での判断表

失敗しやすいパターン

### パターン1: 大きいモデルから入る

最初から大きいモデルを入れると、ダウンロード、保存、起動、メモリ不足でつまずきやすくなります。

まずは小型モデルで、Ollamaの流れを理解します。

### パターン2: モデルを増やしすぎる

Ollamaはモデルを簡単にpullできるため、いろいろ試したくなります。しかし、モデルはストレージを消費します。

定期的に確認します。

### パターン3: ローカルなら安全と決めつける

ローカルで動いていても、入力データ、ログ、周辺ツール、バックアップ、共有PC、画面共有、外部連携で情報が漏れる可能性はあります。

### パターン4: クラウドLLMと同じ精度を期待する

小型ローカルモデルは、クラウド最上位モデルと比べると、推論力、長文理解、複雑な指示追従で差が出ることがあります。

入門段階では、「使える業務を探す」よりも、「使えない範囲を見極める」ことが重要です。

### パターン5: APIをLANに開けてしまう

OllamaのAPIはローカルで使う前提から始めるのが安全です。外部公開やLAN公開をする場合は、認証、ネットワーク制限、ログ、アクセス権限を必ず設計してください。

### パターン6: モデルライセンスを確認しない

Ollamaで実行できるモデルであっても、商用利用、再配布、派生物、出力物の扱いはモデルごとに異なります。業務利用前に、モデルページとライセンスを確認してください。

ollama list
du -sh ~/.ollama 2>/dev/null

注意点と限界

### 1. モデルの知識は最新とは限らない

ローカルLLMは、基本的にモデルの学習時点までの知識に依存します。最新の価格、法規制、製品仕様、API変更、ニュースを聞く用途には向きません。

最新情報が必要な場合は、Web検索、公式ドキュメント、API、RAG、クラウドAIの検索機能と組み合わせる必要があります。

### 2. 回答は間違える

ローカルLLMでもクラウドLLMでも、回答は間違えることがあります。

特に、次の用途では人間の確認が必要です。

### 3. PCの負荷が大きい

ローカルLLMは、PCのCPU、GPU、メモリ、ストレージを使います。

業務中に使う場合は、他アプリへの影響を見ます。

### 4. 端末が増えると運用が難しくなる

1台で試すのは簡単でも、部署に展開すると難しくなります。

必要になるもの:

### 5. 比較・選定は別テーマとして考える

OllamaはローカルLLM入門に向いていますが、ローカルLLMツールはOllamaだけではありません。

LM Studio、Jan、AnythingLLM、Open WebUI、llama.cpp、vLLMなど、目的によって候補は変わります。

本記事はOllama単体の入門に寄せています。ツール比較・選定は、別記事「ローカルLLM入門 2026: Ollama、LM Studio、Jan、AnythingLLMの違い」へ分けるのがよいです。

関連する比較・選定記事も、目的に応じて参照してください。

• 法務
• 医療
• 金融
• セキュリティ
• 契約書
• 顧客対応
• 公開記事
• 商品表示
• 採用・人事評価
• インストール手順
• モデル指定
• バージョン管理
• 更新方針
• ログ確認
• 障害対応
• データ取扱ルール
• モデルライセンス管理
• 社内サポート窓口
• /ainews/article/zenn_llm-191udnq/
• /ainews/article/zenn_llm-duxrzt/
• /ainews/article/zenn_llm-1aejwhx/

FAQ

### Q1. Ollamaとは何ですか？

Ollamaは、ローカルPCやサーバー上でLLMを実行・管理するためのツールです。モデルの取得、実行、CLI操作、ローカルAPI提供、Modelfileによるカスタマイズなどができます。

### Q2. Ollamaは無料で使えますか？

Ollama自体はローカルでモデルを動かすためのツールとして利用できます。ただし、モデルごとのライセンス、PCの電力、ストレージ、GPU、運用コストは別に考える必要があります。また、Ollamaにはクラウドモデルも案内されているため、利用形態ごとの条件は公式情報を確認してください。

### Q3. ローカルLLMはインターネットなしで使えますか？

一度Ollama本体とモデルをダウンロードしていれば、モデル実行自体はローカルで行えます。ただし、モデルの取得、更新、外部ツール連携、クラウドモデル利用にはインターネット接続が必要です。

### Q4. どのモデルから始めるべきですか？

最初は小型で更新状況が見えるモデルから始めるのがおすすめです。用途が会話ならchatモデル、コードならcode系、RAGならembeddingモデルを選びます。大きいモデルは保存容量とメモリ負荷が増えるため、入門段階では避けた方が切り分けしやすいです。

### Q5. Macでも動きますか？

はい。Ollama公式macOSドキュメントでは、`.dmg` をマウントして `Ollama.app` をApplicationsへ配置する方法が案内されています。モデル保存には追加ストレージが必要で、`~/.ollama` にモデルや設定が保存されます。

### Q6. Windowsでも動きますか？

はい。OllamaはWindows、macOS、Linuxに対応しています。Windowsではインストーラーを使い、PowerShellなどから `ollama --version` や `ollama run <model>` を確認します。

### Q7. GPUがないPCでも使えますか？

小型モデルならCPUだけでも試せる場合があります。ただし、速度は遅くなりやすく、実務で快適に使えるかはモデルサイズとPC性能に依存します。入門では小型モデルから試してください。

### Q8. 社内の機密情報を入れても大丈夫ですか？

ローカルで動くためクラウド送信を避けやすい面はありますが、それだけで安全とは言えません。端末管理、ログ、モデル保存場所、外部連携ツール、バックアップ、モデルライセンス、社内規程を確認してください。最初はダミーデータで検証するのが安全です。

### Q9. OllamaとLM Studio、Jan、AnythingLLMは何が違いますか？

OllamaはCLIとAPIで使いやすいローカルLLM実行基盤です。LM StudioやJanはGUI体験が強く、AnythingLLMはRAGやドキュメント活用に寄った使い方ができます。比較・選定は別記事で扱うのがよいテーマです。

### Q10. OllamaのAPIはどこで動きますか？

Ollamaが起動していると、標準では `http://localhost:11434/api` でAPIが提供されます。公式APIドキュメントでは、`/api/generate`、`/api/chat`、`/api/embed` などの利用例が案内されています。

### Q11. モデルをメモリからすぐ消したい場合は？

CLIでは `ollama stop <model>` を使います。公式FAQでは、モデルは初期設定で5分間メモリに保持されると説明されており、APIでは `keep_alive` parameterで保持時間を指定できます。 ([Ollama Documentation][8])

### Q12. 業務導入では何から始めればよいですか？

まずは1台の検証PCで、小型モデル、非機密データ、単一用途から始めます。次に、API連携、精度評価、ログ確認、ライセンス確認、端末管理、組織内ルールとの整合性を確認します。部署展開はその後です。

まとめ

Ollamaは、ローカルLLMを始めるための有力な入口です。

CLIでモデルを動かし、APIでアプリから呼び出し、必要に応じてModelfileでカスタマイズできるため、個人の学習から業務検証まで幅広く使えます。

ただし、Ollamaは「クラウドAIを完全に置き換える魔法の道具」ではありません。PCスペック、モデル選び、ストレージ、ライセンス、機密データ、運用手順を確認しながら、小さく始めることが大切です。

最初の一歩としては、次の流れがおすすめです。

ローカルLLMは、クラウドAIと対立するものではなく、AI活用の選択肢を広げるものです。

機密性が高い下処理、軽い分類、社内RAGの試作、コード補助、プロトタイプ作成にはローカルLLMを使い、最新情報調査や高度な推論、安定した商用運用にはクラウドLLMも併用する。そのように役割を分けると、無理なく導入できます。

関連して、次の記事へ内部リンクを置くと、読者を自然に次の検討へ案内できます。

ollama --version
ollama run <小型モデル>
ollama list
curl http://localhost:11434/api/tags

• AIサービス比較: /ainews/ai-services/
• AnchorSpec関連記事: /ainews/article/anchorspec-ai-collaboration-protocol/
• 関連観測記事: /ainews/article/zenn_llm-191udnq/
• 関連観測記事: /ainews/article/zenn_llm-duxrzt/
• 関連観測記事: /ainews/article/zenn_llm-1aejwhx/

参考リンク

* [https://ollama.com/](https://ollama.com/)

* [https://docs.ollama.com/quickstart](https://docs.ollama.com/quickstart)

* [https://docs.ollama.com/macos](https://docs.ollama.com/macos)

* [https://docs.ollama.com/api/introduction](https://docs.ollama.com/api/introduction)

* [https://docs.ollama.com/api/chat](https://docs.ollama.com/api/chat)

* [https://docs.ollama.com/api/embed](https://docs.ollama.com/api/embed)

* [https://docs.ollama.com/modelfile](https://docs.ollama.com/modelfile)

* [https://docs.ollama.com/faq](https://docs.ollama.com/faq)

* [https://ollama.com/library](https://ollama.com/library)

* [https://github.com/ollama/ollama](https://github.com/ollama/ollama)

* [https://hub.docker.com/r/ollama/ollama](https://hub.docker.com/r/ollama/ollama)

• Ollama公式サイト
• Ollama Quickstart
• Ollama macOS docs
• Ollama API Introduction
• Ollama API Chat
• Ollama API Embed
• Ollama Modelfile Reference
• Ollama FAQ
• Ollama model library
• Ollama GitHub repository
• Ollama Docker image