Bye Bye Moore

PoCソルジャーな零細事業主が作業メモを残すブログ

llm

n8nとollamaを連動する その2:n8nチャットとpython製webhook的受けツールで試す

llm

実際のところ 外観 IF節 とりあえずテスト実装なので {{ $json.chatInput }} containsHello Code節 return [ { json: { text: "Invalid msg" } } ]; Basic LLM Chain節 とりあえず挙動制御ように Systemに You're a polite teacher. You understand the user…

n8nとollamaを連動する その1:n8nチャットとnetcatでためす

llm

ターゲットによってはローカルでやらざるを得ないこともあるだろうし 実際のところ 外観 n8nのdocker まず、lobechatとollamaを実験したときのネットワーク名を $ docker inspect ollama | jq '.[0].NetworkSettings.Networks | keys' [ "lobe-net" ] この名…

Dockerネットワークのブリッジネットワークをつくる

llm

実際のところ $ docker network create --driver bridge lobe-net突っ込む場合には、こんな風に $ docker run -d --name ollama --network lobe-net -p 11434:11434 ollama/ollama:latest

ロボ連携もできるAIハブlobechat その1:Dockerで環境構築

llm

実際のところ ローカルでビルドする $ git clone https://github.com/lobehub/lobe-chat.git$ cd lobe‑chat $ mkdir lobe-chat-db && cd lobe-chat-dbbash <(curl -fsSL https://lobe.li/setup.sh)開発モードを聞かれるので、「2」のLocal modeを選択。 な…

【読書メモ】生成AIのしくみ 〈流れ〉が画像・音声・動画をつくる (岩波科学ライブラリー 328)

生成AIのしくみ 〈流れ〉が画像・音声・動画をつくる (岩波科学ライブラリー 328)作者:岡野原 大輔岩波書店Amazon

ollamaでdeepseek-v2をためす

llm

中国発マルチエージェント型で界隈を騒がせたdeepseek-v2がollamaで遊べるらしいので試してみました 実際のところ 8.9GByteと結構な量をくうので注意 $ ollama run deepseek-v2 CHECK 一昔前のLLMに対する批判の代表的なものであった「知ったかぶり現象」は…

責任あるAI―「AI倫理」戦略ハンドブック

責任あるAI―「AI倫理」戦略ハンドブック作者:保科 学世,鈴木 博和東洋経済新報社Amazon

【読書メモ】AI時代の情報倫理

AI時代の情報倫理: データ管理とAIの責任ある利用作者:若杉祥太,納庄聡Amazon

SillyTavern

llm

実際のところ git clone https://github.com/SillyTavern/SillyTavern -b releasecd SillyTavernbash start.sh 参考もと GitHub - SillyTavern/SillyTavern: LLM Frontend for Power Users. API Connections | docs.ST.app

【読書メモ】生成AIで世界はこう変わる (SB新書)

生成AIで世界はこう変わる (SB新書)作者:今井 翔太SBクリエイティブAmazon.

ollamaがツールをコールできるようになったので試す

執筆時点で全部のモデルに対応しているわけでは無いそうで 今週、上級モデルならGPT-4o越えだと話題になったLlama 3.1を導入して遊んでみようと思います 実際のところ llama3.1の導入(してない場合) ollama pull llama3.1 スクリプト import json import o…

LLMに外部知識を簡単に与えるツールMem0 その4:Evaluation機能をつかって性能の評価・改善をする

llm

実際のところ 評価 from embedchain.evaluation import Evaluation eval = Evaluation(app) results = eval.evaluate( questions=["質問1", "質問2"], ground_truth=["正解1", "正解2"] ) print(results) 参考もと 🔬 Evaluation - Embedchain

LLMに外部知識を簡単に与えるツールMem0 その3:履歴をけす

llm

効果を検証したいとき 実際のところ チャット履歴をけしたい app.delete_session_chat_history() 追加したデータソースごと消したい app.reset() 参考もと

LLMに外部知識を簡単に与えるツールMem0 その2:embeded機能でWEBソースを導入

llm

shuzo-kino.hateblo.jp前回の続き 外部ツールの連動について 実際のところ データを追加します。 最近にじさんじからデビューしたての「ルンルン」さんに関してマトメられている非公式Wikiを登録してみます (ご迷惑にならないよう、可能な限りローカルに落…

LLMに外部知識を簡単に与えるツールMem0 その1:用途説明と環境構築

llm

RAG(Retrieval-Augmented Generation:情報検索補強生成)とは、ざっくり言うとLLMにWEBソースや業務知識を喰わせて特定目的での利便性を向上させるツールです。今回ためすMem0*1は、このRAGを手元環境で簡単に使用可能にするフレームワークです。 類似フレ…

ローカルLLM環境を構築できるOllamaをためす その7:画像判定をする

llm

実際のところ 今書いてまs 参考もと Vision models · Ollama Blog

ローカルLLM環境を構築できるOllamaをためす その6:業務知識を喰わせる

shuzo-kino.hateblo.jp の続き 私が今回【読書メモ】実践 生成AIの教科書 - Bye Bye Mooreから学んだ概念にRAG(Retrieval-Augmented Generation:情報検索補強生成)というのがあります。 要するに業務知識を喰わせるという事……らしい。 実際のところ 与え…

ローカルLLM環境を構築できるOllamaをためす その5:Dockerコンテナで動いているプロセスにPowerShellで接続

実際のところ ボディの設定 $body = @{ model = "llama3" # または選択したモデル名 prompt = "Tell me a short story about a robot learning to paint." } | ConvertTo-Json レスポンスの格納 $response = Invoke-RestMethod -Uri "http://localhost:11434…

ローカルLLM環境を構築できるOllamaをためす その4:Nvidia GPUで動作させる

llm

Ubuntu22LTSの環境下で、Ollamaが動いているDockerでGPUが使えるようにする 実際のところ 下準備 Nvidiaのツールを導入します。 Ubuntu22LTSの方法なので、Ubuntu24LTSの方は別記事参照。 $ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey…

ローカルLLM環境を構築できるOllamaをためす その2:簡単な自前モデルファイルをつくり話してみる

llm

実際のところ 先日構築した環境にはnanoはおろかvimすら入ってないので、お好みのエディタを入れてから試してください。 $ touch ModelfileModelfileに以下の内容を追加 FROM llama3 # set the temperature to 1 [higher is more creative, lower is more co…