カメラで撮影して、Googleレンズのように撮影内容を解説して。 撮影してGeminiで解析しました。画像には、セブンプレミアムのブラックコーヒーと思われるペットボトルが手前に写り、 中央には眼鏡をかけた短髪の人物、その後ろには木製の収納家具やリモコンが見えます。 商品名やボトルの残量は画像からの推定です。 撮影画像はcaptures\snapshot_1792896858357.bmpに保存されています。

（コマンドプロンプトの場合） set GEMINI_API_KEY=あなたのAPIキー （PowerShellの場合） $env:GEMINI_API_KEY="あなたのAPIキー"

if ($env:GEMINI_API_KEY) { "設定あり" } else { "未設定" }

mcp-camera-server/ ├── .vscode/ │ └── mcp.json ├── captures/ （撮影画像が保存される場所） ├── package.json └── server.js

{ "name": "mcp-camera-server", "version": "2.0.0", "type": "module", "main": "server.js", "scripts": { "start": "node server.js" }, "dependencies": { "@google/genai": "^2.31.0", "@modelcontextprotocol/sdk": "^1.32.1", "node-webcam": "^0.8.2", "sharp": "^0.34.5" } }

{ "servers": { "camera-server": { "type": "stdio", "command": "node", "args": [ "${workspaceFolder}/server.js" ] } } }

import { Server } from "@modelcontextprotocol/sdk/server/index.js"; import { StdioServerTransport } from "@modelcontextprotocol/sdk/server/stdio.js"; import { CallToolRequestSchema, ListToolsRequestSchema } from "@modelcontextprotocol/sdk/types.js"; import NodeWebcam from "node-webcam"; import fs from "fs"; import path from "path"; import { GoogleGenAI } from "@google/genai"; import sharp from "sharp"; // 保存先フォルダの作成 const outputDir = path.join(process.cwd(), "captures"); if (!fs.existsSync(outputDir)) { fs.mkdirSync(outputDir); } // カメラの設定 const Webcam = NodeWebcam.create({ width: 1280, height: 720, quality: 100, output: process.platform === "win32" ? "bmp" : "jpeg", callbackReturn: "location", verbose: false }); const ai = new GoogleGenAI({ apiKey: process.env.GEMINI_API_KEY }); async function getPngBuffer(imagePath) { const imageBuffer = fs.readFileSync(imagePath); if (imageBuffer.toString("ascii", 0, 2) !== "BM") { return sharp(imageBuffer).png().toBuffer(); } const pixelOffset = imageBuffer.readUInt32LE(10); const headerSize = imageBuffer.readUInt32LE(14); const width = imageBuffer.readInt32LE(18); const signedHeight = imageBuffer.readInt32LE(22); const bitsPerPixel = imageBuffer.readUInt16LE(28); const compression = imageBuffer.readUInt32LE(30); if (headerSize < 40 || width <= 0 || signedHeight === 0 || bitsPerPixel !== 24 || compression !== 0) { throw new Error("撮影画像のBMP形式に対応していません。"); } const height = Math.abs(signedHeight); const rowStride = Math.ceil((width * 3) / 4) * 4; if (pixelOffset + rowStride * height > imageBuffer.length) { throw new Error("撮影画像のBMPデータが不完全です。"); } const pixels = Buffer.alloc(width * height * 3); for (let y = 0; y < height; y++) { const sourceY = signedHeight > 0 ? height - 1 - y : y; for (let x = 0; x < width; x++) { const sourceOffset = pixelOffset + sourceY * rowStride + x * 3; const targetOffset = (y * width + x) * 3; pixels[targetOffset] = imageBuffer[sourceOffset + 2]; pixels[targetOffset + 1] = imageBuffer[sourceOffset + 1]; pixels[targetOffset + 2] = imageBuffer[sourceOffset]; } } return sharp(pixels, { raw: { width, height, channels: 3 } }).png().toBuffer(); } // MCPサーバーの初期化 const server = new Server( { name: "camera-mcp-server", version: "2.0.0", }, { capabilities: { tools: {}, }, } ); // 利用可能なツールの定義 server.setRequestHandler(ListToolsRequestSchema, async () => { return { tools: [ { name: "take_snapshot", description: "PCのWebカメラを使って静止画を撮影し、保存した画像のファイルパスを返します。", inputSchema: { type: "object", properties: {}, }, }, { name: "take_and_analyze", description: "PCのWebカメラで写真を撮影し、GoogleレンズのようにAI（Gemini）に写っているものを解析・解説させます。", inputSchema: { type: "object", properties: {}, }, }, ], }; }); // ツールが呼び出されたときの処理 server.setRequestHandler(CallToolRequestSchema, async (request) => { if (request.params.name === "take_snapshot" || request.params.name === "take_and_analyze") { return new Promise((resolve, reject) => { const fileName = `snapshot_${Date.now()}`; const baseFullPath = path.join(outputDir, fileName); Webcam.capture(baseFullPath, async (err, data) => { if (err) { reject(new Error(`カメラの撮影に失敗しました: ${err.message}`)); return; } // dataには拡張子を含む撮影画像のパスが返ります。 const imagePath = data; if (request.params.name === "take_snapshot") { resolve({ content: [ { type: "text", text: `カメラの撮影に成功しました。保存先: ${imagePath}`, }, ], }); return; } try { if (!process.env.GEMINI_API_KEY) { throw new Error("GEMINI_API_KEY 環境変数が設定されていません。"); } const pngBuffer = await getPngBuffer(imagePath); const response = await ai.models.generateContent({ model: "gemini-3.8-flash", contents: [ { inlineData: { data: pngBuffer.toString("base64"), mimeType: "image/png", }, }, "この画像に写っているものについて、Googleレンズのように詳細に解説やコメントをしてください。日本語で分かりやすくお願いします。", ], }); const analysisText = response.text || "解析結果を取得できませんでした。"; resolve({ content: [ { type: "text", text: `【撮影・AI解析完了】\n保存先: ${imagePath}\n\n■ AIからのコメント:\n${analysisText}`, }, ], }); } catch (aiError) { reject(new Error(`画像のAI解析に失敗しました: ${aiError.message}`)); } }); }); } throw new Error(`未知のツールです: ${request.params.name}`); }); // 標準入出力でサーバーを起動 async function main() { const transport = new StdioServerTransport(); await server.connect(transport); } main().catch((error) => { console.error("サーバーエラー:", error); process.exit(1); });