ローカルLLMといえば、OllamaとかLM Studioがよくツールとして挙げられます。 どちらも普段使っているツールです。 最近、vLLMというのがあるのを知りました。 vllm.ai そこで早速使ってみようと、まずはCPU版で動かしてみることにしました。 CPU版のvLLMはC…

Kueueの概要については、前編にまとめています。 tech.virtualtech.jp Kubernetes GPU + Kueue セットアップ手順書（Kueue入門 + Workload Lifecycle） このドキュメントは GPUを搭載したKubernetesクラスタでGPUを利用し、Kueueを使ってジョブの順番実行（…

このブログでずいぶん前に「KubernetesでGPUをつかう」と言った内容の記事を書いたことがあります。 最近の「KubernetesでGPU」って言うとどんな感じなのかなと思って公式のドキュメントを見たものの、標準の機能としては特に大きく変更は無いようでした。 K…

今回の記事はKubernetesとKueue、そしてKubeflowを連携したGPUの利用に関してです、 KueueやKubeflowは感嘆にまとめるのが難しかったため、前編、中編、そして今回の後編の3つ二分割しました。 Kueueの基礎については、前編に書いているつもりです。 tech.vi…

今回のネタは以前同じような記事を書いたので、そのアップデート版です。 次の記事も併せてご覧ください。2019年ごろの記事です。今もだいたい通じます。 tech.virtualtech.jp さて、本題に入る前にそれぞれざっくり説明します。 MicroK8sとは MicroK8sとはU…

今回はMicroK8sでPG-Stromコンテナを動かしてみようと思います。 MicroK8sはこのブログで何度か取り上げたように、Kubernetesクラスターを簡単にセットアップすることができるツールです。 microk8s.io PG-StromはPostgreSQLデータベースの拡張機能です。GPU…

NVIDIAのGPUのH100、A100、A30にはマルチインスタンスGPU（以降MIG）という機能が実装されています。 かつては専用ソフトウェアを使って1つのGPUを複数のGPUがあるかのように見せて、対応するアプリケーションで使うことができましたが、 先に挙げたGPUであ…