仮想化通信

日本仮想化技術株式会社の公式エンジニアブログ

バージョン6以降のPG-Strom

バージョン6以降のPG-Stromでもさまざまなアップデート改善が行われています。

最近mainリポジトリーに入った、個人的に大きな修正と思ったのが、Apache Arrowの実装が独自のものからアップストリームの実装に切り替わったということです。 現在もArrow周りのアップデートが開発され続けています。

PG-StromにとってApache Arrowは大規模なデーターから必要なデーターだけを抜き出したり、データーの入出力を効率化するために必要な重要なコンポーネントです。 これまでは事情があって独自実装のApache Arrowを使っていたものの、新しいApache Arrowの互換性の問題や新しい機能のサポート(例であげるとApache Parquet形式のサポート)などをするには、アップストリームの実装を使ったほうが良いだろうという判断だったのかもしれません。

その結果、最近PG-Stromを動かす場合は事前にアップストリームのApache Arrowなどのパッケージのインストールが必要になりました。 更新されたPG-Stromのドキュメントにはlibarrow/libparquetのインストールについて追加されています。 パッケージでこれらをインストールする場合は、公式サイトにあるようにlibarrow/libparquetのインストールの導入が必要です。

そのような更新もあったので、以前作ったAnsibleでPG-Stromの無償版環境を構築するPlaybookが使えなくなってしまいました。

昨日その修正をして、とりあえずRocky Linux 9.6では動くようになりました(dkms autoinstallを使っているあたりは強引さもありますが)。

github.com

たぶんAlmaLinux 9.6でも動くんじゃないかなと思います。 ただ、一部今のコードはcrbリポジトリー周りの書き方が良くないので、そのうちもう少し修正を入れるかもしれません。

次は同じ修正をここにしないとなあ。そのうち気が向いたらやります。