専用コンピューティングパワー
専用コンピューティングパワーとは
専用コンピューティングパワーは、プラットフォームがクリティカルなワークフローの安定かつ効率的な稼働を保証するために提供する独立したリソースサービスです。重要なワークフローを専用コンピューティングパワーに追加することで、他のプロセスの逼迫による影響を回避できます。
専用コンピューティングパワーは、ワークフロー自体の実行速度を向上させるものではありませんが、ワーク フローの安定実行を妨げる他ワークフローからの影響を遮断します。
専用コンピューティングパワーの主な特長は以下の通りです。
- 独立リソース：各専用コンピューティングパワーに専用の計算リソースが割り当てられ、ワークフロー実行時に他のワークフローの影響を受けません。
- 安定実行：専用コンピューティングパワーで稼働するワークフローは、独立したKafka Topicキューを持ち、パブリックキューでのメッセージ競合を回避することで、安定して効率的に処理されます。
- 分離と保護：重要なワークフローを通常ワークフローから分離することで、通常ワークフローの逼迫による影響低減につながります。
運用原理
- トリガーと実行：専用コンピューティングパワーで管理されているワークフローがトリガーされると、そのワークフロー専用のKafka Topicキューに投入されます。
- 独立消費：専用消費サービスがリアルタイムでTopic内メッセージを消費し、事前定義されたロジックに従ってワークフローを順次実行します。
- リソース保証：専用コンピューティングパワーで消費される計算リソースやストレージは全て独立したものとなり、他のワークフローに占有されることはありません。
主な利用シーン
- 優先度の高いワークフロー：迅速な応答や即時処理が必要なワークフロー。
- 複雑なワークフロー：計算負荷が高く、大量トリガーが想定されるワークフロー。これらは、パブリックキューで標準ワークフローと競合せず、専用高スペックリソース上で独立して稼働させることで、安定運用が実現できます。
配備アーキテクチャ
上図の通り、既存のKubernetesクラスターに対し、専用コンピューティングパワーサービス用のノードが2台追加されています。この例では、workflowcompute-Cとworkflowcompute-Dの2つの専用コンピューティングパワーが作成されています。workflow Cをworkflowcompute-Cで消費するよう設定した場合、workflow Cの実行にはworkflowcompute-Cが割り当てたリソースが利用されます。workflow Dについても同様です。
専用コンピューティングパワーの利用
専用コンピューティングパワーサービスの利用には、個別のキーと認証が必要で、クラスター環境でのみ配備・利用可能です。
配備が完了し認証が追加されると、以下の画面でインスタンスのスペックを選択して作成を行えます。
専用コンピューティングパワーインスタンスの同時実行数
- 20並列：独立したKafka Topicに20パーティション、独立したワークフロー消費サービスに20スレッド、最大4コア・8GBのリソースをワークフローおよびワークシートサービスで利用可能です。
- 100並列：独立したKafka Topicに100パーティション、独立したワークフロー消費サービスに100スレッド、最大16コア・32GBのリソースをワークフローおよびワークシートサービスで利用可能です。
- 一般的に、Kafka Topicのパーティション数を増やすことで、ワークフロー消費サービスのスレッド数も増加し、同時に処理できるワークフローが多くなります。
配備サーバーのスペック選定について
専用コンピューティングパワーサービスはKubernetesの機能を活用し 、マイクロサービスと分離された専用サーバー上で稼働するため、他サービスによるリソース逼迫の影響を受けません。そのため、専用コンピューティングパワーサービスを配備するには、独立したサーバーの追加が必要です。
まず、必要な専用コンピューティングパワーインスタンスの数・スペックを計画し、配備サーバーの構成・台数も計画してください。
例：20並列の専用コンピューティングパワーインスタンスを2台、50並列を2台作成する場合、16コア・32GBを搭載したサーバーを最低2台、各サーバーには固定ディスク200GBが必要となります。