专属算力
什么是专属算力
专属算力是平台为保障关键工作流稳定、高效运行而提供的独立资源服务。通过将重要工作流添加到专属算力中,避免平台其他组织流程堵塞的影响。
专属算力不是提高了工作流本身的执行速度,而是保证专属算力中的工作流能够稳定执行,不会受到其他工作流的影响。
专属算力的核心优势在于:
- 独立资源: 为每个专属算力分配独立的计算资源,确保工作流独享资源,不受其他工作流影响。
- 稳定执行: 专属算力中的工作流拥有独立的 Kafka Topic 队列,避免与公共队列中的消息竞争,从而保证工作流能够稳定、高效地执行。
- 隔离保护: 通过将关键工作流与普通工作流隔离,有效降低平台其他流程堵塞的影响。
工作原理简述:
- 触发执行: 当专属算力中的工作流被触发时,会进入其独立的 Kafka Topic 队列。
- 独立消费: 专属的消费服务会实时消费该 Topic 中的消息,并按照预设的逻辑执行工作流。
- 资源保障: 专属算力所使用的计算资源和存储空间,均为独享资源,不会被其他工作流占用。
适用场景:
- 高优先级工作流: 需要快速响应、及时处理的工作流。
- 复杂工作流: 配置复杂、计算量大并且需要大批量触发的工作流。(放入独立的高配规格专属资源示例中,避免这种复杂工作流在公共队列造成普通工作流排队)
使用专属算力
专属算力服务需要独立密钥授权,并且仅支持在集群模式下部署使用。
完成部署与添加授权后,可以在此页面,选择实例规格进行创建。
专属算力实例规格中的并发概念:
- 20并发:代表独立的 Kafka Topic 有 20 个分区,独立的工作流消费服务有20个线程,独立的工作流与工作表服务最大可占用4核8GB资源。
- 100并发:代表独立的 Kafka Topic 有 100 个分区,独立的工作流消费服务有100个线程,独立的工作流与工作表服务最大可占用16核32GB资源。
- 理论上 Kafka Topic 分区越大,工作流消费服务线程越大,并行可处理的工作流也越多。
部署服务器规格怎么选?
专属算力服务利用 Kubernetes 污点特性,将专属算力服务独立运行在与微服务隔离的服务器中,从而避免受到其他服务资源占用的影响,所以部署专属算力服务需要新增独立服务器。
先规划所需专属算力实例数量及规格大小,再规划部署服务器配置与数量。
例如:需要创建2个20并发与2个50并发的专属算力实例,那么最低需要2台16核32GB的服务器,每台服务器磁盘大小固定200G即可。