Hands-on Workshop: ZooKeeper to KRaft Without the Hassle | Secure Your Spot

Confluent Platform 8.0 の新機能: 安全なストリーミング、容易なモニタリング、圧倒的なスケーラビリティ

作成者 :

私たちはConfluentは、世界トップクラスのデータストリーミングプラットフォーム(DSP)の構築に取り組んでいます。DSPは、あらゆるデータをストリーミング、接続、処理、管理し、必要な場所で利用可能にします

本日はここに、Confluent Platform 8.0 のリリースをお知らせします。

このリリースは Apache Kafka® 4.0 をベースにして、データストリーミングプラットフォームのコアとなる機能を強化しました。以下はリリースのハイライトです。機能の詳細については、リリースノートをご覧ください。

本リリースは、運用上の複雑さの解消、データ保護の強化、Kafka の効率的なスケーリングに重点を置き、最新のクラスターの監視、機密データのセキュリティ確保、Apache ZooKeeper™️ のオーバーヘッドの排除を実現しました。

主な新機能:

  • 次世代 Confluent Control Center によるKafka と Apache Flink® 環境の容易な監視と管理

  • ZooKeeperをKRaftに置き換えることで、Kafkaアーキテクチャをシンプルにし、より大規模なスケーラビリティを実現

  • クライアントサイドのフィールドレベル暗号化が一般提供開始され、メッセージ内の個々のフィールドを暗号化し、最も機密性の高いデータを保護

Confluent Platform 8.0 主要機能概要

2025年8月8日に開催される Confluent Platform の最新機能に関するウェビナーとデモ(英語)に是非ご参加ください。

これからは KRaft – Apache ZooKeeper が不要に

ZooKeeper を不要とするための数年にわたるアーキテクチャの変革がついに完了しました。Confluent Platform の最新リリースにて、ZooKeeper の KRaft への置き換えが完了しました。KRaftはデフォルトで利用可能 で、 Kafka の運用を大幅に改善します。

Confluent Platform の最新バージョンにおける ZooKeeper の廃止は Kafka のアーキテクチャをシンプルにし、新たなレベルのスケーラビリティとレジリエンスを実現する大きな前進となりました。KRaft モードの一般提供開始により、Kafkaは内部で自身のメタデータ管理をするようになりました、独自のツールやシンタックス(構文)、運用上のオーバーヘッドを伴う別システムが不要となります。この合理化は、より少ない構成要素でKafkaをデプロイ・運用でき、フェイルオーバーからの復旧が高速化され、プラットフォーム全体で統一された設定とセキュリティモデルが実現します。

メタデータ管理を Kafkaに統合することで Kafka のアーキテクチャをシンプルに

KRaftは、単に設計が洗練されているだけではなく、スケーラビリティの飛躍的な向上を実現します。ZooKeeper を組み込みの Raft ベースのメタデータクォーラムに置き換えることで、Kafka は数百万のパーティションを持つ大規模なクラスターをサポート可能となり、ワークロードの需要に合わせて適切な規模のインフラストラクチャを構築できます。メタデータコントローラーのフェイルオーバーはほぼ瞬時に実行されダウンタイムが削減され、運用の信頼性が向上します。アーキテクトや運用担当者にとっては、ZooKeeper 管理の複雑さ無しに、パフォーマンスの向上、容易なアップグレード、そして長期的な成長に対応できる基盤の構築を意味します。

Confluent for Kubernetes (CFK) と Confluent Ansible Playbooks for Confluent Platform (Confluent Ansible) があれば、運用担当者はストリーミングワークロードを中断することなく、稼働中の本番環境のクラスターを ZooKeeper から KRaft に自動的に移行できます。

次世代Control Center: メトリクスは2倍、パーティション数は3倍に拡大、起動時間は15倍の高速化

当社イベント Current London において、Kafkaの可観測性(オブザーバビリティ)と運用性を飛躍的に進化させる次世代 Confluent Control Center を発表しました。Prometheus ベースのアーキテクチャを採用したこの Control Center は、パフォーマンスと効率性を大幅に向上させ、高スループットで大規模な Kafka 環境をサポートするよう設計されています。オープンテレメトリプロトコル(OTLP)との統合により、メトリクス保存用の Kafka クラスターが不要となりアーキテクチャが簡素化され、リソースオーバーヘッドは低減されます。

運用上のメリットは顕著です。最大40万パーティション(レプリケーション含む)をサポートし、これは従来のしきい値(スレッシュホールド)の3倍以上となります。メトリクスの更新はエンドツーエンドで2~3分以内に向上し、遅延は50%以上削減されました。また、サービスの起動と復旧時間は15~50分からわずか1分に短縮されました。これらの機能強化により、運用担当者や開発者は大規模な Kafka デプロイメントをより迅速かつ正確に監視し、トラブルシューティングできるようになり、信頼性を向上させつつ全体の複雑さが軽減できます。詳細については、こちらのブログをご覧ください。

Kafka クラスターを選択し、新しいコントロールセンター インターフェースでメトリックを表示

Control Center の最新リリースでは、 Apache Flink®用Confluent Manager(CMF)をControl Center内に直接統合し、ストリーム処理ワークロード管理のための一元化された直感的なインターフェースを提供しています。Control Center のUIによって、プラットフォームを離れることなく、Flink 環境およびアプリケーションの作成、変更、監視が行えます。

Flinkクラスタとアプリケーションのライフサイクルを可視化することで、ユーザーはアプリケーションインスタンスの経時的な追跡、ライフサイクルイベントを通じた健全性の監視、環境やジョブの変更をわずか数クリックで実行できます。新しい Flink 環境を立ち上げる場合でも本番環境のパイプラインを管理する場合でも、Control Center は Kafka のデプロイメントと並行して Flinkを確実に運用するために必要な運用制御とオブザーバビリティ(可観測性)を提供します。詳細については、当該のリリースノートをご覧ください。

コントロールセンター と CMF による Flink 環境とアプリケーションの管理

クライアントサイドのフィールドレベル暗号化が一般提供開始

Confluent Platform のクライアントサイドのフィールドレベル暗号化(CSFLE) が一般提供となりました。CSFLE は、トランスポート層セキュリティ (TLS) による転送中データの暗号化やロールベースアクセス制御 (RBAC) といった、既存のエンタープライズグレードのセキュリティ機能を補完し、最も機密性の高いデータをライフサイクル全体を通じて保護する追加のセキュリティ層を提供します。

金融サービス、ヘルスケア、公共など、政府により参入が規制される業界においては、特に個人識別情報 (PII) などの機密情報に対してより厳格なデータ保護が求められます。CSFLE を使用すると、送信元(Producer)でメッセージ内の個々のフィールドを暗号化でき、許可されたユーザーまたはアプリケーションのみがデータを復号化してアクセスできるようになります。

CSFLE を活用すると以下が可能となります。

  • 機密データのセキュリティを強化し、厳格なコンプライアンス要件を遵守

  • 暗号化する特定のフィールドに関して、柔軟かつきめ細かなアクセス制御を維持

  • トピックの重複の必要性を減らし、TCOと運用の複雑さを軽減

エンベロープ暗号化によって機密フィールドを保護し、スキーマレジストリとタグを活用して暗号化ルールを定義

オンプレミス環境、ハイブリッド環境向けのガバナンス機能を今後も拡張していく予定です。CSFLE のご利用を開始するには、Confluent Platform 8.0 へのアップグレードが必要です。

その他の追加機能やアップデート

  • Confluent Platform for Apache Flink® に Confluent Manager for Apache Flink® の FlinkSQL(オープンプレビュー)の機能が追加されました。REST および Confluent CLI 経由でアクセスできます。より詳細の情報はこちらをご参照ください。

  • Queues for Kafka が Confluent Platform をご利用中お客様にアーリーアクセス版として提供が開始されました。共有グループのサポートにより、キュー形式のユースケース向けに設計された強力な新しいコンサンプションモデルが導入されます。共有グループは、Kafka にネイティブで協調的なコンサンプションを提供します。この機能により、複数のコンシューマーがパーティションを共有し、メッセージを独立して処理し、過剰なパーティション分割を必要とせずにキュー形式のワークロードの配信状況を追跡できるようになります。

  • Confluent Platform Community 版は、Kafka のリリースサイクルにより密に追従するようになります。Confluent Community ソフトウェアは Kafka コミュニティのサポートスケジュールに従い、マイナーバージョンのリリース日から 1 年間の Kafka バージョンのパッチサポートを提供します。Confluent Enterprise ライセンスをご利用中のお客様は、マイナーバージョンのリリース後も最大 3 年間、パッチ更新を受けられます。

  • パスワードレス認証がConfluent Server および Schema Registry で利用可能になりました。静的なクライアント認証情報ではなく、Confluent PlatformのOAuthクライアント認証情報グラントタイプを拡張したもので、静的なクライアント認証情報ではなく事前署名付きアサーションを使用します。CFK と Confluent Ansible は、Confluent Server およびSchema Registry と連携し、パスワードレス認証を実現するデプロイメントに使用できます。

Confluent for Kubernetes (CFK) のアップデート

CFK は、Kubernetes 上で Confluent Platform をデプロイおよび管理するための宣言型 API 駆動型コントロールプレーンを提供します。CFK 2.11.1 を使用すると、Kubernetes バージョン 1.25 - 1.32 (OpenShift 4.12 - 4.18) 上で Confluent Platform バージョン 7.1.x から 7.9.x をデプロイおよび管理できます。CFK と Confluent Platform のインストールの詳細については、ドキュメント「Deploy Confluent for Kubernetes」および「Deploy Confluent Platform Using Confluent for Kubernetes.」をご参照ください。

このリリースでは、CFK は新しい Confluent Control Center のシームレスなデプロイと統合をサポートするようになりました。このバージョンの CFK は、新しい Control Center と従来のバージョンの両方を並行してデプロイ、機能検証を行い、スムーズな移行を可能にします。この柔軟性は、Confluent Platform 8.0 で従来の Control Center が完全に廃止される前にオペレーターが確実なテストと移行を行う時間をご提供します。

CFK の最新情報の詳細については、リリースノートをご覧ください。

Confluent Ansible のアップデート

Confluent Ansible 8.0.0 を利用すると、Confluent Platform バージョン 8.0.0 をデプロイできます。このリリースは、Ansible Core バージョン 9.x から 11.x および Python バージョン 3.10 以降をサポートしています。詳細は「Prerequisites for Installing Confluent Platform With Ansible Playbooks.(Ansible プレイブックを使用した Confluent Platform のインストール前提条件)」をご参照ください。

Ansible Playbooks は独立したリリースサイクルに移行し、8.0 以降の Confluent Platform バージョン間でのより迅速なアップデートと幅広い互換性を実現し、運用担当者に自動化においてより柔軟性と俊敏性を提供します。また、組織がネットワークスタックを最新化し、常に変化するインフラ要件に対応できるよう、IPv6 の完全サポートも導入しました。さらに、セキュリティ強化を目指すチーム向けに、RBAC 非対応のデプロイメントを RBAC にアップグレードし、既存のブラウンフィールド環境で相互 TLS (mTLS) を有効化するサポートを追加しました。ゼロから構築することなく、堅牢なアクセス制御と暗号化が容易に導入できます。

Confluent Ansible の最新情報詳細については、リリースノートをご覧ください。

Apache Kafka® 4.0 ベースのビルト

Confluent Platform 8.0 は Apache Kafka version 4.0 をベースに構築されており、レガシークライアントとの互換性が除かれています。今後、クライアントは Apache Kafka 2.1 以降を使用する必要があります。これはApache Kafka KIP-896 に準拠するもので、Apache Kafka 3.7 で実装され、これらの古いバージョンを非推奨とされました。Java 2.1.0 より古いクライアントはほとんど影響を受け、2021 年より以前にリリースされた Kafka クライアントバージョンも多くが影響を受ける可能性があります。削除される特定のクライアントプロトコル API バージョンの詳細については、リリースノートを参照してください。

Confluent Platform 8.0のリリースに伴うセルフマネージドコネクタのサポートポリシーに基づき、一部のセルフマネージドコネクタが非推奨になります。詳細については、「Deprecated Connectors (非推奨のコネクタ)」を参照してください。また、サポート対象となるには特定の最小バージョンのコネクタが必要になります。詳細は、「Supported Connector Versions in Confluent Platform 8.0 (Confluent Platform 8.0 でサポートされるコネクタバージョン)」をご参照ください。

Confluent Platform 8.0 へのアップグレード準備が整うまで、全サポートプランを活用しサポート対象の Confluent Platform のバージョンを引き続きご利用いただけます。Confluent のプロフェッショナルサービスが、非推奨クライアントからコンプライアンスに準拠し安定性とパフォーマンスに優れたクライアントへの移行をお手伝いします。その間は、アップグレードの手順、ローリングアップグレードに際しての注意事項、アップグレードプロセス中に発生する可能性のある重大な変更点や互換性の問題に関する重要な情報が記載されたApache Kafka 4.0 upgrade guide をご覧ください。

For more details about Apache Kafka 4.0, read the blog post.Apache Kafka 4.0 の詳細については、当該ブログをご覧ください。

デモウェビナー: エンタープライズグレードのセキュリティと Kafka の運用の自動化を実現する方法(英語)

2025年8月8日開催の Confluent Platform 最新機能に関するウェビナーとデモにご参加ください(英語)。

今すぐ始めましょう

今すぐ Confluent Platform 8.0 をダウンロードして、Apache Kafka の創始者によって構築された、Data in Motion のための唯一にして包括的なクラウドネイティブプラットフォームを使い始めましょう。

‎ 

本記事は Confluent の製品開発の方向性を示すものであり、いかなる資料、コード、または機能の提供を約束するものではありません。記されている機能の開発、リリース、時期、価格は変更される可能性があります。お客様は、現在利用可能なサービス、機能、および機能に基づいて購入を判断ください。

Confluent および関連する関連する名称は Confluent, Inc. の商標または登録商標です。

Apache®、Apache Kafka®、Apache Flink®、Apache Iceberg™️、およびそれぞれのロゴは、米国およびその他の国における Apache Software Foundation の登録商標または商標です。これらの使用は、Apache Software Foundationによる推奨を意味するものではありません。その他のすべての商標は、それぞれの所有者に帰属します。

  • Olivia Greene は Confluent のプロダクトマーケティング担当者で、Confluent Cloud と Confluent Platform の採用を推進し、企業がデータストリーミングの可能性を最大限に活用できるように支援しています。Confluent 入社前は、Red Hat でインフラストラクチャ、ストレージ、エッジテクノロジー全般にわたるプログラムと市場開拓の取り組みを主導していました。

  • Rohit Bakhshi is the Director of Product for Confluent's hybrid product lines. He’s spent the last 12 years building data platform software businesses—leading product for Kafka, Spark based ETL, GraphQL, and Hadoop.

このブログ記事は気に入りましたか?今すぐ共有