Confluent Cloud の新機能: AI 活用のためのData in Motion

先進的な企業は、人工知能（AI）の問題が根本的にデータの問題であることを理解しています。リアルタイムの不正検知から自律型エージェントに至るまで、AIは適切な結果を生み出すために、共通の基盤、つまり信頼できるデータを共有する必要があります。ニューオーリンズでのCurrentで、私たちは強力な新製品を発表しました。Confluent Cloudは、この課題を根本解決できるように設計されています。ミッションクリティカルなアプリケーションを強化し、AI イニシアチブを実現するための決定的なデータ ストリーミング プラットフォームを提供します。

• Confluent Intelligence でリアルタイム AI システムを構築

• Confluent Cloud for Apache Flink® の言語とオブザーバビリティの向上

• Confluent Cloud 向け Tableflow の機能拡張

• Cluster Linkingを利用した簡単なプライベートApache Kafkaの移行

• Connector Migration Utilityを使用し、フルマネージドコネクタに移行する

• Queues for Kafkaによる動的拡張の実現 (KIP-932)

• 追加の新機能とアップデート

• 新しい Confluent Cloud を使って構築を開始

11月20日開催Streaming Agentsウェビナーとデモにご参加ください。これらの新機能が実際にどのように機能するかご覧いただけます。

Confluent Intelligence でリアルタイム AI システムを構築

KafkaとFlinkの力を活用して、リアルタイムで信頼性の高いデータを本番環境のAIシステムに提供するという私たちのビジョン、Confluent Intelligenceをご紹介できることを大変嬉しく思います。クラウドネイティブなデータストリーミングプラットフォームに構築されたConfluent Intelligenceは、AIの中核を成す複雑なデータ問題を解決するように設計されています。

AIエージェントとアプリケーションは、継続的に文脈を理解、類推、アクションするために常に最新のコンテキストを必要としますが、これらのシステムを構築するには、断片化されたインフラの管理が必要になることが多く、最終的にはイノベーションの停滞につながります。Confluent Intelligenceは、履歴の再生、継続的な処理、リアルタイム配信を単一のプラットフォームに統合することでこの課題を解消し、AIシステムが信頼性の高いコンテキスト化されたデータに基づいて動作することを保証します。

Streaming Agents (フェーズ 2 - オープン プレビュー)

Streaming Agentsは、Confluent Cloud for Apache Flink® 上で、イベント駆動型AIエージェントをネイティブに構築、デプロイ、オーケストレーションできます。これにより、データ処理とAI推論を単一の強力なフレームワークに統合できます。データから切り離された従来のエージェントフレームワークとは異なり、Streaming Agentsはイベントストリーム内で動作するため、常に最新のビジネスの動きを正確に把握できます。これにより、リアルタイムで理解、判断、そしてアクションをし、インテリジェントな人や物事の状況や変化に沿ったコンテキストアウェアな自動化を実現します。

私たちはまず、前四半期にStreaming Agentsを導入し、次のような機能を備えていました。モデル推論、リアルタイム組込み、モデルコンテキストプロトコル（MCP）によるツール呼び出し、外部テーブルやベクトル検索など、使い慣れたFlink APIを使いながら、様々な機能を実現できます。次のフェーズでは、Streaming Agentsの構築と実行をさらに容易にする強力な新機能を追加し、これをさらに進化させます。

• Agent Definition（オープンプレビュー）：Streaming Agentsを使用して、わずか数行のコードでアプリケーションを定義および構築できます。エージェントのテストと再利用が容易になり、低レベルの定型コードではなく、差別化されたエージェントワークフローの作成に集中できます。大規模言語モデル（LLM）が出力を評価・調整し、より良い結果をもたらす動的で反復的なツールの呼び出しにより、より高度なタスクが可能になります。

• Observability and Debugging（オープンプレビュー）：入力イベント、エージェント間通信、ツールの呼び出し、モデルの決定など、エージェント間のあらゆるやりとりを不変のログに記録することで、エンドツーエンドの可視性、監査、セキュリティ、コンプライアンスを実現します。発生した事象の追跡、問題のデバッグ、変更の確実なテスト、障害からの復旧を実現し、エージェントを不透明なシステムから完全に透明なシステムへと変革することで、より迅速かつ安全に反復処理を実行できます。

• Real-Time Context Engine (アーリーアクセス): セキュリティとガバナンスが組み込まれた構造化されたリアルタイム コンテキストをStreaming Agentsに提供し、エージェントが必要なときに情報に基づいた最適な決定を下せるようにします。

Streaming Agentsのフェーズ2の詳細は、デモビデオ、ブログ「 より速く、よりスマートに、よりコンテキストアウェアに: Streaming Agentsの新機能」、チュートリアルウェビナーをご覧ください。

Real-Time Context Engineとは

優れたAIには優れたコンテキストが必要です。AIシステム構築における重要な課題は、大規模に安全かつ確実に、最新の関連性の高いコンテキストをエージェントに提供することです。アーリーアクセス（EA）版として提供されるReal-Time Context Engineは、この課題に正面から取り組みます。ストリーミングデータをメモリ内の低レイテンシーなキャッシュにマテリアライズする、フルマネージドのサービスを提供します。この構造化されたコンテキストを継続的に構築、改良し、MCPを通じてあらゆるAIアプリやエージェントに提供します。Real-Time Context Engineは、KafkaとFlinkの複雑さをすべて抽象化し、開発者は最新のコンテキストに即座にアクセスできるようになります。上流の定義が変更されると、プラットフォームは影響を受けるデータを自動的に再処理し、下流のAIシステムも一貫性を維持し、手動での再構築やドリフトを防ぎます。

認証、RBAC、監査ログがすぐに利用できるため、バックエンドのインフラストラクチャを管理することなく、信頼性の高いリアルタイムのコンテキストをAIエージェントに提供できる最も簡単で安全な方法です。ぜひアーリーアクセスプログラムにご参加ください。

Confluent は Airy を歓迎します

AiryのリーダーシップチームをConfluentに迎え、Apache FlinkのリアルタイムAIを新たなレベルへと引き上げることができ、大変嬉しく思います。AiryのAIエージェントフレームワークと開発者向けツールは、Flinkの機能を強化し、最新のアプリケーションにリアルタイムインテリジェンスをより容易に組み込むことを可能にします。

Confluent Cloud for Apache Flink® の言語とオブザーバビリティの向上

Python ユーザー定義関数 (アーリーアクセス)

ストリーム処理では、組み込みSQL演算子では不可能なロジックが必要になることがよくあります。そこでユーザー定義関数UDF（User Defined Functions）の登場により、開発者は独自のロジックでFlink SQLを拡張できるようになりました。昨年、Confluent CloudでApache Flink®向けのJava UDFを導入しました。そして今、新たなマイルストーンとして、AWS上でPython UDFを実装できることを嬉しく思います。今四半期中にアーリーアクセス版を提供予定です。

このリリースでは、PythonでスカラーUDFを記述し、Flink SQL内で直接実行できるようになり、Pythonの汎用性をリアルタイムストリーム処理に活用できるようになります。Pythonの豊富なライブラリを活用することで、チームはより高度なデータ変換ができ、AI/機械学習（ML）からモノのインターネット（IoT）の信号処理まで、幅広いユースケースに対応できます。JavaとPythonの両方をサポートすることで、Confluent Cloud for Apache Flink®をより幅広い開発者やデータチームにご利用いただけるようになります。アーリーアクセスへの参加をご希望の場合は、担当のアカウントチームまでお問い合わせいただくか、こちらからサインアップしてください。

オブザーバビリティとエラー処理

ストリーム処理パイプライン内で何が起こっているかを把握するには、推測ばかりに頼るべきではありません。Confluent Cloud for Apache Flink® は、ジョブのリアルタイム監視、デバッグ、最適化を容易にする、より豊富な可観測性（オブザーバビリティ）ツールスイートを提供します。

強化されたFlink操作ログConfluent Cloud ConsoleでFlinkステートメントの動作を直接可視化できます。開発者はステートメントのライフサイクル遷移、拡張ステータス、実行時エラーや警告を監視できるほか、組み込みの検索、フィルタリング、可視化機能により、問題を迅速に特定して解決できます。カスタムコードについては、Flink UDFログにより、同じインターフェースで運用ログと一緒に独自の Log4j ログを出力および表示できます。

また、Flink SQL Query Profilerは、ステートメント、タスク、演算子にわたるメトリクスと直感的なジョブグラフの視覚化を提供することで、パフォーマンスチューニングとボトルネックの特定を簡素化できる、動的でリアルタイムなビジュアルダッシュボードです。最後に、カスタムエラー処理の逆シリアル化（デシリアライゼーション）動作を制御できます。デシリアライゼーションを失敗させるか、無視するか、あるいは不良レコードをデッドレターキュー（DLQ）テーブルに記録して後で分析できるようにするかを選択できます。

Confluent Cloud 向け Tableflow の機能拡張

私たちは、お客様がデータレイクハウスアーキテクチャをリアルタイムデータで実現するために何を必要としているかを、綿密にヒアリングしました。Tableflowは、エンタープライズ グレードの機能を備え、本番環境での使用に対応する準備が整っており、完全なガバナンス、信頼性、セキュリティを備えた高品質の Kafka データ ストリームを分析システムや AI システムに提供することがこれまで以上に簡単になりました。

Delta LakeとUnity Catalogのサポート

Delta Lakeテーブルに対するTableflowのサポートと Databricks Unity Catalog のサポートの一般提供を開始し、高品質の Kafka データ ストリームを Databricks やその他の互換性のある分析エンジンに簡単に供給できるようになりました。Tableflow はすべてのメタデータを Unity Catalog に公開するため、Databricks レイクハウス環境内でリアルタイムデータを即座に検出し、クエリを実行できます。

Delta Lake および Unity Catalog の Tableflow サポートは、強力で統合されたガバナンス モデルを確立し、ストリーミング プラットフォームと分析プラットフォームの両方で一貫したアクセス制御とスキーマ管理を保証します。

Upsert、DLQ、BYOK 暗号化

正確で信頼性の高い分析テーブルを維持するために、Tableflow では Upsert と DLQ がサポートされるようになりました。テーブルのUpsert行の挿入、更新、削除を効率的に実行できるようになったため、冗長性を削減し、リアルタイム分析のためにデータを最新の状態に保つことができます。また、DLQサポートにより、不正な形式や問題のあるレコードは、豊富なメタデータを含む専用キューに自動的にルーティングされ、パイプラインをスムーズに実行しながら、データ品質の問題を可視化できます。

厳格なセキュリティやコンプライアンス要件を満たすため、Tableflow は Bring Your Own Key (BYOK) の暗号化もサポートするようになりました。Kafka クラスターから Tableflow が作成する分析テーブルにセルフマネージドの暗号化キーを拡張利用することで、Confluent 管理のストレージ環境と顧客管理のストレージ環境の両方でエンドツーエンドのデータ保護ができます。

Microsoft Azure 上の Tableflow (アーリーアクセス)

TableflowがMicrosoft Azureでも、アーリーアクセス（EA）版として提供開始となりました。KafkaトピックをAzureエコシステム内のオープンテーブルとしてマテリアライズできるため、ストリーミングデータを分析やAIユースケースに容易にアクセスできるようになります。ご利用については、アカウントチームまでお問い合わせください。

Tableflow のアップデートの詳細については、次の詳細ブログをお読みください。Tableflow の新機能: Delta Lake、Unity Catalog、Azure アーリーアクセス (EA)、その他のエンタープライズ グレードの機能。

Cluster Linkingを利用した簡単なプライベートApache Kafka®の移行

Cluster Linkingを活用したプライベートKafka移行機能が、まもなくConfluent Cloudに登場します。多くの組織では、機密性が高くビジネスクリティカルなワークロードをプライベートネットワークで実行しており、セキュリティとコンプライアンスの要件により移行が困難になっています。これまで、プライベートネットワークで接続された外部Kafkaクラスターからの移行には、パブリックエンドポイントの公開、VPNの設定、中間インフラストラクチャの導入、MirrorMaker 2などの外部ツールの使用が必要でした。

プライベート Kafka 移行（Private Kafka Migrations）を使用すると、ブローカーをパブリックインターネットに公開したり、1 回限りの回避策を管理したりすることなく、AWS PrivateLink、Azure Private Link、Google Private Service Connect、仮想プライベートクラウド (VPC)/仮想プライベートネットワーク (VNet) ピアリングなどのオプションを使用して、セルフマネージドまたはホストされた Kafka クラスターをプライベートネットワーク経由で Confluent Cloud に直接リンクできます。

Cluster Linking（Kafkaネイティブのレプリケーションプロトコル）をプライベート間接続に拡張することで、Confluentはセキュアでフルマネージドなデータレプリケーションが可能となります。データはバイト単位で複製され、オフセットは自動的に保持されるため、アプリケーションのスムーズな切り替えが保証され、ダウンタイムやデータ損失のリスクを回避できます。これにより、プラットフォームチームとセキュリティチームは、承認されたエンタープライズネットワークパターンに準拠した移行ソリューションを利用できます。

また、Confluentクラスタ間のCluster Linkingを拡張し、Freightクラスタもサポートする予定です。この新機能により、この新機能により、既にFreight クラスタを利用している企業は、ミッションクリティカルなアプリケーション向けに堅牢な災害復旧戦略を実施できるようになります。Cluster Linking は3つの主要クラウドすべてで利用可能になり、パブリックとプライベートの両方のネットワークタイプをサポートし、Enterprise、Dedicated、Freight クラスタ間でデータを複製できるようになりました。これにより、グローバル環境とハイブリッド環境間でのデータ統合が簡素化されます。

Connector Migration Utilityを使用し、フルマネージドコネクタに移行する

Connector Migration Utilityは、セルフマネージド Kafka コネクタから Confluent Cloud のフルマネージドコネクタへの簡単な移行を可能にする、無料のオープンソースのセルフサービスツールです。

このツールは、わずか数個の CLI コマンドで、移行プロセスのすべてのステップを自動化できます。

• 既存のコネクタ環境をスキャンして、コネクタ設定を抽出します。

• 移行の実現可能性を評価し、それぞれを「完全にサポート」、「部分的にサポート」、「利用不可」に分類します。

• フルマネージドコネクタの構成を生成し、関連するプロパティと SMT マッピングをコピーします。

• クラウドのフルマネージドコネクタを準備し、最小限の手動設定でプロビジョニングできるようにします。

• セルフマネージドコネクタの運用メトリックとフルマネージドコネクタの運用メトリックを比較してパフォーマンスを検証します。

Connector Migration Utilityは、手作業と複雑さを排除することで、1時間以内に移行を完了し、フルマネージドコネクタで利用可能な最新機能と自動アップグレードを利用できるようにします。Connector Migration Utilityを使用すると、チームはインフラストラクチャへの集中時間を減らし、イノベーションに多くの時間を費やすことができます。

Queues for Kafka による動的拡張の実現 (KIP-932)

Queues for Kafka (KIP-932)は、Confluent Cloud のDedicatedクラスタでアーリーアクセス（EA）として利用可能になりました。この新機能は、「共有グループ」の概念を通じて、強力でネイティブなキューのようなセマンティクスを追加することで、Kafka を順序性の高いリアルタイムストリーミングの枠を超えた拡張をします。

パーティションが特定のコンシューマーに紐付けられる従来のコンシューマーグループとは異なり、シェアグループでは、コンシューマーがパーティションに縛られることなく協調的にメッセージを処理できます。この分離により、従来のキューイングシステムと同等のシンプルさと弾力性を実現しながら、Kafka の実証済みの耐久性、再現性、信頼性も維持されます。

Queues for Kafka を使用すると、次のことが可能になります。

• 従来のキューイングシステムからのワークロードを単一の統合プラットフォームに集約し、Kafka を活用して追加のキューイングユースケースをサポートします。

• コンシューマーをパーティションから分離することでスケーラビリティと柔軟性を向上させ、負荷変動に合わせて消費量を動的に調整できるようにします。

• 通知システムやAIを活用した不正検知など、共有グループによる動的な拡張を必要とするユースケースを含む、高スループットのワークロードをより効率的に処理します。

のアーリーアクセスに参加するには、アカウントチームに連絡するか、こちらからサインアップをお願いします。

追加の新機能とアップデート

Enterprise クラスタ向け mTLS 認証 (Limited Availability：限定提供)

セキュリティ強化のため、11月よりEnterpriseクラスタ向けの相互TLS（mTLS）認証を限定提供します。この認証方式は、データ交換前にクライアントとクラスタ間の双方向認証を提供し、転送中のデータのセキュリティを強化します。また、RBACとACLを使用してクライアント証明書のメタデータに基づいてConfluentクラスタへのクライアント権限を管理することで、きめ細かなアクセス制御を定義できるようになりました。

コネクタのアップデート情報

Confluent Cloud のフルマネージドコネクタ

Confluent Cloud に、いくつかの新しいフルマネージド コネクタが追加されました。

Confluent との統合によりエージェント型 AI と分析を強化

私たちの Confluent (CwC) とつながるパートナープログラムは、グローバルなデータストリーミングエコシステムを拡張し、企業がビジネスを運営し、AIやアナリティクスのユースケースを強化するツールやプラットフォーム全体でリアルタイムデータを活用することをこれまで以上に容易にします。2025年第3四半期には、CwCテクノロジーパートナープログラムに、機械学習、リアルタイムアナリティクス、オペレーショナルデータベース、ワークフローオーケストレーションなど、多岐にわたる新たなパートナーシステム統合が加わりました。

これらのコネクタの詳細については、こちらのブログ（CwC第3四半期発表）をご覧ください。

Confluent Hub 2.0

Apache Kafkaのコネクタマーケットプレイスを再設計しました。Confluent Hub 2.0で、適切なコネクタを見つけるのに時間がかかることがあったため、ユーザーエクスペリエンスを変革しました。チュートリアルと構成ガイドが組み込まれた学習センターも追加しました。

AWS 上のカスタムコネクタの Egress プライベートリンク

AWS PrivateLink 環境の Enterprise および Dedicated クラスタでカスタムコネクタのサポートを開始したことをお知らせします。クイックスタートガイドに従ってカスタムコネクタを作成します。

フルマネージドコネクタ向けの Google Cloud IAM と Microsoft Entra ID のサポート

フルマネージドコネクタにネイティブ認証が導入されました。Microsoft Entra IDそして Google Cloud IAMの静的な認証情報の管理に伴うリスクと運用のオーバーヘッドを排除します。これにより、シームレスにクラウドをまたいだアクセスが可能になり、あらゆるクラウドのコネクタがネイティブのEntra IDまたはGoogle IAMロールを使用してMicrosoft AzureおよびGoogle Cloudのリソースに安全にアクセスできるようになります。

Kafka Streams の運用とオブザーバビリティの強化 

Kafka Streamsアプリケーションの可視性も拡張します。アプリケーションの健全性指標を用いてアプリケーションの健全性を瞬時に評価し、個々のスレッドの状態を詳細に分析し、ボトルネックを特定し、独自のオブザーバビリティツールと分析結果を相関させることができます。また、ユーザーインターフェースにはRocksDBのからのメトリクスも表示されるため、より豊富なコンテキストと迅速なトラブルシューティングが可能になります。これらの分析情報により、チームはリアルタイムアプリケーションを最高のパフォーマンスで稼働させ続けるための運用上の確信を得ることができます。

Kafka Streams で構築されたリアルタイムアプリケーションがミッションクリティカルなサービスへと成熟していくにつれ、11月に提供開始予定の Kafka Streams アドオンが、運用開始後の課題を自信を持って克服できるよう支援します。Kafka Streams アドオンは、Kafka Streams クライアントを Confluent の標準サポートの対象とし、契約に基づくSLA、3年間の保守ライフサイクル、プロアクティブな修正、そして詳細なコードレベルの調査と解決のためのスペシャリストとのやりとりによって信頼性を保証します。

このアドオンにより、運用リスクの軽減が容易になり、最も重要なストリーミングアプリケーションのパフォーマンスを確保できます。2026年には、さらに詳細なオブザーバビリティを実現する運用に関するプレミアム機能が利用可能になります。アプリケーショントポロジの可視化、詳細なタスク割り当てインサイト、アプリケーションリバランスの進行状況と理由の明確な可視性などにアクセスできるようになるため、アプリのトラブルシューティングや安定化のための強力で新しい手段が得られます。

コンプライアンスを超えた信頼と透明性を実現する

Confluentは、プラットフォームの設計・構築・運用を導く6つの中核的な信頼原則を発表し、セキュリティとコンプライアンスへの取り組みを強化しました。このコミットを示すため、私たちはサイバーセキュリティ・インフラストラクチャセキュリティ庁（CISA）の「Secure by Design」誓約にサインし、データストリーミング製品・サービスのセキュリティ対策に関する深い洞察を提供する4つの新しいホワイトペーパーを公開しました。これらの原則、実践、リソースを組み合わせることで、お客様がConfluentで安全にイノベーションを進めるために必要な透明性と確信を得ることができます。詳しくは、詳細なブログ記事をご覧ください。コンプライアンスを超えて：コンフルエントの信頼と透明性への取り組み。

新しい Confluent Cloud を使って構築を開始

Confluentを初めてご利用になる方は、Confluent Cloudの無料トライアルにご登録いただき、最初のクラスターを作成して新機能をお試しください。新規登録された方には、最初の30日間にConfluent Cloudでご利用いただける400ドル相当のご利用券を進呈します。コード「CCBLOG60」をご利用いただくと、さらに60ドル相当の無料利用が可能です。

上記は当社の製品に関する一般的な方向性を示したものであり、いかなる資料、コード、または機能の提供を約束するものではありません。記載されている機能の開発、リリース、時期、および価格は変更される可能性があります。お客様は、現在利用可能なサービス、機能、および機能に基づいて購入を決定してください。

Confluent および関連するマークは、Confluent, Inc. の商標または登録商標です。

Apache®、Apache Kafka®、Apache Flink®、Flink®、Apache Iceberg™️、Iceberg™️、およびそれぞれのロゴは、米国およびその他の国におけるApache Software Foundationの登録商標または商標です。これらのマークの使用は、Apache Software Foundationによる推奨を意味するものではありません。その他のすべての商標は、それぞれの所有者に帰属します。