Kafkatosisにかかっていませんか?Kafkaイベントストリーミングの現状維持をやめよう

私と同じように、年に一度の健康診断が好きなことのリストの上位に来ないという方も多いのではないでしょうか。特に、中年特有の体の不調や不便さが積み重なってくると、なおさらです。でも、歳を取ることは避けられないもので、問診票を記入するときには「ああ、先生、大丈夫ですよ、ただ年を取っただけですから!」という気持ちになりがちです。これは「正常性バイアス」の典型的な例です。過去と同じように物事は続くという信念に基づいて、潜在的な危険の可能性や影響を過小評価してしまう、よくある認知行動です。

このバイアスがあるからこそ、医師は睡眠の状態について何気ない質問をしたり、呼吸や心拍数に耳を傾けたりしながら潜在的な問題を探り出し、得られた情報をもとに、あまり答えたくないような込み入った質問(プライベートな関係やトイレの回数など)へと徐々に踏み込んでいくことが重要なのです。

「正常性バイアス」があなたのKafka環境の問題を隠していませんか?

正常性バイアスは職場にも付きまといます。あなたの組織でも、Kafkaや他のブローカーをイベント/データストリーミングに使っているでしょうし、Kafka環境の状態を尋ねたら「問題ありません。完璧ではないですが、多くのチームが使っていますし、本番環境にも移行できています」と答えるでしょう。ESPNのカレッジゲームデーでLee Corsoがよく言うように「そう急がないでくれよ!」です。実は思っているほど順調ではないかもしれないと聞いたら驚きますか?実際のところ、私たちが「Kafkatosis」と呼ぶ状態に陥っている可能性があります。怖がらないでください。診断は簡単で、完全に治せます。まずそれが何であるかを説明させてください。

Kafkatosisの定義

Kafkatosis
[ kron-ik kahf-kuh-toh-sis]
名詞 病理学。

1. 企業のKafka環境が時間の経過とともに管理・拡張がますます困難になる、潜在的に深刻なシステム的状態。

朗報:Kafkatosisは簡単に診断できます

医師の診察という比喩に戻りましょう。Kafkatosisのリスクがあるかどうかを確認するために、いくつか予備的な質問をさせてください。

  1. 社内にKafkaのディストリビューションはいくつあり、組織全体でいくつのクラスターが稼働していますか?
  2. 社内のKafkaトピックは何個あると思いますか?また、すべてのトピックに少なくとも1つのコンシューマーがいると確信できますか?
  3. 組織にスキーマレジストリは導入されていますか?
  4. チームメンバーは、アプリやイベントストリームへの変更が与える影響を自分で確認できますか?
  5. 再利用できるイベントストリームをチームメンバーが見つけるのはどれほど簡単ですか?

そのような質問と考え方を念頭に置くと、次のような一般的な症状に気づき始めるかもしれません。

  1. ユーザーが再利用可能なリアルタイムデータ/ストリームを見つけたり理解したりできない
  2. プロデューサーとコンシューマー向けのセルフサービス型自動オンボーディングプロセスがない
  3. 上流または下流のアプリケーションに影響を与えずに変更できない
  4. 古いドキュメントや不足しているドキュメントに関する不満

これらの問題の1つ以上が表面化しているはずですが、正常性バイアスによって「それが当たり前」「イベントやKafkaを扱う上で避けられないこと」と思い込み、問題として認識することも、修正しようとすることもなかったかもしれません。

もしそうなら、私たちのEvent Portal for Kafkaにはディスカバリーエージェントが含まれており、リスクがあるかどうか、そして具体的にどのようなリスクがあるかを把握するのに役立ちます。きっと嬉しいお知らせでしょう。わずか数分でシステムをスキャンし、Kafkaイベントストリームとインフラのサイズ、範囲、状態を確認します。クラスターとストリームの数、トピックとスキーマを持つものの数、その種類(avro、json、プリミティブなど)、サブスクライブされているものとされていないものの数などが分かります。

昨年、私の同僚Jesse Menningがある見込み顧客のシステムでこのようなスキャンを実行するのを支援し、衝撃的な実態が明らかになりました。彼はそのプロセス、発見した内容、そして私たちがどのように整理を支援したかを、この優れたブログ記事にまとめました。

ある金融サービス大手がSolace Event PortalでKafkaを整理した方法

米国最大級のウェルスマネジメント銀行の1つが、Event Portalを使ってKafka環境をスキャンしたところ、6,000以上のトピックがあり、そのうち552はどのアプリケーションにも使用されておらず、多くが循環依存関係を含んでいたことが判明し、衝撃を受けました!そこから整理が始まりました!どのようにそこに至ったかはブログをお読みください。

今すぐ読む

さらに良いニュース:Kafkatosisの治療法があります

Kafkatosisに苦しんでいるかもしれないと心配しているなら、ご安心ください。Event Portal for Apache Kafkaが次の方法で状況を改善するお手伝いをします。

  1. すべてのデータストリームを検出し、組織全体が見つけて再利用できる形でカタログ化する。
  2. 開発者がAPIを扱うのと同じように、新しいストリーミングアプリケーションとビジネス機能をより迅速に作成できるセルフサービスの方法を提供する。
  3. カタログが最新の状態を保ち、実態(ランタイム)を反映していることを確保する。

もちろん、これはあくまでも概要のまとめに過ぎません。製品ページをご覧ください。Event Portal for KafkaがKafkaイベントストリームとイベントドリブンアプリケーションの設計を加速し、これらのアセットのガバナンスとライフサイクル管理を改善し、Kafka開発をSDLCプロセスに統合することによって開発者の生産性を高める方法をご確認ください。私のように視覚的に学ぶタイプの方は、Jesseが作成したこの素晴らしい10分間のデモをぜひご覧ください。

まとめ

Kafkaの現状維持は必ずしも続ける必要はなく、Kafka環境を担うアーキテクト、開発者、管理者の生活をずっと楽にするための分かりやすい方法があることをご理解いただけたなら幸いです。Kafkatosisのリスクがあるかどうかを確認する準備ができたら、ぜひご相談ください!