इवेंट स्ट्रीम्स और ऑब्ज़र्वबिलिटी पाइपलाइन्स

आधुनिक सिस्टम बड़ी मात्रा में टेलीमेट्री उत्पन्न करते हैं—लॉग, मेट्रिक्स, ट्रेस, सुरक्षा घटनाएँ, और बड़े भाषा मॉडल (LLM) इंटरैक्शन। यह दस्तावेज़ बताता है कि ऑब्ज़र्वबिलिटी पाइपलाइन्स टीमों को इस डेटा को वास्तविक समय में इकट्ठा करने, आकार देने, रूट करने और मूल्यांकन करने में कैसे मदद करती हैं, और डेटाडॉग और गैलीलियो उस तस्वीर में कहाँ फिट हो सकते हैं।

ऑब्ज़र्वबिलिटी पाइपलाइन्स क्यों मायने रखती हैं

कच्ची टेलीमेट्री महंगी, शोरगुल वाली और असंगत रूप से संरचित होती है। ऑब्ज़र्वबिलिटी पाइपलाइन्स आपके ऐप्स और आपके मॉनिटरिंग टूल्स के बीच स्थित होती हैं और इसे निम्नलिखित द्वारा हल करती हैं:

• लागत कम करना महंगे स्टोरेज या सुरक्षा सूचना और घटना प्रबंधन (SIEM) टूल तक पहुंचने से पहले उच्च-मात्रा वाले लॉग को फ़िल्टर या सैंपल करके।
• डेटा गुणवत्ता में सुधार पार्सिंग, सामान्यीकरण और मेटाडेटा समृद्धिकरण के साथ।
• गोपनीयता की रक्षा पाइपलाइन में जल्दी ही व्यक्तिगत रूप से पहचानने योग्य जानकारी (PII) को मास्क या हटाकर।
• गुणवत्ता संकेत सामने लाना, परिचालन टेलीमेट्री के साथ LLM इंटरैक्शन को कैप्चर करके और उसका मूल्यांकन करके।

हर इंजीनियरिंग, साइट विश्वसनीयता इंजीनियरिंग (SRE), और AI टीम को तेज़, स्वच्छ और अधिक क्रियाशील डेटा से लाभ होता है।

आधुनिक अवलोकनीयता की दो परतें

एक स्टैक में जिसमें पारंपरिक क्लाउड सेवाएं और LLM-संचालित सुविधाएं दोनों शामिल हैं, आप दो अलग-अलग टेलीमेट्री परतों से निपटते हैं—जिनमें से प्रत्येक के लिए अलग टूलिंग की आवश्यकता होती है।

Datadog के साथ परिचालन टेलीमेट्री

Datadog इंफ्रास्ट्रक्चर और ऐप लेयर को संभालता है: लॉग इनजेक्शन, मेट्रिक संग्रह, अलर्टिंग, और पाइपलाइन रूटिंग। यहाँ, आप एक payment-gateway एरर लॉग भेज सकते हैं, transaction_id निकालने के लिए एक Grok पार्सर लागू कर सकते हैं, और status:error इवेंट्स को एक Slack अलर्ट या S3 आर्काइव में रूट कर सकते हैं।

डेटाडॉग के लॉग मैनेजमेंट उत्पाद में बड़े पैमाने पर लॉग डेटा को प्रोसेस करने और राउट करने के लिए ऑब्ज़र्वबिलिटी पाइपलाइन्स, और रीयल-टाइम सर्च और लाइव टेल के लिए लॉग एक्सप्लोरर शामिल हैं।

गैलीलियो के साथ मॉडल टेलीमेट्री

गैलीलियो LLM लेयर को हैंडल करता है: व्यक्तिगत मॉडल कॉल्स को ट्रेस करना, इनपुट और आउटपुट कैप्चर करना, प्रति स्पैन लेटेंसी को मापना, और मूल्यांकन मेट्रिक्स के साथ प्रतिक्रियाओं को स्कोर करना। यहाँ, आप यह समझ सकते हैं कि आपका payment-query LLM फ़ंक्शन सटीक, ठोस और उचित रूप से संक्षिप्त उत्तर दे रहा है या नहीं—और क्या यह विभिन्न डिप्लॉयमेंट्स में बदलता है।

गैलीलियो एक मूल्यांकन और अवलोकन प्लेटफ़ॉर्म है जिसे डेवलपर्स और एआई इंजीनियरों को उनके एआई ऐप्स को बेहतर बनाने में मदद करने के लिए डिज़ाइन किया गया है, जिसमें पाइथन और टाइपस्क्रिप्ट SDKs के लिए समर्थन और प्रमुख LLM प्रदाताओं के साथ एकीकरण शामिल है।

ये दोनों परतें अनावश्यक नहीं हैं, वे एक-दूसरे की पूरक हैं। Datadog आपको बताता है कि कुछ गलत हुआ; Galileo आपको बताता है कि आपके मॉडल की प्रतिक्रिया की गुणवत्ता क्यों खराब हुई।

उच्च-स्तरीय पाइपलाइन आर्किटेक्चर

Mermaid (छवि)

Mermaid (कोड)

flowchart TD
    A[इवेंट स्रोत<br/>• क्लाउड ऐप्स<br/>• कंटेनर्स<br/>• एलएलएम सेवाएं] --> B[इनजेस्टन लेयर]
    B --> B1[डेटाडॉग<br/>लॉग इनजेस्टन API]
    B --> B2[गैलीलियो SDK]
    B1 --> C[प्रोसेसिंग लेयर<br/>• पार्स<br/>• एनरिच<br/>• मास्क]
    C --> D[रूटिंग इंजन<br/>• फ़िल्टर<br/>• सैंपलिंग<br/>• नियम]
    D --> E{{परिचालन गंतव्य}}
    E --> E1[S3 आर्काइव]
    E --> E2[SIEM]
    E --> E3[अलर्ट और डैशबोर्ड]
    B2 --> F[गैलीलियो लॉग स्ट्रीम<br/>• ट्रेस<br/>• स्पैन<br/>• सेशन]
    F --> G{{एआई मूल्यांकन}}
    G --> G1[मेट्रिक्स और स्कोरिंग]
    G --> G2[प्रयोग]

ASCII

       [इवेंट स्रोत]
      (ऐप्स, कंटेनर्स, LLM)
             |
             v
      [इनजेस्टन लेयर]
      /               \
     v                 v
[Datadog API]    [Galileo SDK]
     |                 |
     v                 v
[प्रोसेसिंग]     [लॉग स्ट्रीम]
(पार्स, मास्क)    (ट्रेस, स्पैन)
     |                 |
     v                 v
[रूटिंग इंजन] [AI मूल्यांकन]
(फ़िल्टर, नियम) (मेट्रिक्स, स्कोरिंग)
     |                 |
     v                 v
[परिचालन]     [AI क्वालिटी]
(S3, SIEM, अलर्ट)(प्रयोग)

इवेंट स्ट्रीम अवधारणाएँ

एक इवेंट स्ट्रीम टेलीमेट्री डेटा का एक निरंतर, समय-क्रमबद्ध प्रवाह है। इन ए मॉडर्न ऐप स्टैक, इवेंट स्ट्रीम एक साथ कई स्रोतों से आती हैं:

• ऐप लॉग (उदाहरण के लिए, payment-gateway त्रुटि इवेंट)
• इन्फ्रास्ट्रक्चर मेट्रिक्स (CPU, मेमोरी, लेटेंसी)
• वितरित ट्रेसिंग स्पैन (ऐप प्रदर्शन निगरानी (APM) डेटा)
• सुरक्षा ऑडिट और प्रमाणीकरण लॉग
• एलएलएम कॉल रिकॉर्ड—प्रॉम्प्ट, कम्प्लीशंस, लेटेंसी, और टोकन काउंट
• कंटेनर और कुबेरनेट्स इवेंट्स
• आईओटी डिवाइस टेलीमेट्री

एलएलएम कॉल रिकॉर्ड इस सूची में सबसे नया जुड़ाव है। जैसे-जैसे अधिक ऐप्स एआई सुविधाओं को शामिल कर रहे हैं, इन इंटरैक्शन को कैप्चर करना और मूल्यांकन करना पारंपरिक ऐप लॉग को कैप्चर करने जितना ही महत्वपूर्ण हो गया है।

कोर पाइपलाइन कंपोनेंट्स

1. इनजेक्शन लेयर

इनजेक्शन लेयर वह जगह है जहाँ कच्ची टेलीमेट्री सबसे पहले सिस्टम में प्रवेश करती है।

ऑपरेटेशनल डेटा के लिए, इसका मतलब है https://http-intake.logs.datadoghq.com/api/v2/logs पर Datadog Log Ingestion API को JSON पेलोड भेजना, जिसे DD-API-KEY हेडर के साथ प्रमाणीकृत किया गया है।

LLM डेटा के लिए, इसका मतलब है कि अपने ऐप कोड को गैलीलियो SDK के साथ इंस्ट्रूमेंट करना, जो @log डेकोरेटर या GalileoLogger के साथ फ़ंक्शंस को रैप करने पर स्वचालित रूप से ट्रेस कैप्चर करता है।

दोनों पाथ अपने डेटा प्रकारों के लिए उपयुक्त विभिन्न तंत्रों के माध्यम से प्रमाणीकरण, सत्यापन और बफ़रीकरण को संभालते हैं।

2. प्रोसेसिंग लेयर

एक बार डेटा Datadog की पाइपलाइन में प्रवेश कर जाता है, तो प्रोसेसर इसे राउटिंग से पहले ट्रांसफ़ॉर्म करते हैं:

• संवेदनशील डेटा स्कैनर—डाटा के डाउनस्ट्रीम टूल तक पहुँचने से पहले ईमेल पते, क्रेडिट कार्ड नंबर, या ग्राहक आईडी जैसे PII का पता लगाता है और उन्हें अस्पष्ट करता है।
• ग्रोक् पार्सर—कच्ची लॉग स्ट्रिंग से संरचित फ़ील्ड निकालता है।
• रीमैपर—नेस्टेड एट्रिब्यूट (उदाहरण के लिए, meta.customer_id) को आसान फ़िल्टरिंग के लिए टॉप-लेवल फ़ेसट में बढ़ाता है।
• लुकअप प्रोसेसर—लॉग्स को बाहरी संदर्भ डेटा के साथ समृद्ध करता है, जैसे कि service नामों को team_owner टैग से मैप करना।

गैलीलियो में, समकक्ष परत लॉग स्ट्रीम स्तर पर मेट्रिक कॉन्फ़िगरेशन का उपयोग करती है। लूना-2 इवैल्यूएटर्स आपके लॉग करने पर LLM प्रतिक्रियाओं को स्वचालित रूप से शुद्धता, प्रामाणिकता और लहजे के लिए स्कोर करते हैं।

3. राउटिंग परत

राउटिंग परत यह निर्धारित करती है कि संसाधित घटनाएँ सामग्री, व्यावसायिक नियमों, या अनुपालन आवश्यकताओं के आधार पर कहाँ जाती हैं। Datadog में, आप लॉग पाइपलाइन्स और इंडेक्सेस के माध्यम से राउटिंग कॉन्फ़िगर करते हैं:

• status:error लॉग्स को एक साथ ऑन-कॉल अलर्ट और एक S3 आर्काइव पर राउट करें।
• आपके इंडेक्स में आने वाले status:info लॉग्स की मात्रा को कम करने के लिए एक सैंपलिंग नियम लागू करें।
• सुरक्षा-संबंधी इवेंट्स को एक SIEM इंटीग्रेशन में फॉरवर्ड करें।
• बाहरी HTTP एंडपॉइंट्स पर विशिष्ट लॉग सबसेट्स भेजने के लिए लॉग फॉरवर्डिंग फ़ीचर का उपयोग करें।

गैलीलियो में, आप प्रोजेक्ट और लॉग स्ट्रीम के अनुसार अपने डेटा को संरचित करके प्रोजेक्ट और लॉग स्ट्रीम स्तर पर रूटिंग को संभालते हैं। यह दृष्टिकोण आपको dev, staging, और production ट्रेस का मूल्यांकन और तुलना करने देता है।

4. गंतव्य परत

जहाँ आपके संसाधित इवेंट्स उतरते हैं:

गंतव्य का प्रकार	उदाहरण
ऑब्जेक्ट स्टोरेज	S3, गूगल क्लाउड प्लेटफ़ॉर्म (GCP), एज़्योर ब्लॉब
SIEM	स्प्लंक, क्रॉनिकल, QRadar
खोज और एनालिटिक्स	इलास्टिक, ओपनसर्च, स्नोफ्लेक
मॉनिटरिंग और अलर्टिंग	Datadog Log Explorer, डैशबोर्ड, मॉनिटर
AI मूल्यांकन	Galileo Log streams, प्रयोग के परिणाम

आपकी राउटिंग जितनी अधिक स्वच्छ और लक्षित होगी, आपकी डेस्टिनेशन उतनी ही सस्ती और तेज़ चलेगी। कच्चे, अप्रसंस्कृत लॉग को SIEM में भेजना अनावश्यक ऑब्ज़र्वेबिलिटी लागत के सबसे आम स्रोतों में से एक है।

सामान्य उपयोग के मामले

Datadog के साथ परिचालन टेलीमेट्री

• त्रुटि अलर्टिंग: payment-gateway से status:error लॉग को रीयल-टाइम में PagerDuty या Slack पर रूट करें।
• लागत में कमी: इंडेक्स करने से पहले status:info लॉग पर 10% सैंपलिंग नियम लागू करें।
• सुरक्षा एनालिटिक्स: प्रमाणीकरण विफलताओं और ऑडिट लॉग को SIEM पर फॉरवर्ड करें।
• डेटा सामान्यीकरण: विभिन्न भाषाओं में लिखी गई सेवाओं में लॉग प्रारूपों को मानकीकृत करने के लिए एक ग्रोक पार्सर का उपयोग करें।

गैलीलियो के साथ गुणवत्ता संकेत

• एलएलएम ट्रेसिंग: अपनी एआई सुविधाओं से हर प्रॉम्प्ट और पूर्णता को सत्र और ट्रेस के अनुसार व्यवस्थित करके कैप्चर करें।
• प्रतिक्रिया मूल्यांकन: गुणवत्ता, शुद्धता और ठोसता के लिए मॉडल आउटपुट को स्वचालित रूप से स्कोर करने के लिए लूना-2 मेट्रिक्स लागू करें।
• प्रॉम्प्ट प्रयोग: अपने प्रोडक्शन लॉग स्ट्रीम में डिप्लॉय करने से पहले गैलीलियो एक्सपेरिमेंट्स में प्रॉम्प्ट परिवर्तनों का A/B परीक्षण करें।
• क्रॉस-एनवायरनमेंट तुलना: समान मूल्यांकन मानदंडों का उपयोग करके स्टेजिंग बनाम प्रोडक्शन में मॉडल के व्यवहार की तुलना करें।

मुख्य निष्कर्ष

• आधुनिक ऐप्स दो अलग-अलग टेलीमेट्री स्ट्रीम उत्पन्न करते हैं: परिचालन लॉग और LLM इंटरैक्शन रिकॉर्ड।
• Datadog उच्च-थ्रूपुट इंफ्रास्ट्रक्चर डेटा के लिए बनाए गए एक पाइपलाइन-आधारित मॉडल के साथ परिचालन इनजेस्टन, प्रोसेसिंग और रूटिंग को संभालता है।
• Galileo एआई टेलीमेट्री को संभालता है—LLM-संचालित सुविधाओं के लिए SDK-इंस्ट्रूमेंटेड ट्रैसिंग और मेट्रिक-आधारित मूल्यांकन।
• प्रोसेसिंग डेटा को साफ और समृद्ध करता है; रूटिंग इसे सटीक रूप से निर्देशित करता है; गंतव्य इसे कुशलतापूर्वक उपभोग करते हैं।
• एक अच्छी तरह से डिज़ाइन की गई पाइपलाइन लागत कम करती है, विश्वसनीयता में सुधार करती है, और एक ही अवलोकन रणनीति में इंफ्रास्ट्रक्चर और एआई दोनों गुणवत्ता संकेतों को सामने लाती है।

अगले कदम

• Datadog लॉग इनजेस्टन API का उपयोग करके इवेंट्स इनजेस्ट करें
• Datadog और Galileo के साथ क्लाउड ऐप लॉग्स का रूटिंग
• Galileo लॉगिंग की मूल बातें
• Datadog लॉग प्रबंधन