उन्नत रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) को लागू करने में नेचुरल लैंग्वेज प्रोसेसिंग (NLP), इन्फॉर्मेशन रिट्रीवल (IR) और मशीन लर्निंग (ML) की तकनीकों का संयोजन शामिल है। इसका लक्ष्य रिट्रीव की गई जानकारी और जनरेटिव मॉडल दोनों का लाभ उठाकर सुसंगत और संदर्भ के अनुसार प्रासंगिक प्रतिक्रियाएं उत्पन्न करना है।

1. समस्या की परिभाषा
2. डेटा संग्रह और प्रीप्रोसेसिंग
3. रिट्रीवल मॉडल
4. जनरेशन मॉडल
5. एकीकरण
6. फाइन-ट्यूनिंग और मूल्यांकन
7. परिनियोजन (Deployment) और निगरानी
8. निरंतर सुधार
9. नैतिक विचार

L'Pital हॉस्पिटल सिस्टम एक ऐसे AI इंजीनियर की तलाश में है जो स्वास्थ्य सेवा उद्योग में नवाचार करने और प्रतिस्पर्धात्मक लाभ प्राप्त करने के लिए उनके मौजूदा कॉर्पोरेट इंफ्रास्ट्रक्चर में एक लार्ज लैंग्वेज मॉडल (LLM) को लागू करने में मदद कर सके। L'Pital हॉस्पिटल जॉर्जिया में स्थित एक बड़ा चिकित्सा संस्थान है। एक AI इंजीनियर के रूप में, आप मौजूदा जानकारी जैसे कि मरीजों का डेटा, मरीजों के अनुभव, अस्पताल की लोकेशन की जानकारी, विज़िट, बीमा भुगतानकर्ता और अस्पताल प्रणाली के चिकित्सकों का लाभ उठाकर एक LLM बनाएंगे।

डेटासेट

• अस्पताल का डेटा
• मरीजों का डेटा
• भुगतानकर्ताओं का डेटा
• चिकित्सकों का डेटा
• समीक्षाओं का डेटा
• विज़िट का डेटा

डेटा प्रीप्रोसेसिंग ताकि डेटा में एकरूपता सुनिश्चित हो और शोर (noise) कम हो।

टोकनाइज़ेशन, लोअरकेसिंग, स्टॉप-वर्ड्स को हटाना, और स्टेमिंग/लेमेटाइज़ेशन - ये सभी नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में डेटा प्रीप्रोसेसिंग चरण का हिस्सा हैं। यहाँ बताया गया है कि इनमें से प्रत्येक क्यों महत्वपूर्ण है:

टोकनाइज़ेशन: टोकनाइज़ेशन में टेक्स्ट के एक टुकड़े को छोटी इकाइयों में तोड़ना शामिल है, आमतौर पर शब्द या उप-शब्द। यह चरण महत्वपूर्ण है क्योंकि अधिकांश NLP एल्गोरिदम शब्द स्तर पर काम करते हैं, इसलिए टोकनाइज़ेशन टेक्स्ट डेटा का प्रतिनिधित्व करने का एक मानकीकृत तरीका प्रदान करता है। यह शब्द आवृत्तियों की गणना या व्याकरणिक पैटर्न की पहचान जैसे आगे के विश्लेषण में भी मदद करता है।

लोअरकेसिंग: लोअरकेसिंग में सभी टेक्स्ट को लोअरकेस (छोटे अक्षरों) में बदलना शामिल है। यह महत्वपूर्ण है क्योंकि यह शब्दों के प्रतिनिधित्व में एकरूपता सुनिश्चित करता है। लोअरकेसिंग के बिना, अलग-अलग केस में दिखाई देने वाले एक ही शब्द (जैसे "Word", "word", "WORD") को NLP एल्गोरिदम द्वारा अलग-अलग शब्दों के रूप में माना जाएगा, जिससे विश्लेषण में अशुद्धियाँ होंगी।

स्टॉप-वर्ड्स को हटाना: स्टॉप-वर्ड्स "the", "is", "and" आदि जैसे सामान्य शब्द हैं, जो एक भाषा में बार-बार आते हैं लेकिन आमतौर पर अपने आप में कोई महत्वपूर्ण अर्थ नहीं रखते हैं। स्टॉप-वर्ड्स को हटाने से डेटा में शोर कम करने में मदद मिलती है और ध्यान अधिक सार्थक शब्दों पर केंद्रित होता है, जो टेक्स्ट वर्गीकरण या भावना विश्लेषण (sentiment analysis) जैसे NLP कार्यों के प्रदर्शन में सुधार कर सकता है।

स्टेमिंग/लेमेटाइज़ेशन: स्टेमिंग और लेमेटाइज़ेशन का उपयोग शब्दों को उनके मूल रूप में कम करने के लिए किया जाता है। यह महत्वपूर्ण है क्योंकि यह समान अर्थ वाले लेकिन अलग-अलग रूपों वाले शब्दों को सामान्य बनाने में मदद करता है। उदाहरण के लिए, "running", "runs", और "ran" सभी को स्टेमिंग या लेमेटाइज़ेशन के माध्यम से एक ही मूल रूप "run" में कम किया जा सकता है। यह शब्दावली के आकार को कम करता है और सुनिश्चित करता है कि एक ही शब्द के रूपों को समान माना जाए, जिससे NLP मॉडल की प्रभावशीलता में सुधार हो सकता है।

कुल मिलाकर, ये प्रीप्रोसेसिंग चरण टेक्स्ट डेटा को साफ और मानकीकृत करने, शोर को कम करने और इसे आगे के विश्लेषण या NLP अनुप्रयोगों में उपयोग के लिए तैयार करने के लिए आवश्यक हैं।

• मॉडल के प्रकार के लिए सही प्रकार के प्रॉम्प्ट चुनें।
• एंथ्रोपिक (Anthropic) का मॉडल XML के साथ सबसे अच्छा काम करता है जबकि ChatGPT JSON के साथ सबसे अच्छा काम करता है।

अपने कार्य के लिए उपयुक्त रिट्रीवल मॉडल चुनें या डिज़ाइन करें। सामान्य दृष्टिकोणों में शामिल हैं:

• वेक्टर स्पेस मॉडल (जैसे TF-IDF, वर्ड एम्बेडिंग): दस्तावेजों और प्रश्नों को एक वेक्टर स्पेस में दर्शाते हैं, जिससे समानता की गणना संभव होती है।
• न्यूरल रिट्रीवल मॉडल: दस्तावेजों और प्रश्नों के प्रतिनिधित्व को सीखने के लिए न्यूरल नेटवर्क का उपयोग करते हैं, जैसे कि डेंस रिट्रीवल या BERT-आधारित मॉडल।
• प्रभावी प्रतिनिधित्व सीखने के लिए अपने डेटासेट पर रिट्रीवल मॉडल को प्रशिक्षित या फाइन-ट्यून करें।

टेक्स्ट जनरेशन के लिए एक जनरेटिव मॉडल चुनें या डिज़ाइन करें। लोकप्रिय विकल्पों में शामिल हैं: LSTM या GRU सेल के साथ रिकरेंट न्यूरल नेटवर्क (RNN)। GPT (जेनरेटिव प्री-ट्रेंड ट्रांसफॉर्मर) या BERT (ट्रांसफॉर्मर से द्विदिश एन्कोडर प्रतिनिधित्व) जैसे ट्रांसफॉर्मर-आधारित आर्किटेक्चर। भाषा मॉडलिंग जैसे अनसुपरवाइज्ड लर्निंग उद्देश्यों का उपयोग करके टेक्स्ट डेटा के एक बड़े कॉर्पस पर जनरेटिव मॉडल को प्री-ट्रेन करें।

निर्धारित करें कि रिट्रीवल और जनरेशन घटकों को कैसे एकीकृत किया जाए। सामान्य दृष्टिकोणों में शामिल हैं: अनुक्रमिक दृष्टिकोण (Sequential Approach): पहले प्रासंगिक दस्तावेजों या अंशों को रिट्रीव करें, फिर रिट्रीव की गई जानकारी के आधार पर प्रतिक्रिया उत्पन्न करें। संयुक्त प्रशिक्षण (Joint Training): रिट्रीवल और जनरेशन घटकों को संयुक्त रूप से प्रशिक्षित करें, उन्हें एक सामान्य उद्देश्य की ओर अनुकूलित करें, जैसे कि प्रतिक्रिया की प्रासंगिकता को अधिकतम करना। हाइब्रिड मॉडल: ऐसे मॉडल डिज़ाइन करें जो एक ही आर्किटेक्चर के भीतर रिट्रीवल और जनरेशन घटकों को जोड़ते हैं, जिससे एंड-टू-एंड लर्निंग सक्षम होती है।

यदि उपलब्ध हो, तो एकीकृत मॉडल को कार्य-विशिष्ट डेटासेट पर फाइन-ट्यून करें। यह चरण मॉडल को आपके लक्षित कार्य या डोमेन की बारीकियों के अनुकूल होने में मदद करता है। BLEU (बाइलिगुअल इवैल्यूएशन अंडरस्टडी), ROUGE (रिकॉल-ओरिएंटेड अंडरस्टडी फॉर जिस्टिंग इवैल्यूएशन) जैसी उपयुक्त मेट्रिक्स का उपयोग करके मॉडल का मूल्यांकन करें, या संवादात्मक गुणवत्ता और प्रासंगिकता जैसे कार्यों के लिए मानवीय मूल्यांकन का उपयोग करें। उन्नत RAG के निर्माण और मूल्यांकन के लिए, आप TruEra के साथ मूल्यांकन बेंचमार्क का उपयोग कर सकते हैं।

प्रशिक्षित मॉडल को अपने वांछित एप्लिकेशन वातावरण में तैनात करें। समय के साथ मॉडल के प्रदर्शन की निगरानी करें और सुधार के क्षेत्रों की पहचान करने के लिए उपयोगकर्ता फीडबैक एकत्र करें।

उपयोगकर्ता फीडबैक, प्रदर्शन मेट्रिक्स और क्षेत्र में प्रगति के आधार पर मॉडल को बेहतर बनाएं। सक्रिय शिक्षण (active learning) जैसी तकनीकों को शामिल करने पर विचार करें, जहाँ मॉडल प्रदर्शन को और बेहतर बनाने के लिए एनोटेशन के लिए सबसे जानकारीपूर्ण डेटा बिंदुओं का चयन करता है।

विकास और परिनियोजन प्रक्रिया के दौरान पूर्वाग्रह, निष्पक्षता और गोपनीयता जैसे नैतिक विचारों के प्रति सचेत रहें। संवेदनशील या हानिकारक सामग्री को उचित रूप से संभालने के लिए तंत्र लागू करें।

मॉडल आर्किटेक्चर, प्रशिक्षण प्रक्रियाओं और परिनियोजन निर्देशों सहित कार्यान्वयन का पूरी तरह से दस्तावेजीकरण करें। मॉडल को समय-समय पर अपडेट करके, बग्स को ठीक करके, और वातावरण या डेटा स्रोतों में बदलावों के साथ तालमेल बिठाकर सिस्टम का रखरखाव करें।

नैव RAG का तात्पर्य रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) फ्रेमवर्क के एक सरल या सीधे कार्यान्वयन से है। RAG उत्पन्न टेक्स्ट की गुणवत्ता और प्रासंगिकता को बेहतर बनाने के लिए रिट्रीवल-आधारित विधियों को जनरेटिव मॉडल के साथ जोड़ता है। एक नैव कार्यान्वयन में, रिट्रीवल और जनरेशन घटक बिना किसी जटिलता या अनुकूलन के बुनियादी या सीधे हो सकते हैं।

यहाँ बताया गया है कि एक नैव RAG सिस्टम कैसे काम कर सकता है:

• गलत रिट्रीवल
• दस्तावेजों का बढ़ता आकार और जटिलता
• संदर्भ का ओवरफ्लो

ये सभी चुनौतियाँ उत्पन्न उत्तरों की गुणवत्ता और विश्वसनीयता को महत्वपूर्ण रूप से प्रभावित कर सकती हैं।

एक उन्नत रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम, जो उत्पादन के लिए उपयुक्त है, एक नैव कार्यान्वयन की तुलना में कई अनुकूलन और सुधार शामिल करता है। यहाँ उन विशेषताओं और लक्षणों का अवलोकन दिया गया है जो एक उन्नत RAG सिस्टम को परिभाषित करते हैं:

RAG आर्किटेक्चर बनाने में, आवश्यक मुख्य उपकरणों में शामिल हैं: लार्ज लैंग्वेज मॉडल LLM एम्बेडिंग मॉडल दस्तावेज़ रिट्रीवल टूल वेक्टर डेटाबेस

graph LR
    style A fill:#f9d5e5,stroke:#b58bba
    style B fill:#84b6f4,stroke:#6d95c1
    style C fill:#f7db70,stroke:#bfa554
    style D fill:#c1f0c1,stroke:#8dbc8d
    style E fill:#f7d9c4,stroke:#c1a18a
    style F fill:#ececec,stroke:#b3b3b3
    style G fill:#d3a4f9,stroke:#a177d3

    A([User])
    B(Notebook-app)
    C[/Prompt Templating/]
    D[(Vector-store)]
    E(Data manipulations / Preprocessing techniques)
    F[Documents]
    G([Large Language Model LLM])

    A --Query---> B
    B --> C
    D --Retrieval-model--> C
    B -- Embedding Model--> D
    C -- Query+Context / Compression techniques---> G
    F --> E
    E --> D
    G --Response output from LLM--> A

    classDef classCyl fill:#f9d5e5,stroke:#333,stroke-width:2px
    class F classCyl

सरल RAG सिस्टम उन्नत RAG सिस्टम एजेंट्स

• डेटासेट: Kaggle हेल्थकेयर डेटासेट
• LangChain: LangChain परिचय
• Huggingface: Huggingface होमपेज
• Ollama: Ollama होमपेज
• मॉडल: Llama, OpenAI, HuggingFace मॉडल