—
एआई के युग में डेवऑप्स (DevOps)
मॉडल लाइफसाइकिल
graph LR
A[मॉडल ट्रेनिंग] --> B[मॉडल सेविंग]
B --> C[मॉडल + एपीआई पैकेजिंग - डॉकर कंटेनर]
C --> D[एपीआई के माध्यम से सर्व करें]मॉडल फ़ाइल फॉर्मेट रूपांतरण (वैकल्पिक)
graph LR
A(Tensorflow H5 मॉडल) --> B(ONNX में बदलें) --> C(ONNX मॉडल)
D(Pytorch PT मॉडल) --> E(ONNX में बदलें) --> F(ONNX मॉडल)
G(Python का Pickle मॉडल) --> G(Python का Pickle मॉडल)पूर्व कार्य (Prior Art)
ओपन सोर्स मॉडल
Ollama
brew install ollama
ollama pull llama3.2
ollama serveLlamaCpp
brew install llamacpp
llama-server --hf-repo hugging-quants/Llama-3.2-1B-Instruct-Q8_0-GGUF --hf-file llama-3.2-1b-instruct-q8_0.gguf -c 2048डॉकर (Docker) में Ollama
FROM ollama/ollama:0.3.12
# सभी इंटरफेस पर सुनें, पोर्ट 8080
ENV OLLAMA_HOST 0.0.0.0:8080
# मॉडल वेट फ़ाइलों को /models में स्टोर करें
ENV OLLAMA_MODELS /models
# लॉगिंग की वर्बोसिटी कम करें
ENV OLLAMA_DEBUG false
# जीपीयू (GPU) से मॉडल वेट को कभी भी अनलोड न करें
ENV OLLAMA_KEEP_ALIVE -1
# मॉडल वेट को कंटेनर इमेज में स्टोर करें
ENV MODEL gemma2:9b
RUN ollama serve & sleep 5 && ollama pull $MODEL
# Ollama शुरू करें
ENTRYPOINT ["ollama", "serve"]समर्थित वेरिएबल:
- `MODEL` (बिल्ड वेरिएबल)
- `OLLAMA_HOST` (रनटाइम वेरिएबल)
- `OLLAMA_NUM_PARALLEL` (रनटाइम वेरिएबल)
डॉकर में LlamaCpp
FROM ghcr.io/ggerganov/llama.cpp:server
# सर्वर और मॉडल के लिए डायरेक्टरी बनाएं
RUN mkdir -p /app/models
# मॉडल फ़ाइल को /app/models में डाउनलोड करें
EXPOSE 8080
# कंटेनर शुरू होने पर सर्वर चलाने के लिए कमांड
ENTRYPOINT ["llama-server", "-m", "/app/models/llama-3.2-1b-instruct-q8_0.gguf", "-c", "2048"]आइए Dagger पर पोर्ट करें और Google Cloud Registry पर पब्लिश करें
Dagger
brew install dagger
उदाहरण:
dagger call --interactive function-name --project-path=./path-to-project-in-repo \
--src-dir=https://user:$GITHUB_TOKEN@github.com/user/reponame#branchname --image-name="gcr.io/organization/project/image-name"यूआई ऐप डिप्लॉय करें
npm run build
cd client
fly launch