مانیتورینگ و لاگینگ در DevOps: ابزارهای Prometheus و Grafana

استقرار موفق یک سرویس، پایان کار نیست، بلکه آغاز مرحله‌ای است که کیفیت واقعی یک نرم‌افزار را مشخص می‌کند. ممکن است همه‌چیز در محیط توسعه بدون مشکل اجرا شود، اما در محیط واقعی، افزایش ناگهانی مصرف CPU، رشد زمان پاسخ‌دهی یا وقوع خطاهای پیش‌بینی‌نشده، در چند دقیقه تجربه کاربران را تحت تاثیر قرار دهد. اگر هیچ راهی برای مشاهده این اتفاقات وجود نداشته باشد، پیدا کردن علت مشکل به حدس و گمان تبدیل می‌شود.

اینجاست که مانیتورینگ و لاگینگ به بخش جدایی‌ناپذیر DevOps تبدیل می‌شوند. این دو، دیدی شفاف از وضعیت سیستم در اختیار تیم‌ها قرار می‌دهند و کمک می‌کنند مشکلات قبل از تبدیل شدن به بحران شناسایی شوند. در این میان، Prometheus و Grafana به‌عنوان دو ابزار محبوب و قدرتمند، استانداردی برای جمع‌آوری، تحلیل و نمایش داده‌های عملیاتی ایجاد کرده‌اند. در این مطلب با نقش این ابزارها، نحوه همکاری آن‌ها و راه‌اندازی یک سیستم مانیتورینگ مدرن آشنا می‌شویم.

مانیتورینگ و لاگینگ چیست؟

هرچند اصطلاح‌های مانیتورینگ و لاگینگ اغلب در کنار هم به کار می‌روند، اما هرکدام وظیفه متفاوتی در پایش و عیب‌یابی سیستم دارند و در کنار یکدیگر تصویر کامل‌تری از وضعیت یک نرم‌افزار ارائه می‌کنند.

مانیتورینگ (Monitoring) به جمع‌آوری و تحلیل داده‌های کمی (Metrics) می‌پردازد. این داده‌ها شامل اطلاعاتی مانند میزان مصرف CPU و حافظه، تعداد درخواست‌ها، زمان پاسخ‌دهی، نرخ خطا و وضعیت سرویس‌ها هستند. هدف مانیتورینگ، پاسخ به این سوال است که «وضعیت سیستم در حال حاضر چگونه است؟»

در مقابل، لاگینگ (Logging) روی ثبت رویدادها تمرکز دارد. هر زمان که یک کاربر وارد سیستم می‌شود، خطایی رخ می‌دهد یا عملیاتی در برنامه انجام می‌شود، می‌توان جزئیات آن را در قالب Log ذخیره کرد. لاگ‌ها به سوال دیگری پاسخ می‌دهند: «دقیقا چه اتفاقی افتاده است؟»

در معماری‌های توزیع‌شده، مفهوم سومی به نام Tracing نیز اهمیت پیدا می‌کند. Tracing مسیر حرکت یک درخواست را از میان سرویس‌های مختلف دنبال می‌کند و مشخص می‌سازد هر بخش از سیستم چه نقشی در پردازش آن درخواست داشته است. این قابلیت به‌ویژه در معماری‌های مبتنی بر Microservices برای شناسایی گلوگاه‌های عملکردی و خطاهای پیچیده بسیار کاربردی است.

به همین دلیل، در یک زیرساخت مدرن این سه مفهوم در کنار هم استفاده می‌شوند، مانیتورینگ وضعیت سیستم را نشان می‌دهد، لاگینگ جزئیات رویدادها را ثبت می‌کند و Tracing ارتباط بین سرویس‌ها را آشکار می‌سازد.

Prometheus چیست؟

Prometheus یک ابزار متن‌باز برای مانیتورینگ و جمع‌آوری متریک‌ها است که ابتدا توسط شرکت SoundCloud توسعه داده شد و امروزه یکی از پروژه‌های رسمی Cloud Native Computing Foundation (CNCF) به شمار می‌رود. این ابزار به‌ویژه در زیرساخت‌های مبتنی بر داکر، کوبرنتیز و معماری میکروسرویس، به یکی از استانداردهای صنعت تبدیل شده است.

برخلاف بسیاری از سیستم‌های مانیتورینگ که منتظر ارسال اطلاعات از سرویس‌ها می‌مانند، Prometheus از مدل Pull استفاده می‌کند. یعنی در بازه‌های زمانی مشخص، خودش به سرویس‌ها یا Exporterها مراجعه می‌کند و داده‌های موردنیاز را دریافت می‌کند. این رویکرد مدیریت منابع و نظارت بر سرویس‌ها را ساده‌تر و قابل اعتمادتر می‌کند.

داده‌های جمع‌آوری‌شده به‌صورت Time Series ذخیره می‌شوند، یعنی هر Metric همراه با زمان ثبت آن نگهداری می‌شود. این ویژگی امکان بررسی روند تغییرات، تحلیل عملکرد و مقایسه وضعیت سیستم در بازه‌های زمانی مختلف را فراهم می‌کند.

یکی دیگر از قابلیت‌های مهم Prometheus، زبان پرس‌وجوی اختصاصی آن یعنی PromQL است. با استفاده از این زبان می‌توان داده‌های ذخیره‌شده را فیلتر، تجمیع و تحلیل کرد و گزارش‌های دقیقی از وضعیت سیستم به دست آورد.

در عمل، وظیفه اصلی Prometheus جمع‌آوری، ذخیره‌سازی و تحلیل متریک‌ها است. این داده‌ها سپس می‌توانند توسط ابزارهایی مانند گرافانا برای ساخت داشبوردهای بصری، گزارش‌های تحلیلی و سیستم‌های هشدار مورد استفاده قرار گیرند.

Grafana چیست؟

اگر Prometheus مسئول جمع‌آوری و ذخیره متریک‌ها باشد، گرافانا وظیفه نمایش و تحلیل این داده‌ها را بر عهده دارد. Grafana یک پلتفرم متن‌باز برای مصورسازی داده‌ها است که به شما کمک می‌کند اطلاعات خام را به داشبوردهای قابل فهم و کاربردی تبدیل کنید.

یکی از مهم‌ترین ویژگی‌های Grafana، پشتیبانی از Data Sourceهای مختلف است. علاوه بر Prometheus، این ابزار می‌تواند به سرویس‌هایی مانند Elasticsearch ،InfluxDB ،MySQL ،PostgreSQL و بسیاری از منابع داده دیگر متصل شود. به همین دلیل، گرافانا صرفا یک ابزار مخصوص Prometheus نیست و می‌تواند داده‌های چندین سیستم را در یک داشبورد واحد نمایش دهد.

در Grafana می‌توانید نمودارها، جداول، Gaugeها و سایر اجزای بصری را متناسب با نیاز خود طراحی کنید. این داشبوردها امکان مشاهده وضعیت سرویس‌ها، مصرف منابع، نرخ خطا و بسیاری از شاخص‌های دیگر را به‌صورت لحظه‌ای فراهم می‌کنند.

علاوه بر مصورسازی داده‌ها، Grafana از سیستم هشداردهی نیز پشتیبانی می‌کند. به این ترتیب، می‌توان برای شاخص‌های مختلف شرط تعریف کرد تا در صورت عبور از یک آستانه مشخص، از طریق ایمیل، اسلک، Microsoft Teams یا سایر کانال‌های ارتباطی، هشدار ارسال شود.

به‌طور خلاصه، Grafana داده‌ای تولید نمی‌کند، بلکه داده‌های جمع‌آوری‌شده توسط ابزارهایی مانند Prometheus را به اطلاعاتی قابل تحلیل و تصمیم‌گیری تبدیل می‌کند. این موضوع باعث شده است Prometheus و Grafana در کنار یکدیگر، یکی از محبوب‌ترین ترکیب‌ها برای مانیتورینگ زیرساخت‌های مدرن باشند.

راه‌اندازی Prometheus و Grafana با Docker Compose

یکی از ساده‌ترین روش‌ها برای راه‌اندازی Prometheus و Grafana، استفاده از Docker Compose است. با این روش، هر دو سرویس تنها با چند فایل پیکربندی اجرا می‌شوند و نیازی به نصب جداگانه ابزارها نخواهید داشت.

ابتدا یک فایل docker-compose.yml ایجاد کنید و محتوای زیر را در آن قرار دهید:

version: "3.9"

services:
  prometheus:
    image: prom/prometheus
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml

  grafana:
    image: grafana/grafana
    container_name: grafana
    ports:
      - "3000:3000"
    depends_on:
      - prometheus

سپس یک فایل به نام prometheus.yml بسازید تا مشخص شود Prometheus داده‌ها را از کجا جمع‌آوری کند:

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["prometheus:9090"]

اکنون کافی است دستور زیر را اجرا کنید:

docker compose up -d

پس از اجرای کانتینرها، Prometheus از طریق آدرس زیر در دسترس خواهد بود:

http://localhost:9090

و پنل Grafana نیز از طریق آدرس زیر قابل دسترسی است:

http://localhost:3000

در اولین ورود به Grafana، نام کاربری و رمز عبور پیش‌فرض هر دو admin هستند. پس از ورود، کافی است Prometheus را به‌عنوان Data Source اضافه کنید و اولین Dashboard خود را ایجاد کنید. از این مرحله به بعد، هر Metric که Prometheus جمع‌آوری کند، در Grafana قابل مشاهده و تحلیل خواهد بود.

مهم‌ترین متریک‌ها برای مانیتورینگ

انتخاب Metricهای مناسب، نقش مهمی در اثربخشی سیستم مانیتورینگ دارد. اگرچه شاخص‌های موردنیاز به نوع پروژه و زیرساخت بستگی دارند، اما برخی از متریک‌ها تقریبا در همه سیستم‌ها اهمیت بالایی دارند.

• CPU Usage: میزان استفاده از پردازنده و شناسایی بارهای غیرعادی.

• Memory Usage: بررسی مصرف حافظه و تشخیص نشت حافظه (Memory Leak).

• Disk Usage: پایش فضای ذخیره‌سازی و میزان استفاده از دیسک.

• Network Traffic: اندازه‌گیری حجم داده‌های ورودی و خروجی و وضعیت ارتباطات شبکه.

• HTTP Requests: تعداد درخواست‌های ورودی به سرویس در بازه‌های زمانی مختلف.

• Response Time (Latency): مدت‌زمان پاسخ‌گویی سرویس به درخواست‌ها، یکی از مهم‌ترین شاخص‌های تجربه کاربری.

• Error Rate: درصد درخواست‌هایی که با خطا (مانند 4xx و 5xx) مواجه شده‌اند.

• Container Metrics: شاخص‌های مربوط به کانتینرها مانند مصرف CPU، حافظه و وضعیت اجرای آن‌ها.

• Kubernetes Metrics: اطلاعات مربوط به Podها، Nodeها، Deploymentها و سایر اجزای کلاستر کوبرنتیز.

پایش مداوم این شاخص‌ها به تیم‌های DevOps کمک می‌کند مشکلات عملکردی را پیش از تاثیرگذاری بر کاربران شناسایی کرده و از پایداری سرویس‌ها اطمینان حاصل کنند.

مزایا و محدودیت‌های Prometheus و Grafana

Prometheus و Grafana در کنار هم یک ترکیب استاندارد برای مانیتورینگ در سیستم‌های مدرن محسوب می‌شوند، اما مانند هر ابزار دیگری، نقاط قوت و محدودیت‌های خاص خود را دارند.

از نظر مزایا، Prometheus به‌دلیل مدل ساده جمع‌آوری داده (Pull-based)، ساختار سبک و زبان قدرتمند PromQL، برای مانیتورینگ سیستم‌های توزیع‌شده بسیار مناسب است. Grafana نیز با ارائه داشبوردهای انعطاف‌پذیر و قابلیت اتصال به منابع داده مختلف، امکان تحلیل بصری و تصمیم‌گیری سریع را فراهم می‌کند.

در مقابل، Prometheus برای ذخیره‌سازی بلندمدت داده‌ها و مقیاس‌های بسیار بزرگ نیاز به طراحی تکمیلی دارد و به‌تنهایی یک سیستم کامل ذخیره‌سازی توزیع‌شده محسوب نمی‌شود. Grafana نیز به‌عنوان ابزار نمایش، به داده‌های بیرونی وابسته است و به‌تنهایی نقش جمع‌آوری یا پردازش داده را ندارد.

در نتیجه، این دو ابزار زمانی بیشترین ارزش را دارند که در کنار هم و در قالب یک معماری Observability کامل استفاده شوند.

جمع‌بندی

Prometheus و Grafana در کنار هم یک لایه کامل از observability را برای سیستم‌های مدرن فراهم می‌کنند، جایی که داده‌های عملیاتی صرفا جمع‌آوری نمی‌شوند، بلکه قابل تحلیل و تبدیل به تصمیم‌های فنی هستند.

Prometheus با تمرکز بر جمع‌آوری و ذخیره Metrics، تصویر دقیقی از وضعیت لحظه‌ای سیستم ارائه می‌دهد و Grafana این داده‌ها را به داشبوردهای قابل فهم و قابل استفاده تبدیل می‌کند. نتیجه این همکاری، درک سریع‌تر از رفتار سیستم و واکنش مؤثرتر به مشکلات است.

در نهایت، این ابزارها زمانی بیشترین ارزش را دارند که بخشی از یک رویکرد جدی در DevOps و مدیریت سیستم‌های در حال رشد باشند، نه صرفاً ابزارهای جانبی برای نمایش نمودارها.