- عنوان کتاب: A Data Engineers Guide to AI Orchestration with Apache Airflow® Macro orchestration for LLMs, Agents, AI evals and context
- نویسنده: Astronomer
- حوزه: مهندسی داده
- سال انتشار: 2026
- تعداد صفحه: 104
- زبان اصلی: انگلیسی
- نوع فایل: pdf
- حجم فایل: 5.15 مگابایت
در حال حاضر، اکثر ابتکارات هوش مصنوعی در حد نمونه‌های اولیه باقی مانده‌اند. در Astronomer ما هر روز با برخی از بزرگترین و آینده‌نگرترین سازمان‌ها صحبت می‌کنیم، بنابراین قصد داریم به این سوال پاسخ دهیم: چه چیزی برای به‌کارگیری عوامل هوش مصنوعی و استنتاج LLM در تولید وجود ندارد؟ هماهنگ‌سازی. در هر سطحی. چالش با پایه داده‌ها شروع می‌شود: داده‌های به‌خوبی مدیریت‌شده و مستند، اساس هر ابتکار هوش مصنوعی را تشکیل می‌دهند. در مرحله بعد، خطوط لوله LLMOps اضافه می‌شوند. برخی مهندسی زمینه را هماهنگ می‌کنند، که شناخته‌شده‌ترین نمونه آن گردش‌های کاری تولید افزوده بازیابی (RAG) است. برخی دیگر به‌طور مداوم داده‌هایی در مورد خروجی هوش مصنوعی شما، مانند بازخورد مشتری در طول زمان برای اهداف ارزیابی و نظارت، جمع‌آوری می‌کنند. این خطوط لوله ارزیابی هوش مصنوعی حتی قبل از هماهنگ‌سازی هرگونه هوش مصنوعی در داخل Airflow، برای ارزیابی بازگشت سرمایه از هوش مصنوعی در برنامه‌های چت، دستیاران کدنویسی و میکروسرویس‌ها ضروری هستند. پس از اینکه هماهنگ‌سازی داده‌ها به این مرحله رسید، LLMها و عامل‌ها در الگوهای هماهنگ‌سازی هوش مصنوعی که این کتاب پوشش می‌دهد، در خود Dags قرار می‌گیرند، که اغلب با فراخوانی‌های API مدل تک نوبتی به عنوان یک وظیفه جریان هوا (هماهنگ‌سازی LLM) شروع می‌شود و به حلقه‌های چند نوبتی با فراخوانی‌های ابزار (هماهنگ‌سازی عامل) می‌رسد. در نهایت، موارد استفاده‌ای اضافه می‌شوند که چندین عامل را در گردش‌های کاری پیچیده هماهنگ می‌کنند.
Right now, most AI initiatives are stuck as prototypes1. At Astronomer we talk to some of the largest and most forward-thinking organizations every day, so we set out to answer: what is missing to put AI agents and LLM inference into production? Orchestration. At every level. The challenge starts with the data foundation: well-governed and documented data forms the basis for any AI initiative. Next, LLMOps pipelines are added. Some orchestrate context engineering, the most well-known example being retrieval-augmented generation (RAG) workflows. Others consistently gather data about your AI output, such as customer feedback over time for evaluation and monitoring purposes. These AI eval pipelines are necessary even before you orchestrate any AI inside Airflow, to evaluate the ROI from AI in chat apps, coding assistants, and microservices. Once data orchestration has matured to this stage, LLMs and agents are put into the Dags themselves in the AI orchestration patterns this book covers, often starting with single-turn model API calls as an Airflow task (LLM orchestration) and progressing to multi-turn loops with tool calls (Agent orchestration). Finally, use cases are added that coordinate multiple agents in complex workflows.
این کتاب را میتوانید از لینک زیر بصورت رایگان دانلود کنید:
Download: A Data Engineers Guide to AI Orchestration with Apache Airflow
نظرات کاربران