- عنوان کتاب: Data Strategy for LLMs
- نویسنده: Eslam Kamal
- حوزه: مدلهای زبانی بزرگ
- تعداد صفحه: 507
- زبان اصلی: انگلیسی
- نوع فایل: pdf
- حجم فایل: 29.9 مگابایت
این کتاب دو نویسنده دارد. جایی که از «من» استفاده میکنیم، به نویسندهای اشاره دارد که آن تجربه را به اشتراک میگذارد. این مقدمه با صدای رانی نوشته شده است. اکثر تیمهایی که برنامههایی را با مدلهای زبانی بزرگ میسازند، با مدل شروع میکنند. آنها معیارها، پنجرههای زمینه، قیمتها و یادداشتهای انتشار را مقایسه میکنند. این انتخابها مهم هستند، اما به ندرت یک مزیت پایدار ایجاد میکنند زیرا همان مدلهای پایه برای رقبا در دسترس هستند و مدل پیشرو میتواند به سرعت تغییر کند. دادههای پیرامون مدل متفاوت است. این دادهها تعیین میکنند که سیستم چه میداند، چه شواهدی را میتواند بازیابی کند، چگونه باید رفتار کند و تیم چگونه عملکرد آن را اندازهگیری میکند. اسناد منبع، مثالهای آموزشی، دستورالعملها، زمینه بازیابی شده، خروجیهای ابزار، سیگنالهای ترجیحی، موارد ارزیابی و بازخورد تولید، یک مدل عمومی را به یک سیستم مفید تبدیل میکنند. این تمایز هنگام ساخت سیستمهای هوش مصنوعی سازمانی در Clearwater Analytics برای من روشن شد. کار ما ترکیبی از بازیابی، تطبیق دامنه، ارزیابی و عوامل تخصصی بود. در یکی از پروژههایی که در وبلاگ یادگیری ماشینی AWS منتشر کردیم، GPT-J-6B را با تطبیق دامنه با استفاده از Amazon SageMaker JumpStart و محتوای کمک عمومی تنظیم کردیم، سپس آن را با مدل پایه و یک مدل تجاری بزرگتر با استفاده از بازیابی مقایسه کردیم. این کار نشان داد که چگونه دادههای آموزشی، سوالات ارزیابی، طراحی بازیابی، تأخیر و هزینه باید به عنوان یک سیستم در نظر گرفته شوند. دستیار کریستال Clearwater نیز بین 25 تا 43 درصد افزایش بهرهوری داشته است. در همان مقاله گزارش شده است که Clearwater داراییهای تحت مدیریت خود را بدون افزایش تعداد کارکنان عملیاتی بیش از 20 درصد افزایش داده است (https://aws.amazon.com/blogs/machine-learning/how-clearwater-analyticsis- revolutionizing-investment-management-with-generative-ai-and-amazonsagemaker-jumpstart/). اینها نتایج تولید گزارش شده بودند، نه بهبودهای معیار. کار بر روی آن سیستمها همچنین نحوه تفکر من در مورد منشأ نتایج را تغییر داد. تعویض یک مدل پایه اغلب یک تغییر پیکربندی و به دنبال آن آزمایش بود. بهبود در دستهبندی، برچسبگذاری، فیلتر کردن یا ارزیابی میتواند تأثیر بیشتری داشته باشد، زیرا آنها آنچه مدل دریافت میکرد و آنچه تیم میتوانست اندازهگیری کند را تغییر دادند. این پیشرفت به سرعت اتفاق افتاد. در ژوئیه ۲۰۲۴، من در مورد تولید افزودهشده با بازیابی و نقش دانش خارجی در بهبود دقت و تازگی مطلب مینوشتم (https://www.linkedin.com/pulse/retrieval-augmented-generation-raglangchain-refining-rany-adgmc/). تا مه ۲۰۲۵، تمرکز من به هماهنگی چندعاملی و جریان CWIC منتقل شده بود، جایی که عوامل متخصص از ابزارها، مهارتها، حافظه و دسترسی مدیریتشده به دادهها استفاده میکنند (https://cwan.com/resources/blog/multi-agent-systems-and-cwic-flowpioneering-ai-orchestration/). هر قابلیت جدید هزینه دادههای ضعیف را افزایش میداد. عاملی که سند اشتباه را بازیابی میکند، ممکن است بر اساس آن عمل کند. یک پاسخ صحیح ممکن است همچنان در ارزیابی خاص دامنه شکست بخورد. مدلها و چارچوبها مدام در حال تغییر بودند، اما نیاز به انتخاب، ساختاردهی، آزمایش و نگهداری دادههای مناسب همچنان پابرجا بود. اسلام کمال از بخش دیگری از این مجموعه به همین نتیجه رسید. ما در بخش تحقیقات مایکروسافت روی درک زبان در زبانها و دامنههای مختلف با هم کار کردیم. اسلام بعداً به ایجاد سرویسهای زبانی مایکروسافت کمک کرد. سپس او رهبری کارهای علمی کاربردی در Microsoft Copilot، GitHub Copilot و Azure Responsible AI را بر عهده داشت. در Meta، اسلام بر کیفیت مکالمه برای Meta AI در عینکهای Ray-Ban Meta تمرکز کرد. این کار مستلزم آن بود که دستیار هوش مصنوعی زمینه چندوجهی را تفسیر کند و به طور طبیعی در زمان واقعی پاسخ دهد. سپس، او به مایکروسافت بازگشت تا رهبری هوش مصنوعی کاربردی را برای مرکز تماس Dynamics 365 بر عهده بگیرد. در بسیاری از دستیاران چندوجهی وظیفهگرا، او با همان چالش تکراری روبرو شد: به دست آوردن دادههای مورد نیاز برای آموزش رفتار مورد نظر، اندازهگیری شکستها، پوشش موارد دشوار و پشتیبانی از تصمیمات در تولید. این دو مسیر این کتاب را شکل میدهند. یکی با برنامههای سازمانی، بازیابی، ارزیابی و عاملها آغاز میشود. مورد دیگر با توسعه مدل، دادههای مصنوعی، آموزش پس از اجرا و سیستمهای چندوجهی آغاز میشود. آنها به یک نتیجه مشترک میرسند: کیفیت یک سیستم مبتنی بر LLM به همان اندازه و اغلب بیشتر از خود مدل، به چرخه حیات دادههای پیرامون مدل بستگی دارد. کنترل بر چرخه حیات دادهها به معنای مالکیت قانونی هر رکورد نیست. برخی از دادهها توسط مشتریان مجوز یا کنترل میشوند. برخی از دادهها دارای محدودیتهای حریم خصوصی، امنیتی یا نظارتی هستند. مجموعهای از اسناد نیز به طور خودکار یک مزیت پایدار نیست، زیرا اسناد قدیمی میشوند، مجوزها تغییر میکنند و رقبا ممکن است به منابع مشابه دسترسی داشته باشند. مزیت پایدار از فرآیند منظم پیرامون دادهها ناشی میشود. این مزیت از دانستن اینکه به کدام منابع اعتماد کنیم، چگونه آنها را آماده کنیم، چگونه مجوزهای دسترسی و الزامات انطباق را رعایت کنیم و چگونه شواهد مناسب را در زمان مناسب ارائه دهیم، ناشی میشود. همچنین از تولید مثالهایی برای مواردی که ترافیک واقعی به اندازه کافی پوشش نمیدهد، ایجاد ارزیابیهایی که نمایانگر برنامه هستند و تغذیه بهرهوری ناشی میشود.
This book has two authors. Where we use “I,” it refers to the author sharing that experience. This preface is written in Rany’s voice. Most teams who build applications with large language models start with the model. They compare benchmarks, context windows, prices, and release notes. These choices matter, but they rarely create a lasting advantage because the same foundation models are available to competitors and the leading model can change quickly. The data surrounding the model is different. It determines what the system knows, what evidence it can retrieve, how it should behave, and how the team measures whether it is working. Source documents, training examples, prompts, retrieved context, tool outputs, preference signals, evaluation cases, and production feedback turn a general model into a useful system. This distinction became clear to me while building enterprise AI systems at Clearwater Analytics. Our work combined retrieval, domain adaptation, evaluation, and specialized agents. In one project we published on the AWS Machine Learning Blog, we _ne-tuned GPT-J-6B with domain adaptation using Amazon SageMaker JumpStart and public help content, then compared it with the base model and a larger commercial model using retrieval. The work showed how training data, evaluation questions, retrieval design, latency, and cost must be considered as one system. Clearwater’s Crystal assistant also achieved efficiency gains between 25 and 43 percent. The same article reported that Clearwater increased assets under management by more than 20 percent without increasing operational headcount (https://aws.amazon.com/blogs/machine-learning/how-clearwater-analyticsis- revolutionizing-investment-management-with-generative-ai-and-amazonsagemaker- jumpstart/). These were reported production results, not benchmark improvements. Working on those systems also changed how I thought about where the results came from. Swapping a base model was often a configuration change followed by testing. Improvements to chunking, labeling, filtering, or evaluation could have a larger effect because they changed what the model received and what the team could measure. The progression happened quickly. In July 2024, I was writing about retrieval-augmented generation and the role of external knowledge in improving accuracy and freshness (https://www.linkedin.com/pulse/retrieval-augmented-generation-raglangchain- refining-rany-adgmc/). By May 2025, my focus had moved to multiagent orchestration and CWIC Flow, where specialized agents use tools, skills, memory, and governed access to data (https://cwan.com/resources/blog/multi-agent-systems-and-cwic-flowpioneering- ai-orchestration/). Each new capability increased the cost of weak data. An agent that retrieves the wrong document may act on it. A àuent answer may still fail a domain-specific evaluation. The models and frameworks kept changing, but the need to select, structure, test, and maintain the right data remained. Eslam Kamal reached the same conclusion from another part of the stack. We worked together at Microsoft Research on language understanding across languages and domains. Eslam later helped create Microsoft’s language services. He then led applied science work across Microsoft Copilot, GitHub Copilot, and Azure Responsible AI. At Meta, Eslam focused on conversational quality for Meta AI on Ray-Ban Meta glasses. This work required the AI assistant to interpret multimodal context and respond naturally in real time. Then, he returned to Microsoft to lead applied AI for Dynamics 365 Contact Center. Across many task-oriented multimodal assistants, he encountered the same recurring challenge: obtaining the data needed to teach the intended behavior, measure failures, cover difفcult cases, and support decisions in production. These two paths shape this book. One begins with enterprise applications, retrieval, evaluation, and agents. The other begins with model development, synthetic data, post-training, and multimodal systems. They converge on the same conclusion: the quality of an LLM-powered system depends on the data lifecycle around the model as much as, and often more than, the model itself. Control over the data lifecycle does not imply legal ownership of every record. Some data is licensed or controlled by customers. Some data carries privacy, security, or regulatory restrictions. A collection of documents is not automatically a durable advantage either, since documents become stale, permissions change, and competitors may have access to similar sources. The durable advantage comes from the disciplined process around the data. It comes from knowing which sources to trust, how to prepare them, how to respect access permissions and compliance requirements, and how to deliver the right evidence at the right time. It also comes from generating examples for cases that real traffic does not sufficiently cover, building evaluations that represent the application, and feeding production failures back into the system. This process is difficult to copy because it develops inside the organization’s workàows and improves through repeated use. This book approaches that work as one connected lifecycle. Source selection affects preparation; preparation affects retrieval; retrieval affects the answers during evaluation; and evaluation, human review, and production feedback create new data for the next iteration. The focus is on managing data throughout this lifecycle to build and maintain reliable LLM-powered systems. Examples drawn from four LLM applications connect these ideas to practical scenarios across selected chapters: a personal productivity assistant, a domain-specific assistant, an enterprise knowledge assistant, and a content moderation system. Their different needs for authority, freshness, privacy, coverage, safety, and human review show how the same data decision can affect different systems in different ways. The code examples in this book use concrete models, APIs, databases, and libraries because practical work requires specific tools. Those tools will change, but the fundamental engineering questions will remain: What data does the system need? Where does it come from? How should it be transformed? Who is allowed to use it? How will the system retrieve it? How will you know whether the results are correct? What happens when the data changes?
این کتاب را میتوانید از لینک زیر بصورت رایگان دانلود کنید:
Download: Data Strategy for LLMs

نظرات کاربران