שרון דהן מאימפאלה - Why your LLM costs so much?
Unable to add items
Sorry, we're unable to add the item because your cart is already full.
Add to basket failed.
Please try again later
Add to wishlist failed.
Please try again later
Failed to remove from Wish List.
Please try again later
Adding to library failed
Please try again
Unable to follow podcast
Unable to unfollow podcast
שרון דהן מאימפאלה - Why your LLM costs so much?
-
Narrated by:
-
By:
הפרק השאיר משהו לחשוב עליו? אפשר להגיב בתגובות או או בבלינקדין שלנו
לעדכונים על מיטאפים של monday AI engineering - כאן אפשר לעקוב אחרינו ב Meetup
כולם רצים למודלים הגדולים והחזקים ביותר. אבל מה אם זו דווקא הדרך הכי יקרה — ולא בהכרח הכי טובה — לבנות מוצר AI?
בפרק הזה אנחנו מארחים את שרון דהן, Chief Architect ב getimpala.ai, ונכנסים למה שבאמת קורה מאחורי כל קריאת API ל-LLM: למה inference עולה כל כך הרבה, איך GPU ו-KV Cache משפיעים על החשבון, ולמה ניהול קונטקסט נכון יכול להיות חשוב יותר מגודל המודל.
דיברנו על איך לפרק משימות כדי לגרום למודלים קטנים לעבוד טוב יותר, איך שינוי בשאלה בלבד יכול לשפר משמעותית את התוצאות, למה מודלים סיניים משנים את כלכלת ה-AI — ומה קורה כש-Agents מתחילים לדבר אחד עם השני ומפסיקים את יום העבודה של בני האדם.
פרק על מודלים, כסף, Context Engineering והדרך לבנות AI שעובד גם בסקייל — בלי לשרוף את התקציב
adbl_web_anon_alc_button_suppression_t1
No reviews yet
