Episode Details
Back to Episodes
35: שימוש זה לא הכל - על מדידת הצלחה בעידן ה-LLM (עודי פנט, Microsoft Excel)
Published 1 year ago
Description
במשך שנים המדדים המרכזיים להצלחת מוצר היו Usage ו-Retention. אבל מה קורה כשפתאום משתמש כותב עשרות פרומפטים ועדיין יוצא מתוסכל? או כשהוא מקבל תוצאה מושלמת ובהתאם לצרכים שלו, אבל רק פעם בחודש?
מאז שמוצרי LLM נכנסו לעולם, כללי המשחק השתנו. המדדים שהכרנו כבר לא מספרים את כל הסיפור, והצורך במדידה איכותנית כמו אמון המשתמש, סנטימנט בשיחה או ריבוי ג’ובים לאורך זמן, הפך לקריטי.
השבוע ב"פרודקטיבי", רן ארז מארח את עודי פנט, Senior Product Manager ב-Microsoft Excel, לשיחה סופר פרקטית על איך מודדים חוויית משתמש כשאין לך מושג מה בדיוק המשתמש מנסה לעשות. דיברנו על סיגנלים של אמון, על למה כדאי לבנות את המוצר דווקא סביב יוזרים עצמאיים, ואיך למדוד הצלחה כשכל אינטראקציה יכולה להיות שונה לחלוטין.
See omnystudio.com/listener for privacy information.