קודם רפרנסים, אחר כך פרומפט: שיטה יציבה לוידאו AI עקבי

# קודם רפרנסים, אחר כך פרומפט: שיטה יציבה לוידאו AI עקבי

יש רגע כזה שכל מי שיוצר וידאו AI מכיר: הפרומפט כתוב יפה, התוצאה אפילו מרשימה, אבל הדמות השתנתה, הלוקיישן לא אותו לוקיישן, והמותג פתאום נראה כמו בן דוד רחוק של עצמו. זה לא תמיד אומר שהמודל חלש. הרבה פעמים זה אומר שהתחלנו מהמקום הלא נכון.

בוידאו AI, במיוחד כשצריך עקביות בין שוטים, אני מעדיף לחשוב פחות כמו “כותב פרומפטים” ויותר כמו במאי שמכין תיק הפקה קטן. קודם אני מגדיר רפרנסים: דמות, מקום, מוצר, צבעוניות, מצב פתיחה ומצב סיום. רק אחר כך אני כותב את הפרומפט שמניע את הסצנה.

הגישה הזאת נקראת אצלי reference-first. היא לא קסם, והיא לא מבטלת ניסיונות חוזרים. אבל היא מורידה הרבה כאוס מהתהליך, במיוחד כשעובדים על סרטון שמורכב מכמה שוטים ולא על קליפ חד-פעמי של חמש שניות.

למה זה חשוב דווקא עכשיו

מודלי וידאו נהיו הרבה יותר טובים בתנועה, מצלמה ואסתטיקה. הבעיה היא שככל שהתוצאות יפות יותר, קל יותר להתבלבל ולחשוב שהכל בשליטה. בפועל, עקביות היא עדיין אחד האתגרים הגדולים: אותה דמות בשוט שני, אותו מוצר בזווית אחרת, אותו משרד, אותו סגנון תאורה, אותה שפה ויזואלית.

במקום לכתוב פרומפט ארוך שמנסה לתאר הכל מחדש בכל פעם, אני רוצה לבנות מערכת קטנה שמפרידה בין שני דברים:

• מה חייב להישאר קבוע.
• מה מותר לשנות בכל שוט.

הרפרנסים שומרים על הקבועים. הפרומפט מנהל את השינוי.

זה נשמע פשוט, אבל זו נקודת המפנה. אם בכל שוט אני מתאר מחדש את הדמות, הבגדים, הסביבה, המצלמה, מצב הרוח והפעולה, אני בעצם נותן למודל הזדמנות לפרש מחדש את כל העולם. אם אני נועל קודם את העולם עם רפרנסים, הפרומפט הופך להיות הוראת בימוי ולא ניסיון נואש להסביר הכל מהתחלה.

השלב הראשון: לבנות ספריית רפרנסים קטנה

לפני שאני פותח כלי וידאו, אני מכין תיקייה פשוטה. לא צריך מערכת מורכבת. מספיק סדר בסיסי:

• character: תמונות דמות ברורות, חזית/צד/תנוחה אופיינית.
• location: הלוקיישן או העולם שבו הסצנה מתרחשת.
• product: מוצר, לוגו, אביזר או כל אובייקט שחייב להישאר מזוהה.
• style: צבעוניות, תאורה, טקסטורה, או פריימים שמגדירים את השפה.
• keyframes: תמונת פתיחה ותמונת סיום לשוטים שבהם חשוב לשלוט במעבר.

אני לא זורק לשם 40 תמונות. יותר מדי רפרנסים יכולים לבלבל. ברוב המקרים אני מעדיף 3-8 קבצים טובים, ברורים ונקיים. תמונה אחת שמגדירה דמות טוב יותר מעשר תמונות בינוניות.

הכלל שלי: אם הרפרנס לא עוזר למודל להבין מה לשמור, הוא לא נכנס לתיקייה.

השלב השני: להגדיר “נעילות” לפני תנועה

בכל שוט אני כותב לעצמי שלוש נעילות:

נעילת זהות: מי או מה חייב להישאר אותו דבר?

נעילת עולם: איזה מקום, סגנון או אווירה חייבים להישמר?

נעילת מותג: האם יש צבע, מוצר, טקסט, לוגו או קומפוזיציה שאסור להרוס?

רק אחרי זה אני מחליט מה זז. זו נקודה קריטית. ב-image-to-video, למשל, התמונה היא העוגן. אם אני נותן למודל תמונת מוצר מדויקת ואז בפרומפט מתאר מחדש מוצר אחר מדי, אני מייצר התנגשות. עדיף לכתוב מה קורה סביב התמונה: מצלמה מתקרבת, אור זז, עשן עדין עולה, יד נכנסת לפריים, רקע נפתח.

דוגמה קצרה:

לא טוב: “בקבוק יוקרתי ירוק עם תווית זהב עומד על שולחן שיש, מצלמה מסתובבת סביבו, תאורת סטודיו דרמטית.”

יותר טוב עם רפרנס תמונה: “שמור על הבקבוק, התווית והפרופורציות כפי שהם בתמונת המקור. הוסף תנועת מצלמה איטית מימין לשמאל, השתקפות עדינה על השיש, ואור אחורי רך שמבליט את קווי המתאר.”

ההבדל הוא לא רק ניסוח. בהוראה השנייה אני אומר למודל: אל תמציא מחדש את האובייקט. תביים אותו.

השלב השלישי: לעבוד בשוטים, לא בקליפ אחד גדול

הרבה יוצרים מנסים להוציא סרטון שלם בפרומפט אחד. לפעמים זה עובד לטיזר קצר, אבל כשצריך סיפור, מכירה או הדרכה, אני מעדיף לפרק לשוטים.

מבנה בסיסי שאני משתמש בו:

1. שוט פתיחה: קובע עולם, אווירה, קנה מידה.
2. שוט פעולה: הדמות או המוצר עושים משהו ברור.
3. שוט פרטים: קלוז-אפ שמחזק אמינות ותחושה.
4. שוט מעבר: תנועה שמחברת בין רעיונות.
5. שוט סיום: פריים נקי שאפשר לשים עליו טקסט או CTA.

לכל שוט יש רפרנס או keyframe משלו, אבל כולם שייכים לאותה ספריית עולם. ככה אני לא מבקש מהמודל “תעשה לי סרטון”. אני מבקש ממנו לבצע סדרת משימות קטנות עם גבולות ברורים.

השלב הרביעי: להשתמש ב-keyframes כשיש שינוי חשוב

כשאני רוצה מעבר ברור בין מצב א׳ למצב ב׳, keyframes הם כלי חזק. לדוגמה: חדר חשוך שהופך לסטודיו מואר, סקיצה שהופכת למוצר, דמות שעוברת ממבט מודאג לביטחון, או מסך ריק שמתמלא בממשק.

במקום לתאר מעבר ארוך רק במילים, אני מכין תמונת פתיחה ותמונת סיום. הפרומפט מסביר איך לעבור ביניהן.

תבנית שאני אוהב:

• Start frame: מה רואים בהתחלה.
• End frame: לאן צריך להגיע.
• Motion: מה זז בדרך.
• Constraint: מה אסור להשתנות.
• Mood: איזה קצב ותחושה יש למעבר.

דוגמה:

Start frame: יוצר יושב מול שולחן עבודה עמוס פתקים ומסכים פתוחים.

End frame: אותו יוצר מול סביבת עבודה נקייה עם לוח משימות מסודר וסרטון פתוח על המסך.

Prompt: “מעבר איטי ונקי מבלגן לסדר. המצלמה עושה push-in עדין אל המסך, התאורה מתחממת בהדרגה, והיוצר נשאר באותו מקום. לשמור על אותה דמות, אותו חדר ואותה קומפוזיציה כללית.”

זו דוגמה טובה כי המעבר משרת רעיון. אנחנו לא מוסיפים תנועה רק כדי שיהיה “קולנועי”. אנחנו משתמשים בתנועה כדי להסביר שינוי.

השלב החמישי: לכתוב פרומפט בימוי קצר וברור

אחרי שיש רפרנסים, הפרומפט לא צריך להיות רומן. אני משתמש בתבנית קצרה:

נושא: מה נמצא בפריים.

פעולה: מה קורה עכשיו.

מצלמה: איך אנחנו רואים את זה.

אור/אווירה: מה התחושה.

שמירה: מה חייב להישאר עקבי.

דוגמה לשוט מוצר:

“המוצר מהרפרנס עומד במרכז על משטח כהה ונקי. טיפות מים קטנות זזות על הזכוכית, אור צד רך יוצר הברקה לאורך הקצה, והמצלמה עושה orbit איטי של 20 מעלות. לשמור על צורת המוצר, הצבעים, התווית והפרופורציות מהתמונה המקורית.”

דוגמה לשוט דמות:

“הדמות מהרפרנס עומדת בסטודיו קטן ומסתכלת אל המצלמה בביטחון. היא מרימה טאבלט שמציג תכנון שוטים, חיוך קטן, תנועת מצלמה עדינה קדימה. לשמור על מבנה פנים, לבוש, שיער וצבעוניות כללית.”

דוגמה לשוט אווירה:

“לוקיישן מהרפרנס בשעת ערב, אורות רכים נדלקים בהדרגה, תנועת מצלמה איטית לאורך החלל, תחושה יוקרתית אבל אנושית. לא לשנות את מבנה החדר, החלונות או סידור הרהיטים המרכזי.”

השלב השישי: לעשות QA כמו עורך, לא כמו מתלהב

אחרי הג׳נרציה הראשונה אני לא שואל “זה יפה?”. אני שואל שאלות יותר קשוחות:

• האם הדמות עדיין מזוהה?
• האם המוצר השתנה בצורה שמפריעה?
• האם המצלמה משרתת את הרעיון או רק זזה?
• האם יש קפיצות מוזרות בידיים, טקסט, עיניים או לוגו?
• האם השוט מתאים לשוט הבא?
• האם אפשר להשתמש בזה בתוך סרטון אמיתי, או שזה רק הדגמה יפה?

אם משהו לא עובד, אני לא בהכרח כותב פרומפט חדש מאפס. קודם אני משנה משתנה אחד: מוריד תנועה, מחזק constraint, מחליף keyframe, או מפשט את הפעולה. עבודה מסודרת חוסכת הרבה ניסיונות כי קל להבין מה נשבר.

טעויות נפוצות שאני רואה כל הזמן

הטעות הראשונה היא להעמיס יותר מדי. פרומפט אחד עם דמות, לוקיישן, סיפור, תנועה מורכבת, תאורה, החלפת בגדים, טקסט, לוגו ומעבר דרמטי כמעט תמיד מעלה סיכון. עדיף שוט אחד עם פעולה אחת ברורה.

הטעות השנייה היא לתאר מחדש את מה שכבר נמצא ברפרנס. אם התמונה מגדירה את המוצר, אל תגרום למודל לדמיין אותו מחדש. תכתוב איך הוא מצולם.

הטעות השלישית היא להשתמש ברפרנסים לא עקביים. אם בתמונה אחת הדמות בלוק ריאליסטי ובשנייה היא נראית כמו איור, המודל מקבל מסר כפול. עדיף מעט רפרנסים באותה שפה.

הטעות הרביעית היא לא לתכנן את שוט הסיום. בסרטונים שיווקיים ועסקיים אני רוצה סוף שאפשר לשים עליו טקסט, הצעה או מעבר לדף נחיתה. אם כל השוט מלא בתנועה, רעש ופרטים, אין מקום לנשימה.

workflow קצר שאפשר לנסות היום

בחרו רעיון אחד לסרטון של 15-20 שניות. לא סרט מלא, לא קמפיין ענק.

כתבו משפט אחד: “הסרטון צריך לגרום לצופה להבין ש...”

בנו ספריית רפרנסים עם 3-5 תמונות: דמות/מוצר, מקום, סגנון, פתיחה, סיום.

חלקו את הסרטון ל-4 שוטים בלבד.

לכל שוט כתבו:

• מה נשאר קבוע.
• מה משתנה.
• מה התנועה.
• מה אסור למודל לשבור.

צרו גרסה ראשונה. בחרו את השוט הכי חלש. תקנו רק אותו. אל תתחילו מחדש את כל הסרטון בגלל שוט אחד.

אחרי שיש רצף שעובד, רק אז תתחילו לשפר אסתטיקה: תאורה, צבע, קצב, טקסטים, סאונד.

מחשבה אחרונה

וידאו AI טוב לא מתחיל בפרומפט חכם. הוא מתחיל בהחלטה יצירתית ברורה: מה העולם, מה נשאר עקבי, ומה הסצנה צריכה לגרום לנו להרגיש.

ככל שהכלים משתפרים, מי שינצח הוא לא מי שכותב את הפרומפט הכי ארוך. מי שינצח הוא מי שיודע לביים מערכת: רפרנסים, שוטים, תנועה, תיקונים, ושפה אחת שמחזיקה לאורך כל הסרטון.

אם אתם רוצים ללמוד יצירת וידאו AI ברמה גבוהה, צעד אחר צעד, עם הכוונה אישית ולא רק אוסף טריקים, אפשר לבדוק את תוכנית ההכשרה שלי כאן: https://onemanaistudio.com/

מקורות למחקר

• Runway Help: Creating with Gen-4 Image References — https://help.runwayml.com/hc/en-us/articles/40042718905875-Creating-with-Gen-4-Image-References
• Runway Research: Introducing Runway Gen-4 — https://runwayml.com/research/introducing-runway-gen-4
• Luma AI Learning Hub: How to Use Keyframes — https://lumalabs.ai/learning-hub/how-to-use-keyframes
• Luma AI Learning Hub: Best Practices — https://lumalabs.ai/learning-hub/best-practices
• Kling AI Quickstart: Image to Video Guide — https://kling.ai/quickstart/image-to-video-guide