<< Return to Craft
|
AI Video Workflows: Kling Omni 1 & Runway Act One/Two
📷 Character reference illustration used for reference locking in Kling Omni 1.

Kling Omni 1 ද? Runway Act One/Two ද?


AI video generation කිව්වම හුඟක් අයට මතක් වෙන්නේ Veo model එකනේ. Veo 3 release වෙනවත් එක්ක සෑහෙන්න කට්ටියක් ඕක පාවිච්චි කරන්න පටන් ගත්තා. කලින් තිබ්බ models එක්ක බලද්දි ඒක සෑහෙන්න ලොකු පිම්මක්.

කොහොමහරි AI video රැල්ල හෙමීට අඩුවෙලා යද්දි, ඊට වඩා සෑහෙන්න powerful models කීපයක් එළියට ආවා.

Kling Omni 1

Runway Act One / Two

මම දැන් අවුරුදු එකහමාරක වගේ ඉඳන් මේ models try කරලා experiments කරනවනේ. මේවා release වෙලා ටික කාලයක් වුණත්, අපේ කට්ටිය ලොකුවට කතා වෙන්නේ නැති නිසා මේ ගැන ලියන්න හිතුවා. මේවාගේ cost එක සාමාන්යයෙන් අනික් models වලට වඩා වැඩි වුණත් capabilities මරු.

Kling Omni 1

Realism & Physics: පටන් ගත්ත කාලේ ඉඳන්ම hallucination අඩුම සහ physics/realism කියන දේ වැඩිම model එකක් තමයි Kling කියන්නේ. මේකත් ඉතින් වෙනසක් නෑ

Logic over Guesswork: අනිත් AI models වල වගේ නිකන්ම ඊළඟ frame එක guess කරන්නේ නැතුව, logic එකක් හදාගෙන generate කරන් යන එකයි මෙතන වෙන්නේ.

Consistent Imagery: හැම model එකකදිම එන ලොකුම ප්රශ්නෙ ඌට ඕනි ඕනි විදියට video වෙනස් වෙන අවුල මේකෙන් සෑහෙන්න හොඳට විසඳගන්න පුළුවන්.

AI video editing/elements ගත්තොත්, මේකත් Runway Aleph එක වගේම තව සෑහෙන්න හැදෙන්න ඕනේ. ඒත් තව අවුරුද්දක් දෙකක් යද්දි ලොකු දෙයක් කරගන්න පුළුවන් වෙයි.

Practical Workflow: The Coffee Shop Example

සරල hypothetical උදාහරණයක් දෙන්නම්. මට coffee shop එකක පෝලිමේ ඉන්න මිනිස්සු ටිකක් AI එකකින් recreate කරන්න ඕනෙ වෙනවා. මට තියෙන්නේ එයාලගේ selfies ටිකක් විතරයි.

සාමාන්ය විදිය: whisk / Nanobanana වගේ tools වලින් reference images හදලා video generate කරලා එකතු කරන එක. ගැටලුව තමයි කොච්චර මහන්සි වුණත් consistent motion එක්ක videos හම්බවෙන්නේ නෑ. වාසනාව මත depend වෙන්න වෙනවා.

මගේ Workflow එක (Kling Omni පාවිච්චි කරලා):

Base Generation: Reference images කීපයක් හදාගෙන, එක මනුස්සයෙක් ගිහින් කෝපි එකක් ගන්න විදියට එක video එකක් generate කරගන්නවා.

Reference Locking: ඒ video එක motion + camera reference එක විදියට Kling Omni එකට දෙනවා.

Character Swapping: මුලින් හදාගත්ත අනිත් මිනිස්සුන්ගේ images ටික character references විදියට අරගෙන generate කරනවා.

Compositing: දැන් හැම කෙනාම එකම frame එකේ, එකම motion එකේ ඉන්න වෙනම videos තියෙනවා. අන්තිමට Rotoscope හරි key කරලා හරි videos ටික composite කරගන්නයි තියෙන්නේ.

(හැබැයි මේ process එකට cost එක පොඩ්ඩක් වැඩියි මචං.)

Runway Act One / Two

මේක සරලවම deepfake වගේම වැඩක්. හැබැයි එච්චරම accurate නම් නෑ. තවම මට ඒ tool එක ලොකුවට පාවිච්චි කරලා බලන්න තරම් වෙලාවක් හම්බුණේ නැති නිසා, ඒක ගැන වෙන දවසක ලියන්නම්.

Pro Tip එකක්. Physics, realism වගේ දේවල් low cost එකකට කරගන්න ඕනෙනම් Kling 2.6 පාවිච්චි කරලා බලන්න.

වෙලාවක් හම්බුණොත් video එකකින් මේ tested tools ගැන තව විස්තර කරන්නම්. එහෙනම් ජය වේවා!

#හඬපටහාරූපකසහිතයි #AIwithLoki

When people talk about AI video generation, Google’s Veo is usually the first model that comes to mind. When Veo 3 dropped, almost everyone rushed to test it out—and compared to legacy video diffusion models, it was a massive leap forward.

However, as the initial hype settled down, a few significantly more powerful models emerged:

Kling Omni 1 Runway Act One / Two

I’ve been experimenting with these engines for about a year and a half. Even though they’ve been out for a while, our local visual artist community isn’t talking about them much, so I decided to break them down. While generation costs are generally higher than consumer models, their raw capabilities are incredible.

Kling Omni 1

Realism & Physics: Since its inception, Kling has maintained the lowest hallucination rate and the highest physics fidelity. Omni 1 continues that trend seamlessly.

Logic over Guesswork: Instead of blind frame extrapolation like standard AI engines, Kling constructs temporal logic before rendering each sequence.

Consistent Imagery: The single biggest flaw in AI video—unpredictable aesthetic shifts mid-clip—is solved remarkably well here.

When it comes to dedicated AI video editing and element control, Omni still needs further development (similar to Runway Aleph). But in another year or two, this tech will transform visual pipelines completely.

Practical Workflow: The Coffee Shop Example

Let me walk you through a practical, hypothetical scenario. Say I need to recreate a line of customers waiting inside a coffee shop using AI, but I only possess individual selfie reference photos of the subjects.

Standard Approach: Generate reference stills via tools like Whisk or Nanobanana, render independent videos, and stitch them together. The issue? No matter how hard you tune the prompt, you get zero motion consistency. You rely 100% on luck.

My Pipeline (Powered by Kling Omni):

  1. Base Generation: Create initial references and generate a single baseline video of one customer walking up to buy a coffee.
  2. Reference Locking: Feed that baseline video directly into Kling Omni as both the camera move and motion reference plate.
  3. Character Swapping: Input the remaining subject selfies as dedicated character references and generate parallel passes.
  4. Compositing: Now every subject exists in separate video passes sharing the exact same framing and motion trajectory. All that’s left is rotoscoping or keying them into a single composite! (Fair warning: credit costs add up fast on this workflow, machan).

Runway Act One / Two

Essentially acts like a deepfake pipeline, though precision isn’t quite at 100% yet. I haven’t had enough downtime to stress-test this engine properly, so I’ll write a dedicated breakdown later.

Pro Tip: If you need high physics realism on a strict budget, give Kling 2.6 a shot.

If time permits, I’ll record a full video breakdown of these tested tools. Until then, cheers!

#AIwithLoki #KlingOmni #RunwayML #VFXWorkflow

<< Return to Craft
Triumph Scrambler 400 X
Chanuka Walking
Chanuka Riding Scrambler