Clips Kitty: AI วิดีโอคลิปในท้องถิ่นสำหรับผู้สร้างเนื้อหา
สัมผัสการดึงข้อมูลไฮไลต์อัตโนมัติ การติดตามใบหน้าที่รู้จักผู้พูด และการใส่คำบรรยายในท้องถิ่นเพื่อแปลงสตรีมยาวให้เป็นคลิปแนวตั้ง คลิป Kitty ที่สร้างโดย ColinGPT9 จะทำงาน AI pipeline บน Windows PC ของคุณ ดังนั้นฟุตเทจจะไม่ออกจากเครื่อง มันทำให้การถอดความอัตโนมัติ การตัดภาพแบบ 9:16 ตามใบหน้า และคำบรรยายที่ติดอยู่ในวิดีโอเป็นไปโดยอัตโนมัติ ในขณะที่เสนอการถอดความหลายภาษาและการแปลที่เลือกได้ เครื่องมือนี้มุ่งเป้าไปที่สตรีมเมอร์และผู้จัดการโซเชียลมีเดียที่ต้องการการตัดต่ออัตโนมัติที่เน้นความเป็นส่วนตัวโดยไม่ต้องอัปโหลดไปยังคลาวด์。
Clips Kitty ทำอะไรสำหรับวิดีโอแบบยาว?
Clips Kitty วิเคราะห์การบันทึกที่ยาวและดึงจุดเด่นสั้นๆ โดยใช้โมเดลภาษาใหญ่ในเครื่องและการถอดความแบบเร็ว มันรองรับไฟล์ในเครื่องและลิงก์จากแพลตฟอร์มเช่น YouTube, Twitch, และ Kick, ทำการติดตามใบหน้าที่รู้จักผู้พูดด้วย YOLOv8 และ TalkNet, และผลิตการตัดแนวตั้ง 9:16 พร้อมคำบรรยายที่ซิงค์กับคำพูดที่ถูกเผาในภาพ. ท่อส่งข้อมูลยังสร้างชื่อ, คำบรรยาย, และแฮชแท็กโดยอัตโนมัติ, ซึ่งช่วยเร่งงานในการเตรียมโพสต์แบบสั้น.
คุณควรคาดหวังผลกระทบต่อระบบมากแค่ไหนระหว่างการประมวลผล?
การประมวลผลทำงานในเครื่องของผู้ใช้ Windows PC, โดยรวมส่วนหน้า Electron กับส่วนหลัง Python ที่เรียกใช้ faster-whisper และ Ollama. นั่นหมายความว่าการโหลด CPU และ GPU ขึ้นอยู่กับโมเดลที่คุณใช้; แอปถูกสร้างขึ้นเพื่อทำงานในอุปกรณ์แทนที่จะส่งข้อมูลไปยังบริการระยะไกล. คุณสามารถเลือกตัวเลือกโมเดลในเครื่องเพื่อปรับสมดุลระหว่างความเร็วกับความแม่นยำ, ซึ่งมีประโยชน์เมื่อทำงานบนฮาร์ดแวร์ระดับผู้บริโภคในระหว่างงานแบตช์ที่ยาว.
Clips Kitty ใช้งานได้อย่างปลอดภัยกับฟุตเทจส่วนตัวหรือไม่?
แอปเก็บข้อมูลวิดีโอในเครื่องตามการออกแบบ, ซึ่งป้องกันการอัปโหลดอัตโนมัติไปยังบริการคลาวด์และสนับสนุนการตรวจสอบจากชุมชนเพราะโครงการเป็นโอเพนซอร์สภายใต้ AGPL-3.0. มันใช้ LLM ในเครื่องและเครื่องมือการถอดความ, ดังนั้นการบันทึกที่ละเอียดอ่อนจึงยังคงอยู่ในดิสก์ของคุณ. นักพัฒนาจัดเตรียมตัวเลือกในการรันโมเดลเช่น Ollama ในเครื่อง, ลดการเรียกใช้เครือข่ายภายนอกในระหว่างท่อ AI.
คุณต้องมีความรู้ทางเทคนิคเพื่อใช้งานให้ถูกต้องหรือไม่?
การทำงานพื้นฐานถูกทำให้เป็นอัตโนมัติ, แต่การกำหนดค่าขั้นสูงต้องการความคุ้นเคยบางอย่าง กับการเลือกโมเดลและเครื่องมือในเครื่อง. อินเทอร์เฟซจัดกลุ่มขั้นตอนการตัด: นำเข้า, ถอดความ, ตรวจจับจุดเด่น, ตัด, ใส่คำบรรยาย, เรนเดอร์, และอาจจะโพสต์อัตโนมัติ. ผู้สร้างทั่วไปสามารถใช้ค่าเริ่มต้น, ขณะที่ผู้ใช้ที่มีพลังสามารถสลับโมเดลหรือปรับพารามิเตอร์การติดตามใบหน้า. โครงการที่เป็นโอเพนซอร์สยังหมายความว่าผู้ใช้ทางเทคนิคสามารถตรวจสอบหรือปรับเปลี่ยนสคริปต์ท่อได้หากจำเป็น.
เครื่องมือการตัดที่เน้นความเป็นส่วนตัวและใช้งานได้จริงพร้อมข้อควรระวังในการพัฒนาแบบ alpha
Clips Kitty เหมาะสำหรับสตรีมเมอร์และผู้จัดการโซเชียลที่ต้องการการดึงข้อมูลไฮไลต์และการสร้างคำบรรยายโดยไม่ต้องพึ่งพาคลาวด์ มันรวมการถอดเสียง การตัดที่รู้จักใบหน้า และการเรนเดอร์คำบรรยายเข้าด้วยกันในเวิร์กโฟลว์ท้องถิ่นเดียว และรองรับหลายภาษา คาดหวังสถานะการพัฒนา alpha ที่ใช้งานอยู่และความไม่เสถียรเป็นครั้งคราวในฐานะการแลกเปลี่ยนสำหรับการเข้าถึงแต่เนิ่นๆ ไปยังท่อส่งข้อมูลที่เน้นความเป็นส่วนตัวนี้.
