ใช้การเรียนรู้อย่างลึกซึ้งเพื่อจับภาพการเคลื่อนไหวด้วย DeepLabCut

Anonim

ทีมนักวิจัยที่สังกัดสถาบันหลายแห่งในเยอรมนีและสหรัฐอเมริกาได้พัฒนาอัลกอริธึมการเรียนรู้ลึก ๆ ซึ่งสามารถใช้จับสัตว์ชนิดใดก็ได้ ในบทความของพวกเขาที่ตีพิมพ์ในวารสาร Nature Neuroscience กลุ่มนี้ได้อธิบายถึงเครื่องมือติดตามของพวกเขาที่เรียกว่า DeepLabCut วิธีการทำงานและวิธีการใช้งาน Kunlin Wei และ Konrad Kording ร่วมกับมหาวิทยาลัยปักกิ่งและมหาวิทยาลัยเพนซิลเวเนียตามลำดับมีข่าวและมุมมองเกี่ยวกับผลงานของกลุ่มในฉบับวารสารฉบับเดียวกัน

ในฐานะที่เป็นโน้ต Wei และ Kording นักวิทยาศาสตร์พยายามที่จะใช้การจับภาพการเคลื่อนไหวกับมนุษย์และสัตว์มาเป็นเวลากว่าหนึ่งศตวรรษแนวคิดคือการจับภาพความซับซ้อนของการเคลื่อนไหวเล็ก ๆ ทั้งหมดที่ทำให้เกิดการเคลื่อนไหวที่มีขนาดใหญ่และเห็นได้ชัดเจนขึ้นเช่น ขั้นตอนการเต้นเดี่ยว ความสามารถในการติดตามการเคลื่อนไหวดังกล่าวในสัตว์มีเบาะแสบางอย่างเกี่ยวกับชีวกลศาสตร์ของพวกเขาและวิธีการทำงานของสมองของพวกเขา ความสามารถในการทำเช่นนี้กับมนุษย์สามารถช่วยในการรักษาทางกายภาพบำบัดหรือปรับปรุงประสิทธิภาพการกีฬาได้ ขั้นตอนปัจจุบันเกี่ยวข้องกับการบันทึกวิดีโอในหัวข้อและดำเนินการตามขั้นตอนการติดแท็กกรอบภาพโดยลำพัง ในความพยายามใหม่นี้นักวิจัยได้พัฒนาเทคนิคการทำงานอัตโนมัติของคอมพิวเตอร์เพื่อดำเนินกระบวนการนี้ให้เร็วขึ้นและง่ายขึ้น

เพื่อสร้าง DeepLabCut กลุ่มได้รับการฝึกฝนเครือข่ายประสาทโดยใช้ข้อมูลจากฐานข้อมูลชื่อ Imagenet ที่มีรูปภาพจำนวนมากและเมตาดาต้าที่เกี่ยวข้อง จากนั้นพวกเขาจึงพัฒนาอัลกอริทึมที่ปรับการประมาณค่าโพสท่า ส่วนที่สามคือซอฟต์แวร์ที่เรียกใช้อัลกอริทึมการโต้ตอบกับผู้ใช้และนำเสนอผลการค้นหา ผลที่ได้คือเครื่องมือที่สามารถใช้ในการจับภาพการเคลื่อนไหวของมนุษย์และแทบทุกสิ่งมีชีวิตอื่น ๆ ผู้ใช้ทุกคนต้องทำคืออัปโหลดตัวอย่างสิ่งที่พวกเขาอยู่หลังจากพูดภาพของกระรอกโดยมีส่วนที่สำคัญระบุไว้และวิดีโอบางรายการแสดงให้เห็นว่ามันเคลื่อนที่ได้อย่างไร จากนั้นผู้ใช้จะอัปโหลดวิดีโอของเรื่องที่กำลังทำกิจกรรมน่าสนใจเช่นกระรอกถอดเปิดอ่อนนุช ซอฟแวร์ทำส่วนที่เหลือให้การจับภาพเคลื่อนไหวของกิจกรรม

ทีมงานได้สร้างเครื่องมือใหม่ที่สามารถเข้าถึงได้อย่างอิสระสำหรับทุกคนที่ต้องการใช้เพื่อวัตถุประสงค์ใดก็ตามที่พวกเขาเลือก Wei และ Kording แนะนำให้ใช้เครื่องมือนี้สามารถปฏิวัติการจับภาพเคลื่อนไหวทำให้สามารถใช้งานได้ง่ายกับมืออาชีพและสามเณรเหมือนกัน

menu
menu