นักวิทยาศาสตร์ได้ปรับปรุงวิธีการเรียนรู้แบบลึกสำหรับเครือข่ายประสาทเทียม

Anonim

นักวิจัยจากสถาบัน Cyber ​​Intelligence Systems แห่ง National Research Nuclear University MEPhI (Russia) ได้พัฒนารูปแบบการเรียนรู้ใหม่สำหรับเครื่อง Boltzmann ที่ถูก จำกัด (เครือข่ายประสาทเทียม) ซึ่งเพิ่มประสิทธิภาพกระบวนการเข้ารหัสข้อมูลการสร้างภาพและการรับรู้ข้อมูล ผลการวิจัยนี้ได้ตีพิมพ์ในวารสาร Optical Memory and Neural Networks

ปัจจุบันเครือข่ายประสาทเทียมลึก ๆ ที่มีสถาปัตยกรรมที่แตกต่างกันเช่นเครือข่ายแบบหมุน, เครือข่ายที่เกิดขึ้นประจำและเครือข่าย autoencoder กำลังกลายเป็นพื้นที่ที่ได้รับความนิยมเพิ่มขึ้นเรื่อย ๆ บริษัท ด้านเทคโนโลยีจำนวนมากรวมถึง Microsoft และ Google ใช้เครือข่ายประสาทเทียมลึกเพื่อออกแบบระบบอัจฉริยะ

ในระบบการเรียนรู้ขั้นลึกกระบวนการเลือกคุณลักษณะและการกำหนดค่าจะเป็นแบบอัตโนมัติซึ่งหมายความว่าเครือข่ายสามารถเลือกระหว่างอัลกอริธึมที่มีประสิทธิภาพมากที่สุดสำหรับการแยกคุณลักษณะตามลำดับชั้นด้วยตัวเอง การเรียนรู้แบบลึกคือการเรียนรู้ด้วยความช่วยเหลือของกลุ่มตัวอย่างขนาดใหญ่โดยใช้ขั้นตอนวิธีการเพิ่มประสิทธิภาพแบบเดียว อัลกอริธึมการเพิ่มประสิทธิภาพทั่วไปจะกำหนดค่าพารามิเตอร์ของการดำเนินการทั้งหมดพร้อมกันและสามารถประเมินผลกระทบของพารามิเตอร์ของเครือข่ายประสาทได้ทุกอย่างด้วยความช่วยเหลือของวิธีการ backpropagation ที่เรียกว่า

Vladimir Golovko, ศาสตราจารย์จากสถาบัน Cyber ​​Intelligence Systems ของ MEPhI กล่าวว่า "ความสามารถในการเรียนรู้ด้วยตัวเองของเครือข่ายประสาทเทียมเป็นหนึ่งในคุณสมบัติที่น่าสนใจที่สุดของพวกเขา "เช่นเดียวกับระบบชีววิทยาเครือข่ายประสาทสามารถจำลองตัวเองพยายามที่จะพัฒนารูปแบบพฤติกรรมที่ดีที่สุดเท่าที่จะเป็นไปได้"

ในปี 2006 ทรงกลมของการฝึกอบรมเครือข่ายประสาทได้เห็นการพัฒนาเมื่อ Geoffrey Hinton เผยแพร่เอกสารวิจัยเกี่ยวกับเครือข่ายประสาทเทียมก่อนการฝึกอบรม เขาบอกว่าหลายเครือข่ายประสาทจะได้รับการฝึกฝนโดยการฝึกอบรมชั้นหนึ่งครั้งด้วยความช่วยเหลือของเครื่องจักรกล Boltzmann จำกัด และปรับแต่งโดยใช้ backpropagation เครือข่ายเหล่านี้ถูกตั้งชื่อว่าเครือข่ายความเชื่อที่ลึกซึ้งหรือ DBN

Golovko ได้วิเคราะห์ปัญหาหลักและกระบวนทัศน์ในการเรียนรู้เกี่ยวกับเครื่องจักรแบบลึกและแนะนำวิธีการเรียนรู้ใหม่สำหรับเครื่อง Boltzmann ที่ จำกัด ผู้วิจัยแสดงให้เห็นว่ากฎคลาสสิกของการฝึกอบรมเครือข่ายประสาทนี้เป็นกรณีพิเศษของวิธีการที่เขาพัฒนาขึ้น

นักวิทยาศาสตร์อเมริกัน Minsky และ Papert เคยแสดงให้เห็นว่าจากมุมมองของการจำแนกรูปแบบ perceptron ชั้นเดียวที่มีฟังก์ชันการเปิดใช้งานธรณีประตูเป็นรูปแบบการแยกเชิงเส้นซึ่งเป็นเหตุผลว่าทำไมจึงไม่สามารถแก้ปัญหา "พิเศษหรือ" Golovko ได้ ข้อสังเกต. "นี้นำไปสู่ข้อสรุปในแง่ร้ายเกี่ยวกับการพัฒนาต่อไปของเครือข่ายประสาทอย่างไรก็ตามคำสั่งสุดท้ายเป็นจริงสำหรับ perceptron ชั้นเดียวที่มีเกณฑ์หรือฟังก์ชั่นการเปิดใช้งานอย่างต่อเนื่อง monotonic เช่นฟังก์ชัน sigmoid เมื่อหนึ่งใช้การเปิดใช้งานสัญญาณ ฟังก์ชัน perceptron ชั้นเดียวสามารถแก้ปัญหา 'พิเศษหรือ' เนื่องจากสามารถแบ่งพื้นที่ของวัตถุและศูนย์เข้าด้วยการใช้เส้นตรงสองเส้น "

การวิจัยยังมีส่วนเกี่ยวข้องกับการวิเคราะห์แนวโน้มของการใช้เครือข่ายประสาทเทียมลึกเพื่อการบีบอัดการสร้างภาพและการรับรู้ข้อมูล นอกจากนี้ Golovko ยังเสนอแนวทางใหม่ในการใช้การเข้ารหัสความหมายหรือการแฮชซึ่งใช้การเชื่อมโยงเครือข่ายประสาทอัตโนมัติแบบลึก

วิธีการเรียนรู้แบบลึกนี้อาจมีประโยชน์มากสำหรับการฝึกอบรมเครือข่ายประสาทเทียมเครื่องมือค้นหารัฐผู้เขียนเนื่องจากจะช่วยเพิ่มความเร็วในการค้นหาภาพที่เกี่ยวข้อง

การค้นพบนี้มีคุณค่าในทางปฏิบัติที่ดี: พวกเขาได้พบว่ามีการประยุกต์ใช้ในขอบเขตของการมองเห็นทางคอมพิวเตอร์การรู้จำเสียงพูดและชีวสารสนเทศ

menu
menu