ภาษามนุษย์นั้นซับซ้อนอย่างฉาวโฉ่ และนักภาษาศาสตร์คิดมานานแล้วว่าเป็นไปไม่ได้ที่จะสอนเครื่องให้รู้วิธีวิเคราะห์เสียงพูดและโครงสร้างคำในแบบที่ผู้สืบสวนทำ
แต่นักวิจัยจาก MIT, Cornell University และ McGill University ได้ดำเนินการในทิศทางนี้ พวกเขาได้สาธิตระบบปัญญาประดิษฐ์ที่สามารถเรียนรู้กฎและรูปแบบของภาษามนุษย์ได้ด้วยตัวเอง
เมื่อให้คำและตัวอย่างว่าคำเหล่านั้นเปลี่ยนไปเพื่อแสดงฟังก์ชันทางไวยากรณ์ที่แตกต่างกันอย่างไร (เช่น กาล กรณี หรือเพศ) ในภาษาเดียว โมเดลการเรียนรู้ด้วยเครื่องนี้จะมาพร้อมกับกฎที่อธิบายว่าทำไมรูปแบบของคำเหล่านั้นจึงเปลี่ยนไป ตัวอย่างเช่น อาจได้เรียนรู้ว่าต้องเพิ่มตัวอักษร “a” ต่อท้ายคำเพื่อทำให้เพศชายเป็นเพศหญิงในภาษาเซอร์โบ-โครเอเชีย
โมเดลนี้ยังสามารถเรียนรู้รูปแบบภาษาระดับสูงโดยอัตโนมัติซึ่งสามารถนำไปใช้กับภาษาต่างๆ ได้มากมาย ทำให้ได้ผลลัพธ์ที่ดีขึ้น
นักวิจัยได้ฝึกอบรมและทดสอบแบบจำลองโดยใช้ปัญหาจากตำราภาษาศาสตร์ที่มีภาษาต่างๆ ถึง 58 ภาษา แต่ละปัญหามีชุดคำและการเปลี่ยนแปลงรูปแบบคำที่สอดคล้องกัน ตัวแบบสามารถคิดชุดกฎที่ถูกต้องเพื่ออธิบายการเปลี่ยนแปลงรูปแบบคำสำหรับ 60 เปอร์เซ็นต์ของปัญหา
ระบบนี้สามารถใช้เพื่อศึกษาสมมติฐานทางภาษาและตรวจสอบความคล้ายคลึงกันเล็กน้อยในวิธีที่ภาษาที่หลากหลายแปลงคำ ระบบนี้มีความพิเศษเฉพาะตัว เนื่องจากระบบค้นพบแบบจำลองที่มนุษย์สามารถเข้าใจได้ง่าย และได้รับแบบจำลองเหล่านี้จากข้อมูลจำนวนเล็กน้อย เช่น คำไม่กี่โหล และแทนที่จะใช้ชุดข้อมูลขนาดใหญ่เพียงชุดเดียวสำหรับงานเดียว ระบบใช้ชุดข้อมูลขนาดเล็กจำนวนมาก ซึ่งใกล้เคียงกับวิธีที่นักวิทยาศาสตร์เสนอสมมติฐานมากขึ้น โดยดูชุดข้อมูลที่เกี่ยวข้องหลายชุดและสร้างแบบจำลองเพื่ออธิบายปรากฏการณ์ในชุดข้อมูลเหล่านั้น
“หนึ่งในแรงจูงใจของงานนี้คือความปรารถนาของเราที่จะศึกษาระบบที่เรียนรู้แบบจำลองของชุดข้อมูลที่แสดงในลักษณะที่มนุษย์สามารถเข้าใจได้ แทนที่จะเรียนรู้เรื่องน้ำหนัก ตัวแบบสามารถเรียนรู้นิพจน์หรือกฎเกณฑ์ได้หรือไม่ และเราต้องการดูว่าเราสามารถสร้างระบบนี้ได้หรือไม่ เพื่อให้เรียนรู้จากแบตเตอรีทั้งหมดของชุดข้อมูลที่สัมพันธ์กัน เพื่อให้ระบบเรียนรู้เล็กน้อยเกี่ยวกับวิธีการสร้างแบบจำลองแต่ละอันให้ดีขึ้น” Kevin Ellis ’14, PhD ’20, กล่าว ผู้ช่วยศาสตราจารย์ด้านวิทยาการคอมพิวเตอร์ที่ Cornell University และผู้เขียนนำบทความนี้
เข้าร่วมกับ Ellis บนกระดาษคืออาจารย์ของ MIT Adam Albright ศาสตราจารย์ด้านภาษาศาสตร์ Armando Solar-Lezama ศาสตราจารย์และรองผู้อำนวยการห้องปฏิบัติการวิทยาการคอมพิวเตอร์และปัญญาประดิษฐ์ (CSAIL); และ Joshua B. Tenenbaum ศาสตราจารย์ด้านการพัฒนาอาชีพของ Paul E. Newton แห่ง Cognitive Science and Computation ในภาควิชาสมองและความรู้ความเข้าใจและเป็นสมาชิกของ CSAIL; เช่นเดียวกับผู้เขียนอาวุโส
Timothy J. O’Donnell ผู้ช่วยศาสตราจารย์ภาควิชาภาษาศาสตร์ที่มหาวิทยาลัย McGill และประธาน CIFAR AI ของแคนาดาที่สถาบันปัญญาประดิษฐ์ Mila – Quebec
งานวิจัยได้ รับการ ตีพิมพ์ในวันนี้ในNature Communications
มองภาษา
ในการแสวงหาการพัฒนาระบบ AI ที่สามารถเรียนรู้แบบจำลองโดยอัตโนมัติจากชุดข้อมูลที่เกี่ยวข้องหลายชุด นักวิจัยได้เลือกที่จะสำรวจปฏิสัมพันธ์ของระบบเสียง (การศึกษารูปแบบเสียง) และลักษณะทางสัณฐานวิทยา (การศึกษาโครงสร้างคำ)
ข้อมูลจากหนังสือเรียนภาษาศาสตร์เป็นห้องทดสอบในอุดมคติ เนื่องจากหลายภาษาใช้คุณลักษณะหลักร่วมกัน และปัญหาในตำราเรียนแสดงให้เห็นถึงปรากฏการณ์ทางภาษาที่เฉพาะเจาะจง ปัญหาหนังสือเรียนสามารถแก้ไขได้โดยนักศึกษาในวิธีที่ตรงไปตรงมา แต่นักเรียนเหล่านั้นมักมีความรู้เกี่ยวกับสัทวิทยาจากบทเรียนที่ผ่านมาที่พวกเขาใช้เพื่อให้เหตุผลเกี่ยวกับปัญหาใหม่
Ellis ผู้สำเร็จการศึกษาระดับปริญญาเอกที่ MIT และได้รับคำแนะนำร่วมกันจาก Tenenbaum และ Solar-Lezama ได้เรียนรู้เกี่ยวกับลักษณะทางสัณฐานวิทยาและสัทวิทยาในชั้นเรียน MIT ซึ่งร่วมสอนโดย O’Donnell ซึ่งเป็น postdoc ในเวลานั้นและ Albright
“นักภาษาศาสตร์เคยคิดว่าการจะเข้าใจกฎเกณฑ์ของภาษามนุษย์ได้อย่างแท้จริง การจะเข้าใจสิ่งที่ทำให้ระบบถูกติ๊กคืออะไร คุณต้องเป็นมนุษย์ เราต้องการดูว่าเราสามารถเลียนแบบความรู้และการใช้เหตุผลแบบที่มนุษย์ (นักภาษาศาสตร์) นำมาใช้ได้หรือไม่” Albright กล่าว
ในการสร้างแบบจำลองที่สามารถเรียนรู้กฎเกณฑ์สำหรับการประกอบคำที่เรียกว่าไวยากรณ์ นักวิจัยได้ใช้เทคนิคการเรียนรู้ด้วยเครื่องที่เรียกว่า Bayesian Program Learning ด้วยเทคนิคนี้ โมเดลช่วยแก้ปัญหาด้วยการเขียนโปรแกรมคอมพิวเตอร์
ในกรณีนี้ โปรแกรมคือไวยากรณ์ที่โมเดลคิดว่าเป็นคำอธิบายที่เป็นไปได้มากที่สุดของคำและความหมายในปัญหาภาษาศาสตร์ พวกเขาสร้างโมเดลโดยใช้ Sketch ซึ่งเป็นโปรแกรมซินธิไซเซอร์ยอดนิยม ซึ่งพัฒนาโดย MIT โดย Solar-Lezama
แต่ Sketch อาจใช้เวลามากในการให้เหตุผลเกี่ยวกับโปรแกรมที่น่าจะเป็นไปได้มากที่สุด เพื่อแก้ไขปัญหานี้ นักวิจัยได้ให้แบบจำลองทำงานทีละชิ้น เขียนโปรแกรมขนาดเล็กเพื่ออธิบายข้อมูลบางอย่าง จากนั้นจึงเขียนโปรแกรมขนาดใหญ่ขึ้นเพื่อแก้ไขโปรแกรมขนาดเล็กนั้นเพื่อให้ครอบคลุมข้อมูลมากขึ้น เป็นต้น
พวกเขายังออกแบบโมเดลเพื่อให้เรียนรู้ว่าโปรแกรมที่ “ดี” มีแนวโน้มเป็นอย่างไร ตัวอย่างเช่น อาจเรียนรู้กฎทั่วไปบางประการเกี่ยวกับปัญหารัสเซียง่ายๆ ที่จะนำไปใช้กับปัญหาที่ซับซ้อนมากขึ้นในภาษาโปแลนด์เนื่องจากภาษามีความคล้ายคลึงกัน ทำให้โมเดลสามารถแก้ปัญหาภาษาโปแลนด์ได้ง่ายขึ้น
แก้ปัญหาหนังสือเรียน
เมื่อพวกเขาทดสอบแบบจำลองโดยใช้ปัญหาในตำราเรียน 70 ข้อ ก็สามารถค้นหาไวยากรณ์ที่ตรงกับชุดคำทั้งหมดในปัญหาได้ร้อยละ 60 ของกรณี และจับคู่การเปลี่ยนแปลงรูปแบบคำส่วนใหญ่อย่างถูกต้องในร้อยละ 79 ของปัญหา
นักวิจัยยังได้ลองตั้งโปรแกรมล่วงหน้าของแบบจำลองด้วยความรู้บางอย่างที่ “ควร” ได้เรียนรู้หากเป็นหลักสูตรภาษาศาสตร์ และแสดงให้เห็นว่าสามารถแก้ปัญหาทั้งหมดได้ดีขึ้น
“ความท้าทายประการหนึ่งของงานนี้คือการหาว่าตัวแบบทำอะไรนั้นสมเหตุสมผลหรือไม่ นี่ไม่ใช่สถานการณ์ที่มีตัวเลขเดียวที่เป็นคำตอบเดียวที่ถูกต้อง มีวิธีแก้ปัญหาที่เป็นไปได้มากมายที่คุณอาจยอมรับว่าถูก ใกล้ขวา เป็นต้น” Albright กล่าว
แบบจำลองมักมีวิธีแก้ปัญหาที่ไม่คาดคิด ในกรณีหนึ่ง มันค้นพบคำตอบที่คาดหวังสำหรับปัญหาภาษาโปแลนด์ แต่ยังเป็นอีกคำตอบที่ถูกต้องซึ่งใช้ข้อผิดพลาดในหนังสือเรียน นี่แสดงให้เห็นว่าแบบจำลองสามารถ “ดีบัก” การวิเคราะห์ภาษาศาสตร์ได้ Ellis กล่าว
นักวิจัยยังได้ทำการทดสอบที่แสดงให้เห็นว่าโมเดลสามารถเรียนรู้แม่แบบทั่วไปของกฎการออกเสียงที่สามารถนำไปใช้กับปัญหาทั้งหมดได้
“สิ่งหนึ่งที่น่าประหลาดใจที่สุดคือเราสามารถเรียนรู้ภาษาต่างๆ “นั่นแสดงให้เห็นสองสิ่ง บางทีเราอาจต้องการวิธีการที่ดีกว่าในการเรียนรู้ข้ามปัญหา และบางที ถ้าเราไม่สามารถคิดวิธีการเหล่านั้นได้ งานนี้สามารถช่วยให้เราตรวจสอบแนวคิดต่างๆ ที่เรามีเกี่ยวกับความรู้ที่จะแบ่งปันในปัญหาต่างๆ ได้”
ในอนาคต นักวิจัยต้องการใช้แบบจำลองของพวกเขาเพื่อค้นหาวิธีแก้ไขปัญหาที่ไม่คาดคิดในโดเมนอื่นๆ พวกเขายังสามารถใช้เทคนิคนี้กับสถานการณ์อื่นๆ ที่สามารถนำความรู้ระดับสูงไปใช้กับชุดข้อมูลที่สัมพันธ์กัน ตัวอย่างเช่น บางทีพวกเขาอาจพัฒนาระบบเพื่ออนุมานสมการเชิงอนุพันธ์จากชุดข้อมูลการเคลื่อนที่ของวัตถุต่างๆ ได้ Ellis กล่าว
“งานนี้แสดงให้เห็นว่าเรามีวิธีการบางอย่างที่สามารถเรียนรู้อคติอุปนัยได้ในระดับหนึ่ง แต่ฉันไม่คิดว่าเราคิดออกแล้ว แม้แต่ปัญหาในตำราเรียน ความลำเอียงแบบอุปนัยที่ช่วยให้นักภาษาศาสตร์ยอมรับไวยากรณ์ที่สมเหตุสมผลและปฏิเสธสิ่งที่ไร้สาระ” เขากล่าวเสริม
“งานนี้เปิดสถานที่ที่น่าตื่นเต้นมากมายสำหรับการวิจัยในอนาคต ฉันรู้สึกทึ่งเป็นพิเศษกับความเป็นไปได้ที่วิธีการที่เอลลิสและเพื่อนร่วมงานสำรวจ (Bayesian Program Learning, BPL) อาจพูดถึงวิธีที่ทารกเรียนรู้ภาษา” T. Florian Jaeger ศาสตราจารย์ด้านสมองและความรู้ความเข้าใจและวิทยาการคอมพิวเตอร์ของมหาวิทยาลัยกล่าว ของ Rochester ซึ่งไม่ใช่ผู้เขียนบทความนี้ “งานในอนาคตอาจถาม เช่น ภายใต้อคติการชักนำเพิ่มเติม (สมมติฐานเกี่ยวกับไวยากรณ์สากล) วิธี BPL สามารถบรรลุพฤติกรรมการเรียนรู้เหมือนมนุษย์ในประเภทของข้อมูลที่ทารกสังเกตได้ในระหว่างการเรียนรู้ภาษาได้สำเร็จรูปแบบ บางอย่างที่สังเกตได้ในภาษามนุษย์”
งานนี้ได้รับทุนบางส่วนจากสำนักงานวิจัยวิทยาศาสตร์กองทัพอากาศ ศูนย์สมอง จิตใจ และเครื่องจักร, MIT-IBM Watson AI Lab, สภาวิจัยวิทยาศาสตร์และวิศวกรรมธรรมชาติแห่งแคนาดา, Fonds de Recherche du ค วิเบก – Société et Culture , โครงการเก้าอี้ CIFAR AI ของแคนาดา, มูลนิธิวิทยาศาสตร์แห่งชาติ (NSF) และการคบหาบัณฑิตของ NSF
