• เครื่องมือดิจิทัลสามารถสร้างหนังสือภาพดิจิทัลพร้อมคําบรรยายเสียงได้ด้วยคลิกเดียว
• Alibaba Cloud ปรับแต่ง Qwen LLM ให้เหมาะกับรูปแบบการเรียนรู้ของเด็กออทิสติก

Alibaba Group เพิ่งเปิดตัวเครื่องมือที่ขับเคลื่อนด้วยปัญญาประดิษฐ์เพื่อสร้างหนังสือภาพสําหรับเด็กออทิสติก ซึ่งสร้างเส้นทางให้พวกเขาแสดงความรู้สึกและความประทับใจที่มีต่อโลกผ่านงานศิลปะ

นับตั้งแต่เปิดตัวทางออนไลน์ในเดือนมิถุนายน ผู้คนมากกว่า 50,000 คนได้ใช้ฟีเจอร์นี้ ซึ่งสร้างสมุดภาพที่ปรับปรุงเสียงจากข้อความแจ้งที่ป้อนเข้าสู่ตระกูล Qwen ของโมเดลภาษาขนาดใหญ่ (LLM) ของอาลีบาบา

เครื่องมือดิจิทัลเป็นแหล่งข้อมูลด้านการศึกษาสําหรับเด็กที่มีความผิดปกติของออทิสติกสเปกตรัม (ASD) ซึ่งเป็นความผิดปกติทางพัฒนาการที่ส่งผลกระทบต่อเด็กประมาณ 1 ใน 100 คนทั่วโลก ตามข้อมูลขององค์การอนามัยโลก

อาการหลักของ ASD ได้แก่ ความยากลําบากในการทําความเข้าใจปฏิสัมพันธ์ทางสังคมและการสื่อสารทําให้รูปแบบการเรียนรู้ด้วยภาพเช่นหนังสือภาพเป็นเครื่องมือที่มีประสิทธิภาพสําหรับนักการศึกษาและผู้ปกครองของเด็กที่เป็นโรค ASD

“ด้วยการเปิดตัวเครื่องมือสร้างสมุดภาพดิจิทัล เราต้องการส่งเสริมการแสดงออกทางอารมณ์สําหรับเด็กออทิสติก สร้างสภาพแวดล้อมการเรียนรู้ที่ครอบคลุม และเปิดโอกาสให้ได้รับการยอมรับและทําความเข้าใจจากสังคมในวงกว้างสําหรับเด็กที่มีความต้องการพิเศษด้านการศึกษา” Chu Hanlong ผู้นําโครงการที่ Alibaba กล่าวกับ Alizila ระหว่างการสัมภาษณ์

เครื่องมือดิจิทัลนี้ใช้ประโยชน์จากความสามารถแบบหลายรูปแบบของ LLM ที่พัฒนาโดย Alibaba Cloud เพื่อเปลี่ยนบทสรุปโครงเรื่องหนึ่งประโยคให้เป็นกราฟิกที่น่าสนใจควบคู่ไปกับการเขียนและคําบรรยายเสียงที่น่าสนใจ

ผู้ปกครองและครูสามารถเลือกประเภทและตัวละครหลักของเรื่อง ตลอดจนปรับแต่งเนื้อหาให้เหมาะกับกลุ่มอายุเฉพาะเพื่อให้ตรงกับความสนใจของบุตรหลาน

LLM ที่ปรับแต่งอย่างละเอียด

การสร้างคํา เสียง และรูปภาพสําหรับหนังสือภาพดิจิทัลด้วยการกดปุ่มเพียงปุ่มเดียวไม่ใช่เรื่องเล็ก ๆ ในการทําเช่นนั้น วิศวกรของ Alibaba Cloud ได้ใช้ประโยชน์จากเฟรมเวิร์กหลายตัวแทน ModelScope Agent เพื่อประสานโฮสต์ของ LLM และเครื่องมือ AI เพื่อทํางานโดยอัตโนมัติโดยมีการแทรกแซงของมนุษย์น้อยที่สุด

“เราปรับแต่ง LLM ให้สอดคล้องกับลักษณะทางปัญญาของเด็กออทิสติก โดยมุ่งมั่นที่จะสร้างภาพที่เรียบง่ายและตัวละครที่โดดเด่น ด้วยรูปแบบการเขียนที่เรียบง่ายและตรงไปตรงมาเพื่อให้เหมาะกับความต้องการของพวกเขามากขึ้น” Li Chenliang วิศวกรอัลกอริทึม AI ของ Alibaba Cloud กล่าว

ทีมงานได้ทําการวิจัยเกี่ยวกับลักษณะทางปัญญาของเด็กออทิสติก โดยพบว่าเป็นการดีที่สุดที่จะหลีกเลี่ยงคําอุปมา การเล่นสํานวน และสํานวนในภาษา และใช้การวาดภาพที่เรียบง่ายและมีประสิทธิภาพกับตัวละครหลักตัวเดียว

ทีมงานยังปรับแต่งโมเดลการสร้างภาพของ Alibaba Cloud เพื่อรักษาความสอดคล้องของภาพลักษณ์ของตัวละครหลักในบทต่างๆ และรับประกันความหลากหลายในการตั้งค่าเรื่องราว

Alibaba Cloud ได้เปิดเฟรมเวิร์กแบบหลายตัวแทนในชุมชนโมเดล AI ModelScope สําหรับนักพัฒนาทั่วโลก

ความพยายามของกลุ่ม

อาลีบาบายังร่วมมือกับสถาบันที่มีชื่อเสียงหลายแห่งนอกขอบเขตของ AI เพื่อทําให้ความคิดริเริ่มนี้เป็นจริง

Shanghai Animation Studio ซึ่งสร้างภาพแอนิเมชั่นต้นฉบับมากกว่า 500 ภาพตั้งแต่ปี 1957 ให้การสนับสนุนแพลตฟอร์มดิจิทัลเพื่อสร้างหนังสือภาพที่มีตัวการ์ตูนที่เป็นสัญลักษณ์

อาลีบาบายังร่วมมือกับสถาบันสองแห่งที่มุ่งเน้นการศึกษาสําหรับเด็กออทิสติกเพื่อทําความเข้าใจการรับรู้ของผู้ปกครองของเด็กออทิสติกและครูการศึกษาพิเศษเกี่ยวกับการแทรกแซงทางการศึกษาความท้าทายในแต่ละวันและอื่น ๆ

“การให้ครูและผู้ปกครองมีส่วนร่วม เราสามารถรวมสมุดภาพ AI ที่ปรับแต่งได้เข้ากับกลยุทธ์การประดิษฐ์อื่นๆ เพื่อใช้เป็นเครื่องมือสําคัญในการให้ความเป็นเพื่อนและการเรียนรู้ที่ตรงเป้าหมายสําหรับเด็กออทิสติก” Wang Yonggu ศาสตราจารย์จากมหาวิทยาลัยเทคโนโลยีเจ้อเจียงที่มีความเชี่ยวชาญด้านการศึกษาพิเศษกล่าวในการให้สัมภาษณ์

ผู้ปกครองของเด็กออทิสติกและครูการศึกษาพิเศษสามารถเข้าถึงเครื่องมือดิจิทัลในประเทศจีนได้แล้วบนแอป Tongyi ของอาลีบาบา