סטודנטים להנדסת תוכנה ב– SCE המכללה האקדמית להנדסה ע"ש סמי שמעון פיתחו את "Signsability", מערכת פורצת דרך ללימוד ותרגום של שפת הסימנים הישראלית (שס"י). המערכת נועדה לצמצם את פערי התקשורת בין קהילת החרשים וכבדי השמיעה בישראל לבין האוכלוסייה הכללית ולהתאים את לימוד שפת הסימנים לכל אחד.
המערכת עושה שימוש בטכנולוגיות מתקדמות של למידת מכונה ועיבוד תמונה, ומספקת למשתמשים פידבק בזמן אמת על דיוק התנועות שלהם. כמו כן, המערכת מאפשרת תרגום מיידי של מילים משפת הסימנים לשפה הכתובה והתוצאות מבטיחות: 91% דיוק בזיהוי מילים!
הנתונים נאספו על ידי צוות הפרויקט ואומתו בעזרת מתנדבים דוברי שס"י. המודל שהמערכת מבוססת עליו מציג רמת דיוק מרשימה של 91% בזיהוי מילים, ומהווה צעד משמעותי לקראת שילוב רחב של הכלי במערכות לימוד ותמיכה לאוכלוסיות שונות.
Signsability פותחה על ידי דין עזרא ושי מסטיץ, בוגרי תואר ראשון בהנדסת תוכנה במכללת סמי שמעון, במסגרת פרויקט הגמר שלהם. את הפרויקט ליוותה ד"ר אירינה רבייב, מומחית בתחום בנוסף, מאמר אקדמי שכתבו בנושא פורסם בכתב העת המדעי Software MDPI.
פרסום
מטרת הפרויקט היא לא רק ללמד שפת סימנים אלא גם להתאים אותה לכל אדם, ולתרגם משפטים שלמים לשפה הכתובה בעתיד. כיום המערכת תומכת בזיהוי של 18 מילים שונות, והיזמים עובדים על הרחבת המערכת כדי לתמוך באוצר מילים רחב יותר, ובהמשך גם בתרגום משפטים מלאים, תוך התחשבות בחוקי התחביר הייחודיים לשפת הסימנים.
פרסום
דין עזרא מיזמי הפרויקט סיפר: "הנושא פגש אותי לפני 4 שנים, כאשר גרתי ממש מול שכן כבד שמיעה מלידה. מדי פעם כשהייתי שומע מבעד לדלת רעשים ודפיקות בארון חשמל שנמצא במסדרון בין הדירות שלנו, הייתי מבין שהוא צריך עזרה עם הפעלת מונה החשמל אצלו בדירה, והייתי יוצא לעזור לו. בנוסף להיותו כבד שמיעה, הוא לא ידע לקרוא ולכתוב, ולכן לא ידע להקליד את הספרות הנכונות במקום הנכון כדי להפעיל את החשמל לבד. אחרי שהייתי עוזר לו, הוא היה מסמן לי שהוא מודה לי, והרגשתי שהעזרה הקטנה שנתתי לו הייתה עבורו מאוד משמעותית. לצערי אני לא דובר שפת הסימנים, ולכן התקשורת איתו הסתכמה רק בפנטומימה מאולתרת, ולמרות שהאינטראקציות איתו היו מאוד נעימות, תמיד היה לי עצוב שלא הייתה לי יכולת לנהל איתו אפילו שיחה בסיסית ולשאול אותו דברים פשוטים כמו "מה שלומך?" או לאחל לו בוקר טוב. מכאן הגיעה ההבנה שלמידת שפת הסימנים צריכה להיות מותאמת ונוחה לכלל האוכלוסייה."
שי מסטיץ יוזם הפרויקט יחד עם דין סיפר: "בהיותי תלמיד בחטיבת הביניים, שובצו בכיתה שלי כבדי שמיעה ברמות שונות. עם הזמן התחילו להתגלע פערי תקשורת משמעותיים בין התלמידים השומעים לבין כבדי השמיעה, מה שהוביל לקשיים עבור שני הצדדים. חוויה זו עוררה בי את ההבנה שניתן ואף צריך לצמצם את הקשיים הללו על ידי קידום התאמת שפת הסימנים הישראלית לשימוש רחב יותר גם בקרב האוכלוסייה הכללית. חוויה זו שימשה עבורי כמקור מוטיבציה משמעותי לפיתוח הפרויקט, שנועד להתאים את שפת הסימנים לכלל האוכלוסייה ולשפר את התקשורת בין אוכלוסיות שונות"
