Design and development of an accessible open-source augmented reality learning authoring tool for applications in agroecological settings

Abstract

Augmented Reality (AR) has emerged as a transformative educational technology, offering immersive, multisensory learning experiences that enhance engagement, conceptual understanding, and contextualization. In agroecology, where students must grasp complex ecological interactions and context-dependent knowledge, AR can bridge the gap between classroom instruction and field-based learning. However, the creation of AR content remains largely inaccessible to many educators in higher learning institutions (HLIs), particularly those without programming skills and individuals with disabilities such as the deaf and hard of hearing (DHH), and the blind and low vision (BLV). This dissertation addresses the central question: How can an accessible AR learning authoring tool enable non-technical educators and users with disabilities to create AR learning experiences for agroecology education in HLIs? To address this question, the study employed a design-based research (DBR) methodology, integrating Agile Scrum for iterative, inclusive tool development. Seven research questions (RQ1–RQ7) guided the investigation. First, a document-based analysis (RQ1) compared open-source software licenses (OSLs) to determine their suitability for academic–industry collaboration. Permissive licenses (e.g., MIT, BSD) were found to offer more flexibility in code reuse and integration, thereby promoting long-term project sustainability, although they require supplementary legal mechanisms to ensure reciprocity. Next, functional and non-functional software requirements (RQ2) were elicited through stakeholder workshops, interviews, surveys, and accessibility evaluations. These requirements informed the selection and redesign of MirageXR, an open-source AR platform. Key accessibility features were specified for DHH users, such as customizable captioning of audio augmentations, and for BLV users, such as voice navigation and spatial audio cues. These enhancements underscored the dual instructional and assistive roles of AR tools. In response to RQ3, a modular, component-based software architecture was designed using the C4 model. This enabled seamless integration of external services (e.g., 3D object repositories, learning management systems, and automatic speech recognition) and ensured that features could be added or updated without disrupting system stability. This modularity was essential given the evolving nature of AR technologies. The design and implementation phases (RQ4 & RQ5) employed participatory iterative prototyping with user feedback throughout the development process. Accessibility features were integrated into image, audio, and video augmentations, with functionalities such as caption editing, playback speed control, and 3D spatial positioning. These solutions directly addressed gaps in existing AR authoring tools, particularly for DHH and BLV users. The sixth research question (RQ6) investigated usability and applicability through an AR creation workshop involving 24 agroecology educators. Findings revealed that although participants initially encountered difficulties, they gained proficiency over time. UMUX scores showed a correlation between AR experience and perceived usefulness. Participants highlighted AR's potential to visualize complex concepts and engage students in experiential learning. However, limitations in 3D content availability and customization highlighted the need for integrated 3D content creation and editing tools specifically tailored to agroecology. To answer RQ7, the study conducted a systematic literature review of 60 studies to identify current accessibility evaluation methods in AR. Most evaluations employed task-based scenarios, utilizing metrics such as time on task, error rate, and user satisfaction. The study's own evaluation validated that DHH users could independently author AR content using the developed tool. In contrast, BLV users could navigate the authoring functionalities but were unable to fully author AR content, indicating that further design improvements and assistive functionalities are required for full inclusion. Methodologically, this study contributes a novel integration of DBR and Agile Scrum for inclusive educational technology design. This hybrid framework facilitated rapid prototyping, iterative refinement, and participatory co-design, and is recommended for broader application in accessibility-focused educational innovation. Future research should document and validate this methodological approach across additional contexts and user groups. The study makes the following contributions: (1) provision of an open-source, extensible AR authoring interfaces and codebase for public use; (2) improved AR accessibility for AR for DHH and BLV users; (3) development of modular architectural and algorithmic solutions to enable multimodal accessibility; (4) empirical validation of AR’s pedagogical value in agroecology education; and (5) identification of optimal open-source licensing models for collaborative educational software development. In sum, the findings demonstrate that an accessible, open-source AR authoring tool can empower diverse educators, including those with disabilities, to create inclusive and contextually relevant learning experiences. The research affirms the importance of universal design, participatory development, and modularity in educational technology design and concludes with strategic recommendations: integrating AI-assisted 3D content generation, expanding accessibility to additional user groups, and establishing communities of practice to support sustainable AR content development in agroecology.

Augmented Reality (AR) hat sich als transformative Bildungstechnologie etabliert und bietet immersive, multisensorische Lernerfahrungen, die Engagement, konzeptionelles Verständnis und Kontextualisierung fördern. In der Agrarökologie, wo Studierende komplexe ökologische Zusammenhänge und kontextabhängiges Wissen erfassen müssen, kann AR die Lücke zwischen Unterricht und praxisorientiertem Lernen schließen. Die Erstellung von AR-Inhalten ist jedoch für viele Lehrende an Hochschulen, insbesondere für Personen ohne Programmierkenntnisse und Menschen mit Behinderungen wie Gehörlosen und Schwerhörigen sowie Blinden und Sehbehinderten, weitgehend unzugänglich. Diese Dissertation befasst sich mit der zentralen Frage: Wie kann ein zugängliches AR-Lern-Authoring-Tool es nicht-technischen Lehrenden und Nutzern mit Behinderungen ermöglichen, AR-Lernerfahrungen für die Agrarökologie-Ausbildung an Hochschulen zu erstellen? Um diese Frage zu beantworten, verwendete die Studie eine designbasierte Forschungsmethodik (DBR) und integrierte Agile Scrum für eine iterative, inklusive Tool-Entwicklung. Sieben Forschungsfragen (RQ1–RQ7) leiteten die Untersuchung. Zunächst wurden in einer dokumentenbasierten Analyse (RQ1) Open-Source-Softwarelizenzen (OSLs) verglichen, um ihre Eignung für die Zusammenarbeit zwischen Wissenschaft und Industrie zu ermitteln. Freizügige Lizenzen (z. B. MIT, BSD) boten mehr Flexibilität bei der Wiederverwendung und Integration von Code und förderten so die langfristige Nachhaltigkeit von Projekten, erforderten jedoch zusätzliche rechtliche Mechanismen zur Gewährleistung der Gegenseitigkeit. Im Anschluss wurden funktionale und nicht-funktionale Softwareanforderungen (RQ2) durch Stakeholder-Workshops, Interviews, Umfragen und Barrierefreiheitsbewertungen ermittelt. Diese Anforderungen flossen in die Auswahl und Neugestaltung von MirageXR, einer Open-Source-AR-Plattform, ein. Wichtige Barrierefreiheitsfunktionen wurden für DHH-Nutzer, wie anpassbare Untertitelung von Audioerweiterungen, und für BLV-Nutzer, wie Sprachnavigation und räumliche Audiohinweise, spezifiziert. Diese Verbesserungen unterstrichen die duale Lehr- und Unterstützungsfunktion von AR-Tools. Als Reaktion auf RQ3 wurde eine modulare, komponentenbasierte Softwarearchitektur nach dem C4-Modell entwickelt. Dies ermöglichte die nahtlose Integration externer Dienste (z. B. 3D-Objekt-Repositories, Lernmanagementsysteme und automatische Spracherkennung) und stellte sicher, dass Funktionen hinzugefügt oder aktualisiert werden konnten, ohne die Systemstabilität zu beeinträchtigen. Diese Modularität war angesichts der Weiterentwicklung von AR-Technologien unerlässlich. In den Design- und Implementierungsphasen (RQ4 & RQ5) wurde partizipatives iteratives Prototyping mit Nutzerfeedback während des gesamten Entwicklungsprozesses eingesetzt. Barrierefreiheitsfunktionen wurden in Bild-, Audio- und Videoerweiterungen integriert, darunter Funktionen wie Untertitelbearbeitung, Steuerung der Wiedergabegeschwindigkeit und 3D-Raumpositionierung. Diese Lösungen adressierten gezielt Lücken in bestehenden AR-Authoring-Tools, insbesondere für DHH- und BLV-Nutzer. Die sechste Forschungsfrage (RQ6) untersuchte Benutzerfreundlichkeit und Anwendbarkeit im Rahmen eines AR-Erstellungsworkshops mit 24 Agrarökologie-Lehrkräften. Die Ergebnisse zeigten, dass die Teilnehmer zwar anfänglich Schwierigkeiten hatten, aber mit der Zeit ihre Kompetenzen verbesserten. UMUX-Werte zeigten eine Korrelation zwischen AR-Erfahrung und wahrgenommenem Nutzen. Die Teilnehmer betonten das Potenzial von AR, komplexe Konzepte zu visualisieren und Studierende in erfahrungsbasiertes Lernen einzubinden. Einschränkungen bei der Verfügbarkeit und Anpassung von 3D-Inhalten wiesen jedoch auf den Bedarf an integrierten, auf die Agrarökologie zugeschnittenen Tools zur Erstellung und Bearbeitung von 3D-Inhalten hin. Zur Beantwortung von RQ7 führte die Studie eine systematische Literaturrecherche von 60 Studien durch, um aktuelle Methoden zur Bewertung der Barrierefreiheit in AR zu identifizieren. Die meisten Evaluationen verwendeten aufgabenbasierte Szenarien mit Kennzahlen wie Bearbeitungszeit, Fehlerquote und Nutzerzufriedenheit. Die studieneigene Evaluation bestätigte, dass DHH-Nutzer mit dem entwickelten Tool selbstständig AR-Inhalte erstellen konnten. Im Gegensatz dazu konnten BLV-Nutzer zwar die Authoring-Funktionen nutzen, waren aber nicht in der Lage, AR-Inhalte vollständig zu erstellen. Dies deutet darauf hin, dass weitere Designverbesserungen und unterstützende Funktionen für eine vollständige Inklusion erforderlich sind. Methodisch trägt diese Studie zu einer neuartigen Integration von DBR und Agile Scrum für die inklusive Gestaltung von Bildungstechnologien bei. Dieses hybride Framework ermöglichte schnelles Prototyping, iterative Verfeinerung und partizipatives Co-Design und wird für eine breitere Anwendung in barrierefreien Bildungsinnovationen empfohlen. Zukünftige Forschung sollte diesen methodischen Ansatz in weiteren Kontexten und Nutzergruppen dokumentieren und validieren. Die Studie leistet folgende Beiträge: (1) Identifizierung optimaler Open-Source-Lizenzmodelle für die kollaborative Entwicklung von Bildungssoftware; (2) Spezifikation detaillierter Barrierefreiheitsanforderungen für AR-Authoring-Tools zur Unterstützung von DHH- und BLV-Nutzern; (3) Entwicklung modularer Architektur- und Algorithmuslösungen zur Ermöglichung multimodaler Barrierefreiheit; (4) empirische Validierung des pädagogischen Werts von AR in der agrarökologischen Ausbildung; und (5) Bereitstellung eines quelloffenen, erweiterbaren AR-Authoring-Tools und einer Codebasis für die öffentliche Nutzung. Zusammenfassend zeigen die Ergebnisse, dass ein barrierefreies Open-Source-AR-Authoring-Tool vielfältige Lehrkräfte, einschließlich Menschen mit Behinderungen, befähigen kann, inklusive und kontextrelevante Lernerfahrungen zu schaffen. Die Studie unterstreicht die Bedeutung von universellem Design, partizipativer Entwicklung und Modularität bei der Gestaltung von Bildungstechnologien und schließt mit strategischen Empfehlungen: Integration KI-gestützter 3D-Inhaltsgenerierung, Ausweitung der Zugänglichkeit für zusätzliche Nutzergruppen und Aufbau von Communities of Practice zur Unterstützung der nachhaltigen AR-Inhaltsentwicklung in der Agrarökologie.