📚어린이를 위한 AR기반 한글교육 동화책 (최종)📚

1. 문제 정의

  초등학생 이상을 대상으로 하는 비대면 온라인 교육 플랫폼의 사용이 증가하고 있으나, 상대적으로 취학 전 유·아동을 대상으로 하는 비대면 교육 콘텐츠는 부족한 실정이다. 또한 유·아동 콘텐츠의 경우 단방향 콘텐츠가 대부분으로 참여형 콘텐츠는 부족한 편이며, 대표적인 참여형 콘텐츠인 AR 교육 컨텐츠의 대부분이 해외에서 만들어져 국내 콘텐츠의 수가 매우 적다.

 

2. 관련 연구/서비스/시스템 조사 결과 및 한계점

* 부가적인 장치(HMD, 마그네틱 트래커 등) 필요

* 종이책을 재 접착풀을 이용하여 떼었다 붙였다 하는 번거로움

* 사용연령이 3-4세이지만 City라는 단어를 이미지를 통해 이해하는데 한계가 있음 

* 한국어 동화책이 없음

* 영어 단어 학습 게임이 있으나 동화책 읽기 부분과 분리되어 있어서 문맥속에서 자연스러운 단어 학습 불가. 상호작용이 부족함

* 책 넘기기 기능 등 UX가 불편하여 아이들이 사용하기 어려움

* 단어를 응용하여 문장을 만들 때 그림, 상황 등 문장에 대한 설명이 부족함

→ 부가적인 장치가 필요없는 AR 동화책

→ 한글을 배우기 시작하는 아이들의 수준에 맞는 단어 중심 AR 동화책

→ 간단한 기능 조작을 통해 아이들이 혼자 학습할 수 있고, 동화 속 상황과 함께 상호작용하면서 상상력을 키울 수 있는 AR동화책

→ 직관성이 좋은 미니게임을 제작하여 아이들의 학습에 도움을 줄 수 있는 AR 동화책

 

3. 제안 내용

<유·아동을 대상으로 하는 참여형 AR 한글 교육 콘텐츠>

  미취학 어린이를 위한 AR 기반 한글교육 동화책을 제안한다. 직접 참여할 수 있는 AR 동화책과 미니게임 콘텐츠를 통해 동화를 즐기고 한글을 배울 수 있도록 한다.

 

4. 요구사항 정의

 

5. 동화책 구성 및 내용

AR 동화 - 'ㄱ' 학습 동화 [나는 곰, 꿀을 찾아줘!]

[1-2페이지]

곰 등장

해설: 배꽃 마을에 곰이 살고 있었어요.

곰 : 배고파! 꿀이 어디있지?? 꿀을 찾아 떠나볼까??

[3-4페이지]

곰 : "꿀을 어디에 담아와야 할까?" "가방에 담아와겠다!" "꿀을 담아올 가방을 골라줘!"

동화 속 게임 1) 가방을 고르는 미니게임 (보기 : 가방 / 공 / 가위)

"가방을 골라줘서 고마워!"

[5-6페이지]

해설: 곰이 가방을 메고 출발해요!

[7-8페이지]

곰이 기린을 만남

해설: 꿀을 찾으러 떠난 곰은 기린을 만났어요.

곰 : "기린아, 꿀이 어디 있는지 아니?"

기린: "기차를 타고 달콤마을로 가봐."

동화 속 게임 2) 기차 단어 완성하기 미니게임

(ㄱ, ㅣ, ㅊ, ㅏ 자음, 모음 순서대로 조합하여 단어 완성)

[9-10페이지]

해설: 기차를 타고 달콤마을로 떠나볼까요? 도착

[11-12페이지]

해설: 드디어 달콤마을에 도착했어요!

곰: "우와, 꿀이다!"

[13-14페이지]

곰이 꿀을 먹으며 인사

해설: 꿀을 찾은 아기곰은 맛있게 꿀을 먹고 있어요.

곰 : 꿀을 찾게 도와줘서 고마워!!

[단어복습, 마무리 게임]

복습게임 1) 소리를 듣고 알맞은 단어를 맞추는 게임

복습게임2) 동화책에서 나온 'ㄱ' 으로 시작하는 단어들을 따라 써보는 게임

 

6. 실물동화책

 

 

7. Asset

- AR 동화책을 제작하기 위해 필요한 여러 asset들을 Blender를 이용하여 직접 제작하였다.

- Asset 제작을 위해 사용한 기초 기술들은 이전 게시글에 정리해두었다.

https://tnrud-e.tistory.com/8?category=923724 

[Blender] 3D 가방 ASSET 제작 - 1

https://tnrud-e.tistory.com/9

[Blender] 3D 가방 ASSET 제작 - 2

 

< 곰 (주인공) >

곰 (정면)

곰 (측면)

 

< 기린 >

기린 (정면)

기린 (측면)

 

< 기차 + 곰 >

- 곰이 다른 마을로 이동하기 위해 기차를 탄 모습

 

< 꿀 >

 

< 기타 Asset>

- 이 외에도 배경(숲)을 꾸미기 위한 다양한 Asset을 제작하였다.

새, 벌, 나무, 꽃

 

8. Asset Animation

Blender을 통해 제작한 Asset에 Animation을 넣어 해당 Asset이 움직일 수 있도록 한다.

< 벌 >

벌을 간단한 예시로 볼 수 있는데, 벌이 나는 것처럼 날개를 움직이도록 Animation을 제작하려 한다.

 

1) 뼈대 심어주기

- Add (Ctrl+A) → Armature 선택

- Viewport Display → Show (InFront)를 선택하면 해당 Asset 위로 Armature를 보이게 할 수 있다.

- Edit Mode로 변경 후, Animation을 실행하고자 하는 모든 도형에 뼈대를 심어준다.

- Shift+A를 이용하여 새로운 Armature를 추가할 수 있다.

- Shift+D를 이용하여 해당 Armature와 동일한 Armature를 생성(복사)할 수 있다.

Armature 위치, 크기 조절 방법 - 회전 : 해당 Armature 선택 후, 키보드 R - 크기 조절 : 해당 Armature 선택 후, 키보드 S - 이동 : 해당 Armature 선택 후, 키보드 G

- Armature를 날개 크기에 맞춰 크기 조절 및 회전

     → Shift+D를 이용하여 Armature 복사 (X축과 평행하게 복사하고 싶은 경우 Shift+D+X)

     → 마우스 오른쪽 버튼 - Mirror (X Global)

 

2) Armature와 도형 연결하기

- Armature를 통해 움직이고자 하는 물체와 Armature를 연결해주는 과정이 필요하다.

- Armature와 물체를 Shift 키를 이용하여 동시에 선택한 뒤,

     - Ctrl+P - Armature Deform With Automatic Weights 선택

- Pose Mode로 변경 후,

     - Armature를 회전, 이동시키며 벌의 날개가 움직이는지 확인한다.

Armature와 도형이 제대로 연결되었다면 Armature만 이동시켜도 도형이 함께 이동해야 한다.

 

3) Animation (Keyframe) 지정

- 날개를 움직이기 위해서는 두 종류의 Key만 지정해주면 된다. (날개의 끝이 앞을 향하는 경우, 뒤를 향하는 경우)

- 원하는 방향으로 R, G 키를 이용하여 Armature를 변경한다.

- 각 0, 5 위치에 이동시킨 후 Keyframe을 입력해준다.

- Keyframe 입력 방법 : Armature 선택 - 키보드 I - Location, Rotation, Scale 선택

- Animation 시작, 종료 지점 설정

- Keyframe 복사

     - 0, 5 시점에 Keyframe을 입력했다면 각 Keyframe을 선택한 뒤 복사(Ctrl+C)한다.

     - 붙여넣고자 하는 시점으로 이동시킨 뒤 붙여넣기(Ctrl+V)한다.

     - 시점을 이동시키면서 계속적으로 Keyframe을 복사, 붙여넣기할 수 있다.

 

벌 애니메이션 실행 결과

 

Asset Animation 지정 방법 1) 뼈대(Armature) 심기 2) Armature와 도형 연결하기 3) Animation(Keyframe) 지정

 

< 곰 >

앞서 설명한 벌에서와 같이 곰에도 뼈대를 심어주고, 애니메이션을 지정하면 여러 모습의 곰을 만들 수 있다.

 

 

9. Vuforia - License Manager, Target Manager 설정

1) License Manager

 

2) Target Manager

 

10. Unity - Image Target

- Unity에서 해당 페이지 위에 Asset을 넣어 Image Target하는 과정

- 이 과정을 통해 카메라로 동화책을 비추었을 때 AR 동화책 재생이 가능하다.

- 각 페이지에서 해당 페이지의 대사를 출력하도록 설정하였다.

 

11. Unity - 게임

1) 게임 1. 제시된 그림 중에서 가방 고르기

- 동화 속에서 곰이 꿀을 가져오기 위해 필요한 가방을 고르는 게임

[구현 기능]

1. 가방을 고른 경우 : "가방을 찾아줘서 고마워!" 페이지 이동한 뒤, 동화책으로 돌아가기 버튼을 클릭하면 동화책으로 이동

2. 가위, 공을 고른 경우 : "가방을 다시 찾아줘!" 페이지로 이동한 뒤, 게임으로 돌아가기 버튼을 클릭하면 이전 페이지로 이동

[게임 설명]

1. 게임 시작 화면

   - 가방, 가위, 공 중 가방을 고를 수 있도록 유도

2. 1에서 가방을 고른 경우

   - "가방을 찾아줘서 고마워!" 페이지 이동

   - "동화책으로 돌아가기" 버튼 누르면 동화책으로 이동

3. 1에서 가위, 공을 고른 경우

   - "가방을 다시 찾아줘!" 페이지 이

   - "게임으로 돌아가기" 버튼을 클릭하면 가방을 고르는 이전 페이지로 이동

 

2) 게임2. 자음, 모음 조합하여 단어 완성하기

- 동화 속에서 곰이 달콤마을로 갈 이동수단인 기차를 타기 위해 각 자음 모음을 조합하여 "기차"를 완성하는 게임

[구현 기능]

1. 자음 모음을 순서에 맞게 입력하지 않은 경우 효과음 출력 및 다시 풀 수 있는 기회 제공

2. 단어를 완성한 경우 기차 그림 페이지로 이동

3. "동화책으로 돌아가기" 버튼을 누른 경우, 동화책 페이지로 이동

[게임 설명]

1. 기차 그림이 주어지면 자음, 모음을 조합하여 기차 단어 만들기

2. 자음 모음을 순서에 맞게 완성하지 못한 경우 효과음 출력

3. 자음 모음을 순서에 맞게 찾는 경우 효과음 출력

4. 순서에 맞게 완성한 경우 기차 그림 페이지로 이동

   - "동화책으로 돌아가기" 버튼을 누른 경우, 동화책 페이지로 이동

 

3) 게임3. 소리를 듣고 알맞은 단어 고르기

- 동화책에서 배운 'ㄱ' 단어들을 복습하는 게임

- 소리를 듣고 단어카드 중 알맞은 단어를 찾는 게임

[구현 기능]

1. 알맞은 단어를 고른 경우 : 정답 페이지로 넘어가 asset과 함께 단어 카드를 볼 수 있음. 

2. 단어를 잘못 고른 경우 : 안내 음성과 함께 게임에 다시 도전할 수 있도록 유도

[게임 설명]

1. 소리를 듣고 알맞은 단어 카드를 찾는 게임

   -  스피커 모양의 버튼을 누르면 다시 들을 수 있음

2. 단어를 잘못 고른 경우

   - 안내 음성과 함께 게임에 다시 도전할 수 있도록 유도

3. 알맞은 단어를 고른 경우

   - 정답 페이지로 넘어가 asset과 함께 단어 카드를 볼 수 있음. 

   - 각 단어 카드를 누르면 해당 단어의 음성을 들을 수 있음.

 

4) 게임4. 글자 따라쓰기

- 'ㄱ' 학습 동화 속에서 배운 'ㄱ' 단어들을 따라쓰면서 복습하는 게임

[구현 기능]

1. 화면 이동 버튼을 통한 이전/다음 단어로 이동 (단어 종류 : 곰/꿀/공/기차/가방/기린)

2. 획순에 따라 바르게 글자를 썼을 경우 색 변화 효과 및 효과음 출력

3. 획순에 따라 바르게 글자를 썼을 경우 다양한 독려 문구 출력

[게임 설명]

1. 화면 이동 버튼을 통한 이전/다음 단어로 이동

   - 단어 종류 : 곰/꿀/공/기차/가방/기린

2. 획순에 따라 바르게 글자를 썼을 경우 색 변화 효과 및 효과음 출력

   - 획순에 따라 바르게 글자를 쓴 경우, 획순을 알려주는 버튼 색상 : 빨간색 → 회색

   - 획순에 따라 바르게 글자를 쓴 경우, 효과음 출력

   - 먼저, 스크린(화면) 위에 마우스 혹은 손가락을 이용하여 글자를 쓸 수 있도록 코드를 작성한다.

   - 마우스 위치에 따라 Line이 출력되도록 작성한다. 

스크린에 마우스(컴퓨터) 또는 손가락(휴대폰)으로 글자를 적기 위해 작성한 코드

   - 글자에서 각 획순을 의미하는 도형의 이름을 각각 획순에 따라 지정한다 (첫번째 획 = 1, ... )

   - 마우스 (손가락)로 순서에 맞는 도형을 클릭하면 효과음과 잘했다라는 의미의 문구를 출력한다.

   - 순서에 맞지 않은 도형을 크릭하면 틀렸다는 효과음과 함께 "다시 해볼까?"라는 문구를 출력한다. 잠시 기다린 다음 해당 씬을 다시 실행한다.

마우스로 클릭하면 물체의 색상을 변화시키고, 정답일 때와 오답일 때 각각의 문구 출력하기 위해 작성한 코드

3. 획순에 따라 바르게 글자를 썼을 경우 다양한 독려 문구 출력

    - "좋아!", "잘했어!", "맞아!", "잘하고 있어!" 등

 

12. Unity 통합

- 지난 학기에 유니티 내에서 씬 전환 및 안드로이드 빌드에 대한 내용을 알아보았다.

- 동일한 기술을 이용하여 동화책 페이지를 연결하고, 안드로이드 앱으로 빌드하는 과정을 진행하였다.

 

https://tnrud-e.tistory.com/5

 

[Unity] [Vuforia] Unity Scene 전환

https://tnrud-e.tistory.com/6

[Unity] [Vuforia] Android Build

 

13. 기대효과

 

  온라인 환경에 익숙한 디지털 네이티브 세대에서 e-러닝이 익숙하게 자리잡던 중, 코로나 19로 인해 온라인 교육과 비대면 원격 교육은 피할 수 없는 일이 되었다. 에듀테크 분야에서는 코로나 확산이 끝나더라도 온라인, 언택트 교육 방식은 지속될 것으로 예상하고 있다. 그 중에서도 VR, AR은 아이들에게 실감나는 교육을 할 수 있는 방식으로 주목을 받았고, 활용 분야가 넓어지고 있다. 구글 플레이스토어, 앱스토어에서 어린이를 위한 AR 교육 콘텐츠를 찾아보면 대부분이 해외 콘텐츠로 한국에서 만들어진 콘텐츠는 매우 적고, 유명한 한국의 콘텐츠들도 대부분이 영어 교육용이다. 또한, 앞서 살펴본 바와 같이 한국에서 만들어진 한글 콘텐츠도 직관성이나 조작면에서 아이들이 혼자 사용하기에 불편하다. 본 프로젝트에서는 아이들이 혼자 조작하기 편리한 AR 한글 교육 동화책을 만들어 동화책을 통해 자연스러운 방법으로 언어를 체득하고, AR을 이용한 상호작용 콘텐츠를 통해 학습에 즐거움과 몰입감을 줄 것으로 기대된다. 본 프로젝트는 한국에서 만들어진 한글 콘텐츠는 차별성을 줄 수 있고 참여형 방식으로 한글 교육을 경험하게 해 준다는 점에서 의의가 있다.

[기대효과] - 실물 동화책을 통해 자연스러운 방법으로 언어 체득 - 직관적이고 간단한 조작법을 통해 스스로 학습 - 유아동 대상 비대면 교육 콘텐츠 부족 해결 - 유아동 대상 AR 기반 한글교육 콘텐츠 부족 해결 - 유아동 콘텐츠의 단방향성 해결 → 즐거움, 몰입감

 

[프로젝트의 확장성] - 'ㄱ, ㄴ, ㄷ ...' 한글 교육 시리즈로 발전 가능 - 영어, 숫자, 제2외국어 등 다양한 분야, 초등학생, 노인 등 다양한 연령대의 교육용 콘텐츠로 확장 가능

 

14. 저작권 등록

<저작권 등록 완료>