1. 연세 넥슨 √i RC 창의플랫폼 이란?
연세대학교에는 Residential College (RC)라는 프로그램이 있다. 모든 신입생이 RC 교육을 받으며 선배가 만든 수업을 듣거나 다양한 기숙사 내에서 할 수 있는 활동을 하게 된다. 그중 하나가 창의플랫폼이다. 연세대에서 1학년이 참여할 수 있는 교내 대회 중 가장 큰 대회이며 1년 동안 진행된다. 넥슨 코리아의 후원 하에 실생활이나 지역사회 또는 인류의 문제를 찾고 그 문제를 창의적으로 해결하는 대회이다.
글쓴이는 2024년 창의플랫폼에서 YeYa 팀을 이끌어 최우수상을 수상했다. 그 여정을 이번 글에서 공유하고자 한다.
2. 팀 구성까지의 과정
2.1 창의플랫폼의 밤 - 4월
4월 초에 진행되는 창의플랫폼의 밤에서 창플에 관심있는 친구들을 만나고 팀을 꾸릴 수도 있다. 피자, 맥주, 음료수도 제공해서 자유롭고 즐겁게 네트워킹을 할 수 있는 시간이었다. 이곳에서 지금도 연락하고 있는 중국인 친구도 처음으로 만나게 되었다. 창플에 관심이 있거나 관심이 없어도 좋은 인연을 만날 수 있으니 꼭 가보는 것을 추천한다.
이곳에서 나와 맞는 사람을 한 명 알게 되어 1차적으로 팀이 결성되었다. 그러나 이후 한 번 아이디어 회의를 했는데 그분께서는 매우 비현실적이고 구현하기 어려운 솔루션만 계속 말씀하셔서 나와 핏이 안 맞음을 느끼고 서로 헤어지게 되었다.
2.2 RC 하우스 단톡방 - 5월
하우스 단톡방에 팀원을 구하는 글이 자주 올라오기도 하고 직접 보낼 수도 있다. 사실 글을 쓰는 시점이 1년이 지나고 적는 거라 정확히 언제 어떻게 팀이 만들어졌는지는 모르겠지만 아마 이때 2명을 구해서 3명 팀이 되었던 것 같다. 초기에는 만나서 회의를 할 때 어떤 문제를 푸는 것이 좋을지를 주로 의논했다. 각자 여러 의견이 나오기는 했지만 11월까지 만들기만 하면 되다 보니 다들 그 시간에 대한 여유 때문에 제대로 시작하지 않는 것이 현실이었다.
2.3. 팀원 5명의 이탈 - 7월
그동안 시간이 많이 흘렀다. 24.5학점을 듣느라 바쁜 것도 있었고 아직 시간적 여유가 있다는 생각에 만나기가 쉽지 않았다. 그렇게 여름방학이 되었다. 이제 시간이 생겼고 제대로 해봐야겠다는 생각이 들었다. 내가 원래 가지고 있던 아이디어가 YeYa의 시작이었다.
외할머니든 부모님이든 나에게 자꾸 휴대폰 사용법과 관련된 도움을 요청하신다. 예를 들어 기차표 예매는 어떻게 하는지, 연락처 저장은 어떻게 하는지, 카카오톡 메시지는 어떻게 보낼 수 있는지 물어보신다. 그럴 때마다 전화로 설명을 하거나 원격조종을 해서 알려주는데 쉽지가 않다. 전화로 도와주기에는 시니어가 화면에 대한 설명을 잘 못하고 나도 화면을 못 봐서 답답하다. 그렇다고 원격조종을 하기에는 원격조종 앱을 설치를 해둬도 나중에 연결하는데 소통이 잘 안 되어 시간이 매우 오래 걸린다.
24년 여름에 또 핫했던 기술이 AI Agent였다. 스스로 작업을 수행하는 AI를 보고 나도 한 번 만들어보고 싶다는 생각이 들었는데 이 2가지 경험을 합쳐서 스마트폰 조작을 돕는 AI 손주를 만들면 좋겠다고 느꼈다. 그때 내가 인스타그램에서 숏폼 컨텐츠를 만들다보니 나에게 DM으로 창플을 같이 해보자고 한 친구도 있었고 캠퍼스에서 드론을 날리다 나를 알아본 친구도 합류해서 어쩌다 팀원이 7명이 되었다. 팀원들이 각자 아이디어가 조금씩 있기는 했는데 아직 구체화된 것은 전혀 없었다. 그렇다고 자주 만나지도 않았다.
이러다가는 아무것도 안 되겠다는 생각과 한 번 나 혼자 만들어보고 싶다는 생각에 프로토타입을 만들었다.
기초 개념은 이랬다. 가장 만들고 싶다고 느낀 것과 동시에 필요하다고 느낀 것이 AI가 화면을 읽고 직접 조작을 대신 해줬으면 했다. 그러기 위해서는 여러가지가 필요한데 가장 중요한 것은 어떻게 화면을 읽을지 였다. 이미지 캡쳐 방식은 정확히 어느 UI가 어느 위치에 있으며 각 UI가 무엇을 수행할 수 있는지 알기 어렵다. 그래서 생각한 거것은 TalkBack이라는 개념이었다. 시각장애인이 스마트폰을 사용할 때 화면을 문지르면 UI별로 이름이 뭔지, 어떤 작업을 수행할 수 있는지 말로 설명해준다. 이 정보를 접근성서비스를 통해 가져오고 텍스트로 만들어 음성인식 결과를 Claude에게 api로 전송한다. 이후 답변에서 몇 번째 UI를 클릭하면 될지를 통해 실제 조작을 수행시킨다.
2일 정도 만들었는데 잘 될 줄 전혀 몰랐지만 꽤나 잘 되길래 정말 놀라웠다. 이 결과를 팀 단톡방에 보내고 잘 되는데 이 아이디어로 하는 게 어떻냐고 물었다. 나는 개발을 하고 다른 팀원은 인터뷰를 하는 식으로 역할을 나눴고 실제 인터뷰도 진행했다.
사실 이때 내가 팀장이 아니라 다른 친구가 팀장이었는데 내가 주도하는 분위기로 흘러가자 나에게 팀장을 맡기고 팀을 나가버렸다. 아마도 자신이 만들고 싶은게 아닐 뿐더러 창플 자체에 대한 의욕이 떨어져서 그랬던 것 같다. 이후 다른 4명도 비슷한 이유로 나가게 되었다.
결국 아이러니하게도 나 혼자 팀에 남게 되었다.
2.4. 에브리타임을 통한 모집 - 9월
학교 생활에 익숙해지면서 과 동기 중 나와 가장 잘 맞는 친구가 생겼는데 장지훈이었다. 지훈이한테 이런걸 만들고 있는데 같이 해보는 게 어떻냐고 설득했다. 처음에는 그리 하고 싶어하진 않는 눈빛이었지만 상금도 탈 수 있고 창작 자체가 재밌을 거라는 이유로 설득하여 내 편에 서게 했다.
그렇게 3차적으로 팀이 만들어져 2인 팀이 되었다. 사실 이렇게만으로도 할 수 있을 것 같다고 느끼긴 했는데 여러 차례 창플 멘토링을 받으며 팀원이 좀 더 있으면 좋겠다고 느꼈다. 과거 우승한 선배들께서 멘토링을 해주시며 팁과 노하우를 전수해주셨는데 혼자 하기는 어려워보여서였다. 기본적으로 수치적인 성과와 개선점을 중요시하기 때문에 대면 인터뷰 및 설문이 꼭 필요한 상황이다. 개발을 하면서 인터뷰까지 하기는 어려워 실험 및 인터뷰를 잘 할 줄 아는 사람을 뽑기로 결정했다.
위와 같이 에브리타임에 홍보 글을 작성했다. 개발은 어느 정도 코어가 잡혔고 리서치를 잘 할 수 있는 사람을 모집했다. 그 결과 4명이 지원했는데 면접을 해보니 1명은 별로고 나머지 3분은 모두 각자 능력이 있으셔서 모두 영입하기로 했다.
이렇게 4차 팀 결성이 되었고 이대로 본선 발표까지 쭉 가게 되었다. 팀을 이루는데만 거의 8명은 들어왔다가 나간 것 같다. 작년 일이기도 하고 짧게 봐서 정확히 어떻게 만났고 떠났는지 세세히는 기억이 안 나지만 최종적으로 만들어진 팀원과는 아직도 연락하며 지낸다.
3. 여러 피버팅과 개발 완성 - 10월
3.1. 콜 기능의 폐기
새로 팀원이 만들어지고 나서 여러 차례 회의를 했다. 주요 안건으로는 현재 만들어진 기능을 어떻게 보완할지였다. 2가지 기능이 있었는데
첫 번째는 초기부터 계속 이어 개발한 도우미 기능이다. 버튼을 짧게 누르면 음성인식이 되고 기능을 수행해준다.
두 번째 기능은 버튼을 길게 누르면 원격 조종 및 영상 통화를 할 수 있게 만들었다. 이걸 만든 이유는 아무리 AI가 돕는다 하더라도 잘 안 되는 부분이 있어서 원격조종을 써야 하는 경우가 생기는데 Anydesk나 Teamviewer 같은 다른 원격 조종은 연결하는데 핀 번호가 필요하고 앱을 찾고 들어가는 등 여러 과정이 복잡하기 때문이다. 그래서 한 번만 설치하면 아주 쉽게 연결 되게 했다.
사실 콜 기능에는 여러 문제가 있었는데 가장 큰 것은 최적화를 못해서 원격 조종과 영상 통화 2가지가 한 번에 원활하게 작동하지 않았다는 것이다.
또한 회의를 하며 팀원이 지적해준 것은 일단 기능을 2개로 하면 이해하기 어려워 임팩트가 떨어지기도 하고 콜 기능이 다른 원격조종 서비스와 기능적으로 매우 크게 다른 점은 없다는 것이다. 피버팅을 결정하게 된 가장 큰 이유는 콜 기능의 존재 이유가 AI 손주의 불완전성 때문인데 콜 기능이 있음으로써 도우미 기능의 약점이 두드러진다는 것이다.
이런 이유로 콜 기능은 완전히 버리고 AI 손주 기능을 보다 강화시키기로 했다.
그 밖에 시니어가 터치 자체를 잘 못한다는 자체 설문 결과를 보고 아예 볼륨 버튼과 전원 버튼으로만 휴대폰을 조작해서 옛날 피쳐폰처럼 조작할 수 있게 하는 아이디어도 떠올랐지만 이것 역시 AI 손주가 잘 되기만 한다면 불필요한 기능이라고 판단했다.
3.2. 학습 효과 기능 강화
그렇다면 어떻게 AI 손주 기능을 강화시킬까가 다음 문제였다. 일단 UI UX 측면에서 AI가 어떤 조작을 하는지 보다 시각적으로 잘 드러나게 했다.
위 1분 24초 부분이 최종 완성본이다. 음성 인식 결과가 실시간으로 보이게 했고 AI가 어디를 어떻게 조작했는지 드러나게 했다. 사실 이 기능을 개발하는게 창보고 전시회라는 예선 전시 행사 전의 주말까지 이어서 만들어낸 것이었다. 거의 8월부터 제대로 시작했다보니 시간이 많지 않았다.
3.3. 항시 음성인식
자체 설문 조사 및 인터뷰를 하면서 알게 된 사실이 있다. 처음에는 도와줘 버튼이 있었고 이걸 누르고 나서 말을 해야했다. 그런데 매우 흔하게 버튼을 안 누르고 말하거나 버튼을 누르자마자 말하거나 버튼을 누르고 한참 뒤에 말을 해서 제대로 인식이 안 되는 문제였다.
그래서 아예 버튼을 안 누르게 하는게 좋겠다고 느꼈다. 그렇다고 시리, 빅스비처럼 시리야~하고 부르게 하지도 않으면서 말이다. 시리야~ 하이빅스비~ 오케이구글~ 이렇게 부르는 것 자체를 시니어가 잘 하지 못했기 때문이다.
그래서 항상 음성인식을 수행하고 그 결과를 AI에게 전달해서 자신을 부르거나 작업 수행을 요청했을 때만 응답하도록 하는 기능을 만들었다. 사실 그렇게 엄청 잘 되지는 않는게 가끔 부르지 않고 다른 사람이랑 대화할 때도 인식되는 경우가 있었다. 그래서 차라리 AI 손주에게 전화하는 형식으로 만드는게 더 좋아 보였다.
3.4. 피싱 사기 예방
팀원 중 한 명이 제안한 아이디어인데 도우미만 두기에는 시리나 빅스비 같은 다른 음성 비서와의 차별점이 너무 적다고 느껴 피싱 사기 예방 기능도 있으면 좋겠다는 의견을 제시했다. 안 그래도 화면을 잘 인식하기 때문에 화면 인식을 매 5초마다 인식하고 api를 호출해서 관련 위험이 있는지 물어보는 식으로 구현했고 의외로 잘 동작했다. 아래 영상 3분 12초 부근에서 완성 결과를 볼 수 있다.
이 기능도 전시회 전주에 의견이 나와서 부랴부랴 급하게 만들었다.
전체 소스코드는 약 7,500줄 정도 된다. 이때는 되게 많이 짰다고 느꼈는데 지금 보니 굉장히 적은 코드인 것 같다. ㅋㅋㅋㅋㅋㅋㅋㅋ
4. 설문조사, 인터뷰, 자료조사
문제인식에서 얼마나 많은 자료 조사를 했는지, 얼마나 문제가 심각하고 수치적으로 문제가 얼마나 심각한지, 그 문제가 수치적으로 얼마나 개선이 됐는지를 보이는 것이 매우 중요하다. 그래서 개발을 시작하기 전인 8월부터 설문조사를 했고 에브리타임, 지인 소개, 여러 단톡방을 통해 77명의 자녀 세대에게 설문 조사를 진행했다. 또한 송도노인복지관을 찾아가서 26명의 시니어분들께 완성된 YeYa를 직접 사용하게 하고 반응을 살펴보기도 했다
설문조사는 아래와 같이 진행했고
본인의 나이가 어떻게 되세요? (ex 20) | 본인의 성별이 어떻게 되세요? | 주변의 가까운 지인이 스마트폰 사용을 어려워해서 당신께 도움을 요청하여 스마트폰 사용을 도와준 경험이 있나요? (ex 가족, 친척, 길 가는 사람 등) | 당신께 도움을 요청한 사람이 있다면 어떤 사람인지 모두 선택해주세요 | 도움을 요청한 사람 중 가장 많이 요청한 사람의 나이를 알려주세요 (정확히 모르겠다면 40, 50, 60 등으로 십의 단위로 대략적인 나이를 알려주세요) | 도움을 요청한 사람 중 가장 많이 요청한 사람의 성별을 알려주세요 | 도움을 요청한 사람 중 가장 많이 요청한 사람은 어떤 분인지 선택해주세요 | 그 분은 어떤 스마트폰을 사용하시나요? | 그 분이 사용하는 스마트폰 외의 다른 전자기기를 모두 골라주세요 | 지금까지 당신에게 도움을 요청한 사람이 있다면 어떤 도움을 요청했는지 모두 골라주세요 | 당신이 그 분의 스마트폰 조작을 도와줄 땐 어떻게 도와주는지 모두 골라주세요 | 당신이 그 분을 도와주며 겪은 어려운 점을 모두 골라주세요 | 위의 YeYa 도우미가 상대방의 스마트폰 조작에 도움이 될 것 같나요? | 위와 같이 답한 이유는 무엇인지 모두 골라주세요 | 위와 같이 답한 이유는 무엇인지 모두 골라주세요 | 위의 YeYa 콜이 상대방의 스마트폰 조작에 도움이 될 것 같나요? | 위와 같이 답한 이유는 무엇인지 모두 골라주세요 | 위와 같이 답한 이유는 무엇인지 모두 골라주세요 | YeYa 앱 중 어떤 기능이 더 유용하여 많이 사용할 것 같나요? | YeYa 앱이 출시한다면 사용할 의향이 있나요? | YeYa 앱이 월 구독료로 비용을 청구한다면 매월 얼마까지 지불했을 때 사용할 의향이 있나요? ('0'이라고 입력시 무료일 때만 사용) | 고령층이 YeYa를 부르는 방법으로 적절한 것을 모두 골라주세요 | YeYa 앱의 개선할 점이나 우려되는 사항이 있다면 자유롭게 알려주세요 |
20 | 남자 | 네 | 부모님, 조부모님 (할머니, 할아버지), 그 외 친척, 낯선 사람 | 60 | 여성 | 부모님 | 삼성 갤럭시 | TV, 컴퓨터 (데스크탑, 노트북) | 밝기, 소리, 와이파이, 블루투스, GPS, 손전등 등 기본 설정 기능 조작법, 전화를 하거나 연락처에 번호를 추가하는 방법, 메시지나 카카오톡 전송을 하는 방법, 글자를 복사, 붙여넣기 하거나 저장하는 방법, 앱을 설치하거나 삭제하는 방법, 회원가입이나 로그인과 관련된 요청, 온라인 쇼핑이나 구독료 결제 수단을 관리하는 방법, 스마트폰이 고장났거나 작동되지 않아 고쳐달라는 요청, 무선 이어폰 연결, 충전하는 방법 등 스마트폰 외의 장치 사용에 관한 요청 | 전화를 하며 설명, 영상통화를 하며 설명, 문자나 카카오톡으로 조작 방법을 글로 전달, 직접 만나서 본인이 직접 조작하며 설명 | 상대방이 스마트폰의 조작법 (클릭, 길게 누르기, 드래그, 스크롤 등) 자체를 아예 몰라 설명을 해줘도 올바르게 수행하지 못한다, 상대방이 스마트폰의 UI 요소 (닫기, 공유, 복사, 더보기 등) 자체를 아예 몰라 설명을 해줘도 올바르게 수행하지 못한다, 상대방 스마트폰 화면을 못 보니 진행상황을 몰라 답답하다, 상대방이 자신의 아이디나 비밀번호를 까먹어서 계정을 찾을 수 없다 | 도움이 될 것 같다 | 고령층이 충분히 스스로 기능을 이용할 수 있을 것 같다, 빅스비, 시리와 달리 기본 앱뿐만 아니라 서드파티 앱과 웹 브라우저에서도 동작해서 쉽게 기능 조작이 가능할 것 같다, 고령층이 사용한다면 본인의 사용 역량이 향상될 것 같다, 현재 상황에 대해 물을 수도 있어 여러모로 유용해 보인다, 고령층이 실제로 스마트폰 조작에 도움을 받을 것 같다 | ㅤ | 매우 도움이 될 것 같다 | 고령층이 충분히 사용하기 간편해 보인다, 원격조종과 영상통화를 통해 효과적으로 사용을 도와줄 수 있을 것 같다, 내가 직접 사용하기 편리해 보이고 상대방의 조작을 효과적으로 도와줄 수 있을 것 같다 | ㅤ | YeYa 콜 | 네 | 0 | 화면에 떠다니는 버튼을 클릭 또는 길게 클릭 (현재 방법), 음성인식으로 (YeYa~, 콜 연결해줘) 부르기 | ㅤ |
20 | 남자 | 네 | 조부모님 (할머니, 할아버지) | 78 | 남성 | 조부모님 (할머니, 할아버지) | 삼성 갤럭시 | 스마트워치 | 밝기, 소리, 와이파이, 블루투스, GPS, 손전등 등 기본 설정 기능 조작법, 무선 이어폰 연결, 충전하는 방법 등 스마트폰 외의 장치 사용에 관한 요청 | 직접 만나서 본인이 직접 조작하며 설명 | 상대방이 스마트폰의 조작법 (클릭, 길게 누르기, 드래그, 스크롤 등) 자체를 아예 몰라 설명을 해줘도 올바르게 수행하지 못한다 | 매우 도움이 될 것 같다 | 고령층이 충분히 스스로 기능을 이용할 수 있을 것 같다, 빅스비, 시리와 달리 기본 앱뿐만 아니라 서드파티 앱과 웹 브라우저에서도 동작해서 쉽게 기능 조작이 가능할 것 같다, 고령층이 실제로 스마트폰 조작에 도움을 받을 것 같다 | ㅤ | 매우 도움이 될 것 같다 | 고령층이 충분히 사용하기 간편해 보인다, 원격조종과 영상통화를 통해 효과적으로 사용을 도와줄 수 있을 것 같다, 내가 직접 사용하기 편리해 보이고 상대방의 조작을 효과적으로 도와줄 수 있을 것 같다 | ㅤ | YeYa 콜 | 네 | 5500 | 화면에 떠다니는 버튼을 클릭 또는 길게 클릭 (현재 방법) | ㅤ |
인터뷰에서는 YeYa가 없을 때의 작업 능력과 YeYa가 있을 때의 능력을 비교하는 실험과 사용 경험을 물어보았다.
5. 최종보고서 작성
전해들은 속설로는 최종보고서도 분량이 많아야 좋은 점수를 받을 수 있다고 해서 정말 자세히 적었다. 각자 역할을 나누어 자료 조사 한 명, 설문조사 및 인터뷰 한 명, 기능 설명 2명 이런식으로 나눠 적었다. 회의록 이전까지는 73쪽 분량이 나왔고 회의록을 모두 포함하면 96쪽 분량이 나왔다.
일부분만 발췌하자면
문제 현황은 자료를 많이 넣어서 작성했고
구현 방법도 어떻게 동작하는지 최대한 자세히 서술했다.
설문과 인터뷰는 어떻게 했고 결과가 어땠는지도 자세히 설명했다.
차별점이 또 중요한데 이 부분도 경쟁사를 최대한 많이 찾아 차별점을 강조했다.
참고문헌은 19개를 인용했다.
6. 창보고 전시회 (예선) 준비
최종적으로 위와 같이 준비했다.
Figma를 통해 디자인했고 어쩌다보니 혼자 다 만들게 되었던 것 같다. 다른 팀과 달리 차별점을 두고 싶어서 전시대 위 깔개도 프린트해서 준비했다. 크기를 미리 물어봐서 딱 맞게 만들었다. 저때는 500 x 500 mm였다.
그리고 피켓을 만들고 창플 지원금으로 비타민과 쿠키를 사서 포스트잇을 남기면 주는 이벤트도 열어 홍보했다. 사실 평가요소에서 그렇게 중요한 부분은 아니지만 이렇게 하면 좀 더 열심히 하는 구나하는 느낌을 주거나 더 강렬한 첫인상을 평가위원들에게 줄 수 있을 것 같아 한 것이었다.
당연한 결과인 것 같기도 하지만 예선에서 통과했다. 이로써 장려상 이상은 확정이었다. 전시회 때 다른 팀을 둘러볼 수 있어서 나름대로 본선에서 몇위를 차지할까 예상을 해봤는데 SPECTRUM, CIAE, YeYa 이 중 한 팀이 대상을 탈 것 같았다.
24년도에는 33팀인가 참여를 했다. 해보며 느낀 점은 정말 제대로만 한다면 장려상 이상은 받기 꽤 쉽다고 느꼈다. 1년이라는 긴 시간이 주어지지만 대다수의 팀들은 미루다가 흐지부지되는 경우가 많다. 그냥 본인이 흥미로운 주제가 있다면 바로 실행에 옮긴다면 좋은 결과를 얻을 수 있다고 본다.
7. 창의공모전 (본선)
발표는 위 영상 대로 진행했다. 다른 팀과 달리 평가위원분들의 질문들이 생산적이고 심화적인 질문이라 긍정적이었다.
모든 팀의 발표를 들어보니 SPECTRUM 아니면 우리가 대상이라는 확신을 가지게 되었다. YeYa가 대상일 것이라 생각한 이유는 창작물의 완성도가 다른 팀에 비해 압도적으로 좋았기 때문이라고 본다. 거의 새로운 개념의 AI를 만들었고 제대로 작동이 되었으며 무엇보다 내가 발표를 아주 잘 했다. 게다가 인터뷰와 설문조사도 훌륭했다.
하지만 대상은 SPECTRUM의 CALMPASS가 수상하게 되었다. SPECTRUM팀이 자료 조사와 인터뷰, 실제 고객의 목소리를 매우 상세하고 훨씬 깊고 다양하게 설명했다. 그중 아직까지도 기억에 남는 것이 팀원 중 한 명이 실제 자폐 증상을 겪고 있다고 설명하는 부분이었다. 이 발표를 보고 나서 YeYa가 대상일지 불분명해졌다고 느꼈다. 이 팀도 정말 열심히 했고 충분히 대상을 받을만 하다고 생각한다.
결국 최우수상을 수상했고 탐방지원금 500만원을 얻었다. 이 돈으로는 팀원들과 함께 싱가포르에 가게 되었다.
그 이후의 탐방 이야기와 팁 이야기는 아래 글에서 확인할 수 있다.