Emoseum :: AI 감정 갤러리
일기 기반 이미지 생성을 통한 디지털 치료제
2025.06 - 2025.09
AI 엔지니어
AI 엔지니어 2명, 백엔드 1명, Unity 1명
Android
2025.06 - 2025.09
Overview
디지털 치료제?
디지털 치료제란 무엇일까? 디지털 치료제는 약물이나 주사 대신 소프트웨어를 활용해 질병을 예방, 관리, 치료하는 새로운 개념의 의료기기다. 애플리케이션, 게임, 가상현실(VR) 등 디지털 기술을 기반으로 하며, 의학적 근거와 규제 기관의 엄격한 심사를 거쳐 승인된다는 점에서 일반적인 건강 관리 앱과는 구별된다. 이는 특정 질병이나 장애를 가진 환자를 대상으로 개발되며, 주로 인지행동치료(CBT)와 같은 의학적으로 검증된 치료법을 소프트웨어로 구현한다. 이를 통해 환자들은 시공간 제약 없이 치료에 접근할 수 있고, 개인의 상태에 맞는 맞춤형 치료를 받을 수 있다.
충북대학교에 재학 중인 지금 ICCAS 2025라는 좋은 프로그램에 운 좋게 참여할 기회가 생겼다. 이미 8월에 오스트리아까지 다녀왔고, 후기 포스팅까지 마쳤으므로 여기에 어떤 프로젝트였는지 다시 한번 써보고자 한다.
주제 선정 과정
1. 어떤 프로젝트지?
ICCAS의 공통 주제는 ‘디지털 치료제’였기 때문에, 처음에 여러 아이디어가 나왔다. 큰 갈래는 Mental Health와 Physical Health로 나뉘어졌는데, 브레인스토밍 중 ‘우울증’으로 가닥을 잡기로 했고 그 중에서도 ‘일기를 쓰면 그걸 이미지로 변환, 이런 미술적 감각이 우울증 완화에 도움을 줄 순 없을까?’라는 아이디어로 도달하게 되었다.
2. 이론적 기반은 탄탄한가?
아무래도 ‘정신’쪽이다 보니, 촉박한 시간 + 임상 실험의 어려움등이 발목을 잡았다. 신체적인 쪽이면 노인복지센터에 근무한 경험이 있어 그쪽에 자문을 구하거나 할 수 있었을 텐데, 교수님들의 공격을 받으면서도 이에 대해 끝까지 해결하지 못한 건 좀 많이 아쉬웠던 부분이다. 미술 치료라고 함은 보통 일기를 이미지로 변환하는 게 아닌 ‘직접 그림을 그리는’과정이 동반되어야 하는데, 치료적 효과를 어떻게 검증할 것이냐? 하는 과정 등등.
그래도 카이스트 박사님의 자문을 빌려 최대한 이론적 허점을 보완하고자 수용전념치료(ACT, Acceptance Commitment Therapy)를 Flow 하나하나에 대응시켜 디펜스하고자 했다.
Goals?
구현의 큰 가닥은 다음과 같았다.
- 사용자의 일기를 입력받는다.
- GoEmotions에 넣어 주요한 감정을 추출한다.
- 사용자의 일기, 추출된 감정, 사전에 조사받은 화풍 선호도를 바탕으로 프롬포트 엔지니어링을 수행한다.
- 해당 프롬포트를 Stable Diffusion 1.5에 넣어 이미지를 생성한다.
이렇게 만들어진 이미지를 개인의 미술관에 전시하여 날짜별로 감상할 수 있게 하고, 일기의 이미지화를 통해 감정의 외재화 / 메타인지를 유도하여 치료 효과를 노린다.
Reference
앞서 말했듯 우리는 학부생이라 임상 실험을 거칠 시간도, 그럴 여력도 전혀 없었기 때문에 여러 논문과 시중 앱들을 참고했다. 그 중 우리의 아이디어와 가장 유사했던 기존 앱은 오늘 하루를 그려줘라는 앱이었다. 해당 앱 개발자분의 블로그를 참고해서 여러 아이디어를 얻을 수 있었다.
또한 ‘기존의 미술 치료는 환자가 그림을 그리는 것으로 치료하는 방식이지만, AI가 생성한 이미지를 감상하는 것 만으로도 개선될 수 있다’는 논문을 바탕으로 아이디어를 확고히 하고, 그 외에도 다른 여러 논문들에 대한 레퍼런스를 찾았다.
구현 단계
뭐가 힘들었지?
프로젝트를 수행하며 사용했던 노션
많은 애로사항이 있었지만 제일 힘들었던 점은 프롬포트 엔지니어링이었다. 이 프로젝트에서 가장 중요하다 생각했던 건 ‘일관된 이미지 생성’이었기 때문에(지금은 나노바나나가 나왔지만) 저열한 GPU 자원과 일기 + 감정 + 선호도라는 삼중 input으로 어떻게 잘 결과물을 뽑아낼 수 있을까? 가 가장 큰 고민이었다.
GoEmotions와 Stable Diffusion은 그냥 Huggingface에서 가져오면 되는 부분이었고, 이 프로젝트가 지속적인 것은 아니었기 때문에 이미지 생성은 임시로 Colab과 Nginx를 사용해 해결했다.
핵심 기능인 이미지 생성과 도슨트 메세지(일기를 더 쓸 수 있도록 유도해주는 기능, 이미지 생성 후 이를 설명해주는 기능)은 전적으로 GPT API를 사용해야 했고, Consistent한 결과물이 나와야 했다. 자본이 별로 없었기에 4o mini를 사용한 데다 파인튜닝이 가능한 버전도 아니었기 때문에 개인화에도 어려운 부분이 있던 것 같다.
또한 강화학습과 LoRA를 사용해 사용자 별 개인화를 추진하려 했고, 기능도 대강 구현해 놓았지만 아무래도 사용자 피드백, 즉 Action이 필요한 부분이이기도 하고 이걸 어떻게 잘 받아 Reward화를 시켜야 할지는 잘 감이 오지 않아 Future work로 남겨놓았다.
그럼에도 디펜스할 수 없었던 부분
- ‘본인이 그리는 것도 아니고, AI가 그려준 이미지를 감상하는 것 만으로 우울증이 개선될까?’
- ‘일기를 기반으로 생성한다 했는데, 변환된 이미지가 나의 감정을 잘 나타낸다는 보장이 있나?’
- ‘우울증 환자가 어떻게 이 앱을 사용하도록 유도할 것이냐?’
- ‘우울증 환자가 우울한 일기를 작성해서 우울한 그림을 보면 더 악화되지 않겠냐?’
이 외에도 많은 공격을 받았다. 나름 기존 논문 ref를 바탕으로 최대한 방어해보고자 했지만 아무래도 Mental Health 분야다 보니 애매모호하게 대답해야 하는 부분이 많았고, 직접 임상 실험을 해보지 못한 아쉬움이 남는다.
마치며
EKC 학회에 제출했던 포스터
짧은 프로젝트 일정이었지만 나름 알찼다 생각한다.