KELI 데모데이 대학 AI 서비스 평가 기준 6가지
한림대학교는 2026년 10월 20일 서울드래곤시티에서 KELI 국제 심포지엄 및 데모데이를 연다.
KELI는 대학과 에듀테크 기업, 공공기관이 AI 교육 서비스를 함께 개발하고 검증해 활용하자는 고등교육 공유 플랫폼이다.
행사에서는 KELI Alliance 출범과 함께 한림대가 실제 수업에서 실증한 AI 교육 솔루션 19개가 시연될 예정이다.
다만 서비스 수가 많다는 사실만으로 교육 효과가 입증되는 것은 아니므로, 도입을 검토하는 대학은 기능보다 검증 방법과 운영 조건을 먼저 살펴야 한다.
KELI가 해결하려는 문제부터 확인한다
대학마다 비슷한 챗봇과 학습도구를 따로 개발하면 비용이 중복되고, 이용자가 적은 학교는 충분한 실증 자료를 확보하기 어렵다.
KELI는 한 대학이 만든 서비스를 다른 대학에서도 시험하고 성과와 운영 경험을 공유하는 구조를 목표로 한다.
이번 프로그램에는 AI 수학 튜터, 의학교육 코스웨어, 강의 분석, 적응형 평가, 연구 지원과 수업 지원 도구가 포함돼 있다.
핵심은 완성된 제품을 일괄 배포하는 것이 아니라 서로 다른 수업 환경에서 효과와 한계를 반복 확인할 수 있느냐에 있다.
첫째 수업 목표와 기능이 맞는지 본다
AI 도구가 제공하는 기능보다 먼저 해결하려는 수업 문제가 무엇인지 확인해야 한다.
수학 튜터라면 정답률뿐 아니라 학생이 오답 원인을 이해하고 다음 문제에서 풀이 방식을 바꾸는지 살펴야 한다.
강의 분석 서비스라면 발화량이나 화면 사용 시간을 보여주는 데 그치지 않고 교수자가 수업을 개선할 수 있는 근거를 제공해야 한다.
적응형 평가는 학생 수준에 따라 문제를 다르게 제시하므로 난이도 조정 기준과 교사가 결과를 수정할 권한이 필요하다.
둘째 검증 자료의 범위를 살핀다
개발 대학의 한 과목에서 잘 작동했다는 결과가 다른 전공과 다른 학교에서도 그대로 재현된다고 볼 수는 없다.
참여 학생 수와 교과목 수, 비교 기간, 중도 이탈자, 교수자의 추가 업무량까지 함께 공개돼야 결과를 해석할 수 있다.
만족도가 높더라도 성취도 향상이나 학습 격차 완화가 확인되지 않았다면 효용을 과장해서는 안 된다.
반대로 점수가 올랐더라도 평가 방식이 달라졌거나 대상 학생이 달라졌다면 AI만의 효과라고 단정하기 어렵다.
데모데이 이후에는 성공 사례뿐 아니라 오류가 발생한 조건과 사용을 중단한 사례도 축적할 필요가 있다.
셋째 데이터와 교수자 통제를 확인한다
대학 AI 서비스는 과제, 성적, 상담 기록, 강의 영상처럼 민감한 교육 데이터를 다룰 수 있다.
어떤 데이터를 수집하고 어디에 저장하며 언제 삭제하는지, 외부 모델 학습에 다시 사용되는지를 확인해야 한다.
학생이 이용을 거부하거나 오류 정정을 요구할 방법도 안내돼야 한다.
AI가 추천한 평가나 상담 결과는 교수자와 담당자가 검토한 뒤 확정하도록 사람의 통제 절차를 남겨야 한다.
편리함을 이유로 개인정보와 평가 책임을 서비스 제공자에게 전부 넘기는 구조는 피해야 한다.
넷째 연동과 비용 조건을 따져본다
기존 학습관리시스템과 연결되지 않으면 교수자는 학생 명단과 성적을 여러 번 옮겨야 하고 오류 가능성도 커진다.
국제 교육기술 표준을 지원하는지, 다른 서비스로 자료를 옮길 수 있는지, 계약 종료 뒤 데이터를 돌려받을 수 있는지를 확인한다.
초기 이용료만 비교하지 말고 서버 운영, 사용자 교육, 장애 대응, 기능 수정과 보안 점검 비용까지 계산해야 한다.
공동 활용이 비용 절감으로 이어졌다면 대학별 부담액과 별도 구축 대비 절감 근거를 공개하는 것이 바람직하다.
특정 업체나 플랫폼에서 빠져나오기 어려운 구조인지도 도입 전에 살펴야 한다.
행사 이후 여섯 가지를 확인한다
첫째 실제 참여 대학과 공동 활용 서비스가 공개됐는지 확인한다.
둘째 수업 효과를 판단한 지표와 대상 규모를 살핀다.
셋째 개인정보 처리와 AI 결과 검토 절차를 확인한다.
넷째 다른 대학 시스템과의 연동 기준을 본다.
다섯째 대학이 부담할 전체 비용과 지원 범위를 따져본다.
여섯째 오류와 개선 결과가 정기적으로 공개되는지 확인하면 KELI가 행사성 협약을 넘어 공동 검증 플랫폼으로 자리 잡는지 판단할 수 있다.
공식 안내상 참가 신청은 10월 16일 마감됐으므로 현장 참여 가능 여부는 KELI 사무국의 최신 공지를 별도로 확인해야 한다.
참고자료
- [2026 KELI 국제 심포지엄 및 데모데이 개최](https://www.hallym.ac.kr/aied/8356/subview.do?enc=Zm5jdDF8QEB8JTJGYmJzJTJGYWllZCUyRjEzNzklMkYzOTA4NjQlMkZhcnRjbFZpZXcuZG8lM0Y%3D) · 한림대학교 AI에듀테크센터 · 2026-10-08
- [한림대학교 2026 KELI 국제 심포지엄 개최](https://support.hallym.ac.kr/bbs/pr/876/390395/artclView.do) · 한림대학교 · 2026-09-23
- [KELI 플랫폼](https://keliedu.org/keli) · 한림대학교 KELI 사무국 · 확인 2026-10-17