AI로 서술형 평가 채점기를 만들어보자.

https://wrtn.ai/

wrtn

 

 국내 서비스 "뤼튼"은 사용자들이 대화형 인공지능을 활용하여, 간단한 툴을 만들 수 있는 기능을 지원한다. 그래서 뤼튼에서는 스토어를 활용하여, 아기자기 다양한 인공지능 대화 기능을 사용해볼 수 있다.

 

 아, 가입은 물론 해야한다. 폰에서도 사용이 가능하다.

 

https://wrtn.ai/store/details/6491b8a90fa103207d32773d

뤼튼

 이것은 미드저니 형의 그림 생성 툴이다.

https://wrtn.ai/store/details/649d2a32f0cd86e663919e00

이것은 세특 작성툴.

 

나는 이전에 먼저, ChatGPT를 활용하여 에세이를 자동채점하는 기능을 구현해보았기 때문에, 이것이 교육청에서 주관하는 코스웨어로도 반영될 것이라고 예측했다. 아직 코스웨어가 공개되진 않았지만, 나는 뤼튼의 이런 툴 기능을 활용하면, 에세이 자동채점도 수월하게 할 수 있을 것이라 생각했다.

 

 그래서 조금 전, 뤼튼을 이용해 에세이 자동채점기를 만들어보았다.

 

https://wrtn.ai/store/details/64eff7b9f74cfeb42b411ada

뤼튼

 

 방법은 간단하다. 뤼튼의 "스튜디오" 기능으로 들어가, 새 툴/챗봇 만들기 기능을 실행한다.

 

 그런 다음 안내에 따라 차근차근히 설명문을 넣는다.

 

  앞부분은 단순한 설정일 뿐이고, 이 프롬프트가 사실 사용자가 할 일의 전부다. 나는 여기에 5점 척도, 논리성, 긴밀성, 전달력, 창의성의 네가지 평가요소를 요구했다. 그리고 평가 및 수정 의견을 달라고 했다. 

 

 영어 답변은 쓸데가 없으므로, 모든 답변은 국어로 제시하라고 했다. 프롬프트를 영어로 작성한 것은 그래야 정확한 답변이 나오기 때문이다. 

 

 그 결과는, 이렇다.

 

 

크리에이티브성: 4 일본의 최인접국과 원자력 발전의 문제를 연결시켜서 생각한 것은 창의적이라고 생각합니다. 하지만, 그 이후에는 좀 더 구체적인 예시나 논거를 들어가면서 더욱 창의적으로 쓸 수 있었을 것 같습니다. 

 

일관성: 4 전체적으로 일관성 있게 글을 쓴 것 같습니다. 하지만, 논거를 전개할 때 각 문장들이 서로 연결되어 있지 않아서 불필요한 반복이 있었습니다. 

 

전달력: 3 문장이 길고 복잡해서 읽기에 조금 어려움이 있었습니다. 또한, 논거를 전개할 때 구체적인 예시나 논리적인 연결이 부족해서 전달력이 떨어졌습니다. 

 

논리성: 3 전체적으로 논리적인 흐름이 있지만, 논거를 전개할 때 구체적인 예시나 논리적인 연결이 부족해서 논리성이 떨어졌습니다. 

 

리뷰 코멘트: 이 글은 후쿠시마 원전 사고를 통해 원자력 발전에 대한 문제를 다루고 있습니다. 전체적으로 일관성 있게 글을 쓴 것 같지만, 논거를 전개할 때 구체적인 예시나 논리적인 연결이 부족해서 전달력과 논리성이 떨어졌습니다. 또한, 글의 구성이 조금 어색해서 읽기에 조금 어려움이 있었습니다. 좀 더 구체적인 예시나 논리적인 연결을 들어가면서 더욱 창의적으로 쓸 수 있었을 것 같습니다. 

 

교정 제안: 1. "적잖이" -> "꽤나" 

2. "그것이" -> "그 이유는" 

3. "무언가를 알고 있으면서도 침묵해 왔다면 나 또한 공범이다." -> "무언가를 알고 있으면서도 침묵해 왔다면 나 또한 그 공동체의 일원이다." 

4. "그 발생 이전" -> "사고 발생 이전" 

5. "반드시 필요한 토론과 합의가 부재했던 사안이기 때문이다." -> "반드시 필요한 토론과 합의가 이루어지지 않았던 것이 이번 사고의 원인 중 하나이다." 

6. "전후 오랜 시간 원폭의 참상을 국제사회에 어필해 왔다." -> "전후 오랜 시간 원폭의 참상을 겪은 일본은 이를 국제사회에 어필해 왔다." 

 

 먼젓번에 ChatGPT를 활용해 자동채점 기능을 썼을 땐, 일일이 아이들 에세이를 옮기고 프롬프트 돌리고 하는 어려움이 있었는데, 뤼튼의 이 기능을 써보니 이제 당장이라도 아이들의 수행평가를 아주 손쉽게 채점하고 피드백 할 수 있게 되었다. 

 

 다만 뤼튼의 서비스 정책의 문제로, 입력 가능한 에세이의 분량이 1000자를 넘길 수 없다. 그러나 일반적으로 중 고등학교 수행평가에서 1000자 까지 요구하지는 않으므로, 이 부분은 학교 현장에서 선생님들이 판단하여 조절할 수 있을 것 같다.

 

 내가 1학기에 했던 연수에서 이러한 자동채점 기능을 소개하자, 한 선생님께서는, 아이들의 에세이를 이처럼 자동채점 프로그램에 맡겨도 되느냐 하는 질의가 있었다. 물론, 현재 경기도교육청의 에듀테크 정책 자체가 기술 위에 휴먼터치를 얹는다는 접근법을 취하고 있기 때문에 이 툴을 이용해 교사의 평가 책임이 덜어지는 것은 아니다. 

 

 수행평가에서 이 툴을 실제 쓴다면 급간을 조정해야할 것이고, 다만 내가 생각하기에는 이 툴을 이용해서 아이들에게 훨씬 좋은 피드백을 줄 수 있다는 점에 주목해야 한다. 교사는 수행평가의 채점에 급급해, 아이들의 소중한 에세이에 대해서 내밀한 피드백을 주지 못하는데, AI가 알아서 이처럼 자상한 피드백을 주고 있지 않은가.