It Proposes, You Approve, It Watches What Happened

Propose, then approve

기관 관리 화면에 상주하는 운영 비서를 만들었다. 필요한 조치를 먼저 제안하고, 담당자는 버튼 하나로 승인하거나 반려한다. 자동으로 처리하게 만들 수도 있었다. 운영은 틀렸을 때 되돌리기가 어렵다. 한 단계를 남겨뒀다.

AI 가 판단하고 사람이 결정한다. 순서를 바꾸지 않았다.

The suggestion that could not work

돌려보니 쓸모없는 제안을 하고 있었다. 한 번도 접속하지 않은 학생에게 인앱 메시지를 보내라고 권했다. 앱에 들어온 적이 없는 사람에게 앱 안에서 보내는 메시지는 **정의상 안 닿는다.** 그럴듯한 조치였다. 미접속 학생이 있으니 연락하라는 건 맞는 방향이다. 다만 그 수단이 그 사람에게 도달할 수 없다는 걸 모델은 몰랐다. 손쓸 수 없는 것은 권하지 않도록 막았다.

Saying how sure it is — only when it is not

같은 날 확신도를 밝히게 했다. 다만 **낮을 때만** 표시한다. 매번 "확신 82%"를 붙이면 아무도 안 읽는다. 확신이 낮을 때만 뜨면 그 표시 자체가 신호가 된다. 반디에서 배운 것과 같다 — 늘 떠 있는 경고는 경고가 아니다.

Watching what happened after

제일 큰 변화는 이거였다. 매니저가 **자기 행동의 결과를 본다.** 제안을 하고 끝나던 걸, 담당자가 승인했는지 반려했는지를 상태로 되받게 했다. 반려된 제안이 쌓이면 그 종류를 덜 내놓는다. 그 전까지는 같은 제안을 계속 냈다. 담당자가 매번 반려해도 모델은 몰랐다. 제안하는 쪽과 결과를 보는 쪽이 끊겨 있으면 학습할 방법이 없다.

The inbox

형태도 바꿨다. 운영 매니저를 실시간 처리함으로 다시 짰다. 제안이 알림으로 오면 흘러간다. 처리함에 쌓이면 남는다. 등대가 처리함에 뭐가 있는지 알고 조르게도 했다 — 런처에 배지, 패널에 배너. 알림을 다 보내면 아무도 안 본다. 그래서 좌석 만료나 수강 종료처럼 기한이 임박한 것만 미리 알린다. 기관별 데이터는 서버 차원에서 완전히 분리했다.