문항이 진단의 8할입니다
진단 도구를 검토할 때 대부분 모델 이름과 가격을 봅니다. 그런데 결과의 품질을 결정하는 것은 문항 한 줄 한 줄입니다. 같은 이론을 근거로 만들어도 문항을 어떻게 쓰느냐에 따라 전혀 다른 데이터가 나옵니다.
여기서는 저희가 문항을 만들 때 쓰는 기준을 그대로 공개합니다. 직접 설계하시든, 업체 제안서를 검토하시든 판단 기준으로 쓰실 수 있습니다.
좋은 문항의 네 가지 조건
- 행동을 묻습니다 — 생각이나 태도가 아니라 관찰 가능한 행동을 묻습니다. "나는 소통을 중시한다"는 누구나 그렇다고 답합니다
- 기간을 못 박습니다 — "평소"가 아니라 "최근 3개월"입니다. 기간이 없으면 응답자는 자기가 가장 잘했던 순간을 떠올립니다
- 하나만 묻습니다 — "방향을 제시하고 팀원을 격려한다"는 두 가지를 한 문항에 넣은 것입니다. 어느 쪽에 답한 것인지 알 수 없게 됩니다
- 정답이 보이지 않습니다 — 어느 쪽이 바람직한지 뻔한 문항은 측정이 아니라 확인입니다
나쁜 문항과 고친 문항
| 흔히 쓰는 문항 | 문제 | 고친 문항 |
|---|---|---|
| 나는 팀원과 소통을 잘한다 | 추상적이고 정답이 뻔함 | 최근 3개월 안에 팀원 각각과 업무 외 주제로 개별 대화를 한 적이 있다 |
| 나는 권한을 적절히 위임한다 | "적절히"의 기준이 없음 | 팀원이 내 확인 없이 결정할 수 있는 범위를 문서나 말로 정해 두었다 |
| 우리 팀은 심리적으로 안전하다 | 개념을 그대로 물음 | 최근 3개월 안에 회의에서 상급자와 다른 의견을 말한 적이 있다 |
| 나는 방향을 제시하고 동기를 부여한다 | 두 가지를 한 문항에 | 팀원이 우리 팀의 우선순위를 자기 말로 설명할 수 있다 |
| 나는 피드백을 자주 준다 | "자주"가 사람마다 다름 | 최근 한 달 안에 팀원 각각에게 개별 피드백을 준 적이 있다 |
| 나는 변화에 유연하게 대응한다 | 부정 답변이 불가능 | 예상하지 못한 변화가 생겼을 때 팀이 내 지시 없이 방식을 바꾼 적이 있다 |
오른쪽 문항들의 공통점은 응답자가 구체적인 장면을 떠올려야 답할 수 있다는 것입니다. 그래야 자기 이미지가 아니라 실제 행동이 데이터로 들어옵니다.
다섯 개 측정 영역과 예시 문항
계층 공통 진단에서 저희가 쓰는 다섯 축입니다. 각 축마다 실제 문항 형태를 그대로 옮겼습니다. 척도는 5점(전혀 아니다 ~ 매우 그렇다)이며, 별도 표시가 없으면 최근 3개월 기준입니다.
1. 방향 제시
- 팀이 무엇을 향해 가고 있는지 자주 말로 설명한다
- 우선순위가 충돌할 때 내가 판단 기준을 정해 준다
- 팀원이 우리 팀의 목표를 자기 말로 설명할 수 있다
- 결정을 전할 때 그렇게 정한 이유를 함께 설명한다
2. 권한 위임
- 중요한 일일수록 내가 직접 처리하는 편이다 (역문항)
- 팀원이 내 확인 없이 결정할 수 있는 범위가 정해져 있다
- 내가 자리를 비워도 팀의 의사결정이 멈추지 않는다
- 맡긴 일에서 실수가 나와도 다음에 다시 맡긴다
3. 심리적 안전감
- 회의에서 상급자와 다른 의견을 말한 적이 있다
- 실수를 보고했을 때 책임보다 원인을 먼저 확인한다
- 모르는 것을 모른다고 말해도 불이익이 없다
- 나쁜 소식이 늦지 않게 위로 전달된다
4. 피드백
- 최근 한 달 안에 팀원 각각에게 개별 피드백을 준 적이 있다
- 피드백을 줄 때 사실과 영향을 함께 말한다
- 평가 시점이 아니어도 개선할 점을 그때그때 전한다
- 팀원에게서 나에 대한 피드백을 받은 적이 있다
5. 변화 대응
- 기존 방식이 통하지 않으면 빠르게 바꾼다
- 불확실한 상황에서도 일단 실행하며 배우는 편이다
- 외부의 변화를 팀에 빠르게 전달한다
- 예상하지 못한 변화가 생겼을 때 팀이 스스로 방식을 바꾼다
이 문항을 그대로 쓰셔도 됩니다. 다만 이대로는 규준 비교가 안 됩니다. 점수가 높은지 낮은지 판단할 기준이 없기 때문입니다. 조직 내부에서 첫 회차를 자체 규준으로 삼는 방법이 가장 현실적입니다.
문항 수와 척도
- 문항 수 — 계층 공통 진단은 24~32문항, 응답 시간 7~10분이 현실적입니다. 넘어가면 후반부 응답의 성의가 떨어져 데이터 품질이 오히려 나빠집니다
- 척도 — 5점이 무난합니다. 7점은 중간값 주변 변별이 좋아지지만 응답 부담이 늘고, 4점 강제 선택은 중립 회피를 막지만 저항이 생깁니다
- 역문항 — 영역마다 한 개 정도 넣어 무성의한 일괄 응답을 걸러냅니다. 너무 많으면 혼란만 늘어납니다
- 서술형 — 두세 개면 충분합니다. 처리 방식을 미리 정해 두지 않으면 문체로 응답자가 특정됩니다
좋게 보이려는 응답을 걸러내는 장치
자기보고 진단의 가장 큰 약점입니다. 세 가지 장치를 씁니다.
- 강제선택 문항 — 둘 다 바람직해 보이는 선택지 중 하나를 고르게 합니다. "나는 기준을 먼저 세운다"와 "나는 사람을 먼저 본다" 중 선택하게 하면 무조건 높은 점수를 주는 응답이 불가능해집니다
- 응답 일관성 지표 — 같은 영역의 문항 간 응답이 서로 어긋나는 정도를 계산합니다. 일정 수준을 넘으면 해당 응답을 분석에서 제외합니다
- 상황판단 문항 — 구체적 상황을 제시하고 실제로 어떻게 하는지 고르게 합니다. 선택지마다 이론 좌표를 부여해 두면 그대로 교육 시나리오가 됩니다
문항을 만든 뒤 반드시 하는 것
문항을 썼다고 진단이 되는 것은 아닙니다. 최소한 아래 절차는 거쳐야 합니다. 업체 제안서를 검토하실 때도 이 항목이 있는지 확인해 보십시오.
- 파일럿 조사 — 200~300명 규모로 예비 응답을 받습니다
- 문항 분석 — 변별력이 없는 문항, 다른 문항과 지나치게 겹치는 문항을 걸러냅니다
- 신뢰도 확인 — 하위 영역별 내적 일관성을 봅니다
- 구조 확인 — 의도한 영역대로 문항이 묶이는지 확인합니다
- 기술 문서 작성 — 위 절차와 결과를 문서로 남깁니다. 구매 심사에서 실제로 요구되는 자료입니다
도구를 고르는 전체 기준은 리더십 진단 도구 고르는 법에, 결과물이 어떻게 나오는지는 리포트 예시에 정리했습니다.
리더십 유형 테스트
위 문항 설계 방식이 실제로 어떻게 작동하는지 16문항으로 직접 확인해 보십시오.