1) 연구의 사실적 가치
참여관찰과 심층인터뷰에서 논의되는 문제들 중의 하나는 수집된 자료의 신뢰성에 대한 것이다. 자료의 신뢰도에 의문을 가지는 이유는 자료수집의 대부분이 연구자의 지각에 의존되어 있기 때문에 주관적이다(Adler & Adler, 1994).
즉, 자료의 양과 질은 연구자의 개인적인 특성인 전문성, 철학, 연구 능력, 연구 경험, 연구 여건 등의 영향을 받는다. 질적 연구 방법의 평가 기준에 관해서는 여러 방향에서 논의가 진행되고 있다.
첫 번째는 양적 연구 방법에서도 사용되어 온 ‘타당도와 신뢰도와 같은 고전적인 기준을 응용하거나 그것들을 질적 연구 방법에 맞게 수정해서 사용’하는 것이다.
두 번째는 ‘질적 연구 방법의 특성에 좀 더 잘 부합되도록 적합한 평가기준’을 새로 만드는 것이다(Flick, 1995). 이 경우에 평가 기준은 각각의 질적 연구 방법이 전제로 하는 이론에 적합한 것이어야 하며, 질적 연구 방법의 과정상 특성을 기반으로 한 것이어야 한다.
세 번째는 Denzin & Lincoln(2011)이 주장한 것처럼 ‘정당성(legitimation)의 위기에 봉착 하더라도 학문적 지식의 유효성을 논하는 것이 과연 의미가 있는 것 인지에 관한 문제이다.
본 연구에서는 다양한 경험을 가진 연구 참여자들의 연구에서는 자료 및 해석에 대한 검토를 통해서 이 문제를 해결 하였으며 다양한 방법을 사용하여 자료를 생성하고, 삼각검증을 통하여 자료의 신뢰도를 높이도록 노력했다. Peshkin (1994) 자신의‘ 주관성’에 대해 탐구하고 선택적 주의와 부주의를 찾아내고 이를 후속 자료 생성에 반영하는 방법으로 발전 시켰다.
2) 일관성
양적연구에서 일관성이란 ‘신뢰도’를 의미하며, 연구의 결과가 동일하게 반복되는 정도를 의미한다. 이는 연구 자료에 대한 신뢰도로 질적 연구에서는 현상에 대한 연구 참여자들의 경험과 독특성이 강조되기 때문에 연구 참여자에 따라 연구의 내용이 상이해질 수 있다.
그래서 구바와 링컨(Guba, & Lincoln, 1989)은 연구의 일관성에 대한 엄밀성을 가지고자 ‘감사성 (auditability)’을 제안하였고 연구결과를 통해 비슷한 경험을 한 다른 대상 자가 공감할 수 있는지에 대한 것을 ‘일관성’으로 대치하도록 제안하였다.
또한 연구자에 의해서 사용된 ‘분명한 자취(decision trail)’를 또 다른 연구자가 이를 추구할 수 있을 때 이를 검증하였다고 할 수 있다. 따라서 본 연구과정을 보다 구체적으로 기술하여 다른 연구자들도 이와 같은 연구를 수행할 수 있도록 하였다.
3) 적용성
질적 연구 방법에서의 타당도란 ‘연구자가 보고자 하는 것을 실제로 보고 있는가? 하는 것이다(Kirk & Miller, 1986). 질적 연구 방법에서 타당도를 검증할 때 점검 할 것은 연구하는 현상과 그것에 대해서 연구자가 알고 있는 내용의 수준과의 관계를 확인하는 작업이다.
즉, ‘그 현상이 만약 실증 연구의 대상에 없었다면 어떻게 보일 것인가? 연구자가 내놓은 해석이 연구 대상인 현장에 근거하고 있는가?’ 하는 것이다.
여기에서 전제하고 있는 것은 현실적이라는 것이 지각, 해석, 기술 등의 사회적인 구축에서 독립되어 존재하는 것이 아니라 현실이란 사회적으로 구성된 것이라는 데서 출발 한다(임은미·정성진·김은주, 2009).
여기서 주의할 것은 연구자가 행한 특수한 구축이 연구 참여자의 구축에 얼마나 실증적으로 기반하고 있는가이다. 이를 Hammersley(1992)는 ‘미묘한 실재론(subtle realism)’이라고 하여 다음과 같은 3가지가 전제되어야 한다고 하였다.
첫째, 지식의 타당도는 객관적인 확실성 측면에서 평가할 수 없다. 지식이란 가정으로서 신빙성이나 설득력이 있는 가로 평가된다.
둘째, 현상은 그것에 관한 가정에서 독립해서 존재하기도 하는데 일반적으로 현상에 관한 우리의 가정은 그 현상의 대략적인 근사치에 불과하다.
셋째, 현상에 대한 다양한 관점을 통해서 현실은 접근 가능해진다. 연구자가 지향하는 것은 현실의 정확한 재현이 아니라 현실을 드러내 보이는 것이다(Hammersley, 1992).
인터뷰의 타당도를 위한 접근 방법 중 하나는 심층 인터뷰 과정에서 자료의 진정성이 어느 정도까지 확보되었는지를 자료의 형식적인 측면에서 검증하는 것이다.
인터뷰 상황에서 연구 참여자가 그들의 관점과 일치하지 않는 증언을 의식적·무의식적으로 하고 있진 않은지, 이러한 분석을 통해 어떤 왜곡이 자료에 조직적인 영향을 미치고 있진 않은지 고려해야 한다.
또한 인터뷰와 문자변환 작업이 끝난 후 다시 연구 참여자와 만나 그 의견을 듣는 것인데 이는 타당도를 검증하기 위해 연구 참여자와 대화에 의한 방법으로 이 경우 참여자의 발언 내용이 올바른지 아닌지 직접 확인할 수 있다(임은미·정성진·김은주, 2009).
본 연구에서도 인터뷰 이후 녹음된 파일은 전사 작업을 실시하였으며, 5번 이상을 읽은 후 연구자가 정리한 내용을 연구 참여자에게 보내 그들의 의도와 달라진 거나 왜곡된 것은 없는지 확인하는 절차를 거쳤다.
인터뷰 과정에서 혹시 연구 참여자들의 진정성을 방해하는 요인은 없는지 연구자 스스로 점검하고, 주변 환경의 상황 등에 대해서도 성찰해 보면서 자료 수집과 해석 과정의 타당도를 높였다.
이처럼 자료를 수집하고 해석하는 과정에서 주관성을 최소화하고 질적 연구의 내적 타당도를 높이기 위한 주요 사용 기법으로는 삼각검증법 (triangulation), 동료 검토(peer debriefing), 참여자 검토(member check), 지속 관찰(persistent observation)의 풍부한 자료의 수집 등이 있으며, 본 연구에서는 삼각검증법, 참여자 검토, 동료 검토 방법을 사용 하였다.
4) 삼각검증법
삼각검증법은 캠벨(Campbell, 1959)이 제안한 연구 방법으로, 삼각 검증법은 주제를 규명하기 위하여 서로 다른 3가지의 조작적 정의에 입각한 자료 수집 방법을 동원해야 한다는 것이다.
세 가지 유형의 삼각검증법을 제안하고 있는데
첫째는 자료 삼각검증법으로 다양한 자료의 원천을 활용하여 신뢰성을 검증하는 방법으로 본 연구에서는 전사된 글과 고가 와인과 관련된 논문과 서적, 연구보고서, 인터넷기사 등을 활용하였다.
둘째는 연구자 삼각검증법으로 다수의 연구자들을 참여시켜 지나친 편견과 주관을 배제하여 신뢰성을 높이고자 하는 방법으로 본 연구에서는 식음료 협회 위원 1인과 현재 S백화점의 vip와인고객 담당자 1인을 참여하게 하여 연구 결과에 대한 검토를 의뢰하였다.
셋째는 방법론적 삼각검증법으로 다양한 방법들을 활용하여 신뢰성을 높이는 방법으로 본 연구에서는 분석을 위한 참조 자료로 와인 동영상 시청 및 메모, 국제 소믈리에 심사기준, 고가 와인 판매 코너 답사, 와인 관련 카페 및 블로그 등이 사용되었다.
5) 참여자에 의한 검토
참여자 검토란 수집된 자료의 분류와 도출된 해석들이 정확한가를 알아 보기 위해 연구 참여자에게 다시 물어보며 점검, 검토하는 과정을 의미한다.
이는 피드백 가운데 매우 중요한 방법인데 참여자들의 인터뷰내용 의미 와 진행 상황, 연구자가 가진 시각에 대한 오해의 소지와 왜곡을 없앨 수 있기 때문이다(이명선·김춘미·고문희, 2004).
본 연구에서는 자료를 수집, 분석, 해석한 결과가 해석상의 문제가 없는지 정확한지를 검증하기 위해 3단계의 검증 과정을 거쳤으며.
첫째, 인터뷰가 이루어지고 녹음된 내용은 전사 작업을 하여 정리된 내용은 연구 참여자가 의도했던 내용과 일치되는지를 확인 하였다.
둘째, 전사된 내용을 5번 정독하면서 각각의 주제별 분류 작업을 실시하여 개념을 목록화하여 정리 하였다. 이 내용을 다시 연구 참여자에게 검토 받아 참여자의 의견과 일치하는지를 확인 하였으며
셋째, 참여 관찰과 현장관찰 메모장에 기록한 내용들을 연구 참여자에게 보여주고 일치하는지를 확인 하였다.
6) 동료 검토
동료 검토는 질적 연구의 자료 분석 작업에서 자료의 진실성을 확보하기 위하여 많이 사용되는 작업이다(Glasser & Strauss, 1967).
질적 연구에서는 연구자의 주관적인 생각이 강조될 우려가 있으므로 연구 주제에 능숙한 다른 전문가들과의 협의가 자료의 분석 시 필요하다. 다른 사람들에게 피드백을 부탁하는 것은 타당성 위협 요소와 연구자의 가정과 편견 그리고 논리나 방법론상의 결함을 밝히는데 매우 유용하다(김이정, 2007).
본 연구에서는 우선 자료 방법 및 절차가 적합하였는지, 수집된 자료들 이 연구 문제와 관련하여 타당했는지를 검토하였다.
다음으로는 개념을 주제별 분류하는 과정에서 개념의 차별성과 유사성을 기준으로 범주화가 이루어졌는지 연구자의 지도 교수님과 질적 연구를 연구한 경험이 있는 동료 연구자에게 의뢰 하였으며, 본 연구 주제나 현상에 익숙하지 않은 동료 연구자에게 검토를 의뢰하여 진행하였다.