Cách xây dựng chỉ báo nghiên cứu

Có thể hình dung thao tác hóa theo một chuỗi truy vết: khái niệm → chiều cạnh → thuộc tính quan sát → chỉ báo → thang đo/quy tắc ghi nhận → kiểm tra chất lượng. Chuỗi này quan trọng vì một chỉ báo chỉ có giá trị khi người nghiên cứu giải thích được nó đại diện cho thuộc tính nào và thuộc tính đó thuộc phần nào của khái niệm. Nếu không truy vết được, chỉ báo dù nghe hợp lý vẫn có nguy cơ đo lệch nội dung cần nghiên cứu.

Chất lượng của bộ chỉ báo vì thế không nằm ở số lượng câu hỏi. Một bộ ngắn nhưng bao phủ đúng các chiều cạnh cần thiết có thể tốt hơn một bộ dài chứa nhiều câu lặp, câu kép hoặc câu chỉ liên quan lỏng lẻo đến khái niệm. Độ tin cậy cũng không thể thay thế cho việc đo đúng: các chỉ báo có thể trả lời rất nhất quán nhưng vẫn cùng nhau đo sai khái niệm. Vì vậy, quy trình xây dựng chỉ báo phải kết hợp cả logic khái niệm, khả năng quan sát, cách đo và kiểm tra giá trị của tập chỉ báo.

Xác định cấu trúc khái niệm trước khi xây dựng chỉ báo

Sai lầm phổ biến nhất khi xây dựng chỉ báo là đi thẳng từ tên khái niệm sang câu hỏi khảo sát. Cách làm này bỏ qua bước quan trọng nhất của thao tác hóa: xác định cấu trúc của khái niệm. Trong phương pháp luận đo lường, một construct trừu tượng chỉ có thể được đo hợp lý khi phạm vi ý nghĩa của nó đã được làm rõ và, nếu cần, được phân rã thành các chiều cạnh hoặc thành phần có ý nghĩa.

Khái niệm, chiều cạnh và chỉ báo khác nhau ở đâu?

Khái niệm nghiên cứu là ý niệm trừu tượng mà nghiên cứu muốn mô tả hoặc đo lường. Chiều cạnh là một bộ phận cấu thành có ý nghĩa của khái niệm. Thuộc tính quan sát là biểu hiện cụ thể của chiều cạnh có thể nhận biết hoặc ghi nhận. Chỉ báo là cách biến thuộc tính đó thành một đơn vị đo có thể tạo dữ liệu.

Bốn lớp này không nên dùng thay thế cho nhau. Chẳng hạn, một nhãn như “mức độ chủ động” vẫn là khái niệm hoặc chiều cạnh ở mức trừu tượng; nó chưa phải chỉ báo. Một câu như “Trong 4 tuần gần đây, tôi chủ động xem trước tài liệu trước buổi học” mới là chỉ báo vì người trả lời có thể đưa ra một phản hồi theo quy tắc đo xác định.

Cơ chế ở đây là quan hệ truy vết. Mỗi chỉ báo phải có thể đi ngược lên một thuộc tính, từ thuộc tính lên một chiều cạnh và từ chiều cạnh về khái niệm. Nếu một chỉ báo không có đường truy vết này, người nghiên cứu khó giải thích vì sao dữ liệu thu được lại đại diện cho khái niệm cần đo.

Phân rã khái niệm đến mức nào là đủ?

Không có lợi ích khi phân rã khái niệm vô hạn. Mục tiêu chỉ là đạt đến mức mà các thành phần đã đủ rõ để xác định biểu hiện quan sát. Nếu một chiều cạnh vẫn chỉ được mô tả bằng những từ trừu tượng như “tốt”, “cao”, “tích cực” hoặc “hiệu quả”, nó thường chưa đủ cụ thể. Ngược lại, nếu mỗi khác biệt nhỏ đều được tách thành một chiều cạnh độc lập, cấu trúc sẽ trở nên vụn và làm tăng số chỉ báo mà không tăng độ bao phủ.

Một cách thực hành hữu ích là lập bảng hai cột trước khi viết bất kỳ item nào: cột thứ nhất là chiều cạnh, cột thứ hai mô tả nội dung mà chiều cạnh đó phải bao phủ. Chỉ khi người nghiên cứu có thể giải thích rõ ranh giới giữa các chiều cạnh thì mới nên chuyển sang bước tìm thuộc tính quan sát. Bước này giữ cho quá trình xây dựng chỉ báo bám vào logic khái niệm thay vì bám vào cảm giác “câu này nghe có vẻ đúng”.

Chuyển từng chiều cạnh thành thuộc tính có thể quan sát

Chiều cạnh vẫn là một lớp khái niệm; nó chưa trực tiếp tạo ra dữ liệu. Bước tiếp theo là hỏi: nếu chiều cạnh này thực sự tồn tại hoặc thay đổi, ta có thể quan sát biểu hiện nào của nó? Câu hỏi này chuyển tư duy từ định nghĩa sang dấu hiệu thực tế.

Một thuộc tính quan sát tốt thường đáp ứng ba điều kiện. Thứ nhất, nó có quan hệ rõ với chiều cạnh cần đo. Thứ hai, nó đủ cụ thể để người trả lời hoặc người quan sát có thể nhận biết. Thứ ba, nó không lặp hoàn toàn ý nghĩa của một thuộc tính khác. Đây là điều kiện quan trọng vì chỉ báo được xây từ thuộc tính; nếu thuộc tính còn mơ hồ, câu hỏi được viết sau đó cũng chỉ là một phiên bản mơ hồ hơn của cùng vấn đề.

Ví dụ, với một chiều cạnh liên quan đến việc chuẩn bị học tập, “có thái độ học tập tốt” không phải thuộc tính quan sát tốt vì chữ “tốt” đòi hỏi người nghiên cứu tự suy diễn. Các biểu hiện như “xem trước tài liệu”, “đặt mục tiêu cho buổi tự học” hoặc “chuẩn bị câu hỏi trước giờ học” cụ thể hơn vì chúng có thể được ghi nhận.

Điểm cần phân biệt là thuộc tính chưa phải chỉ báo. “Xem trước tài liệu” mới là biểu hiện cần đo; để thành chỉ báo, nó còn phải được diễn đạt thành một câu hoặc biến quan sát với đối tượng, bối cảnh và cách trả lời xác định.

Khi một thuộc tính chứa hai biểu hiện khác nhau, nên cân nhắc tách nó trước khi viết chỉ báo. Chẳng hạn, “theo dõi tiến độ và điều chỉnh kế hoạch” chứa ít nhất hai hành vi. Một người có thể thường xuyên theo dõi nhưng hiếm khi điều chỉnh. Nếu gộp cả hai vào một chỉ báo, câu trả lời không cho biết chính xác hành vi nào đang được phản ánh. Tách các biểu hiện như vậy làm tăng tính đơn nhất của phép đo, dù đổi lại bộ chỉ báo có thể dài hơn.

Cũng không có lý do để giữ một thuộc tính chỉ vì nó có liên quan chung đến chủ đề. Nếu không giải thích được thuộc tính đó đại diện cho chiều cạnh nào, hoặc người tham gia không thể quan sát/nhớ lại nó với mức rõ ràng hợp lý, thuộc tính đó nên được xem lại trước khi chuyển sang bước viết chỉ báo.

Biến thuộc tính quan sát thành chỉ báo đo lường

Khi thuộc tính đã đủ cụ thể, việc viết chỉ báo trở thành một bài toán thiết kế phép đo: làm sao để phản hồi của người tham gia tương ứng với đúng thuộc tính cần ghi nhận. Một chỉ báo không chỉ cần “đúng ý”; nó còn phải đủ rõ để những người khác nhau hiểu câu theo cùng một hướng và có thể chọn câu trả lời theo một quy tắc nhất quán.

Một chỉ báo tốt cần có những thành phần nào?

Với chỉ báo dạng câu hỏi hoặc phát biểu, nên kiểm tra tối thiểu bốn thành phần:

·         Đối tượng hoặc chủ thể: Xác định ai hoặc cái gì đang được mô tả

·         Biểu hiện cụ thể: Nêu một hành vi, đặc tính hoặc trạng thái có thể nhận biết

·         Khung tham chiếu: Bổ sung bối cảnh hoặc khoảng thời gian khi trí nhớ và tần suất có ảnh hưởng đến câu trả lời

·         Quy tắc phản hồi: Xác định người trả lời sẽ ghi nhận tần suất, mức độ, sự đồng ý hoặc một dạng thông tin phù hợp khác

Ví dụ, từ thuộc tính “xem trước tài liệu”, câu “Tôi là người học chủ động” vẫn quá rộng vì người trả lời có thể dựa vào nhiều hành vi khác nhau. Câu “Trong 4 tuần gần đây, tôi xem trước tài liệu trước khi buổi học bắt đầu” thu hẹp đối tượng đo xuống một biểu hiện cụ thể và một khung thời gian rõ hơn.

Nguyên tắc chuyên môn quan trọng là một chỉ báo nên tập trung vào một ý chính. Điều này không có nghĩa mọi câu phải thật ngắn; nó có nghĩa phản hồi phải có một cách diễn giải chính. Khi một câu chứa hai hành vi, hai điều kiện hoặc hai đánh giá độc lập, người trả lời có thể đồng ý với phần này nhưng không đồng ý với phần kia, khiến dữ liệu mất tính xác định.

Các lỗi khiến chỉ báo không đo được đúng thuộc tính

Một số lỗi có thể được phát hiện ngay trước khi thu thập dữ liệu:

·         Câu kép: Gộp hai hành vi hoặc hai đánh giá độc lập trong cùng một item

·         Từ mơ hồ: Dùng các từ như “thường xuyên”, “đầy đủ”, “tốt” nhưng không có khung tham chiếu phù hợp

·         Khái niệm hóa lại thuộc tính: Viết item bằng một nhãn trừu tượng khác thay vì mô tả biểu hiện có thể quan sát

·         Dẫn dắt: Cách diễn đạt khiến một phương án trả lời có vẻ đúng hoặc được mong đợi hơn

·         Không truy vết được: Không chỉ ra item đang đại diện cho thuộc tính hoặc chiều cạnh nào

Một chỉ báo có thể được diễn đạt trôi chảy nhưng vẫn sai về phép đo. Vì vậy, sau khi viết mỗi item, nên thực hiện kiểm tra truy vết ngược: “Nếu chỉ nhìn vào dữ liệu của item này, tôi đang biết điều gì về thuộc tính? Thuộc tính đó đóng góp gì cho chiều cạnh? Chiều cạnh đó có nằm trong khái niệm đã định nghĩa không?”. Nếu chuỗi trả lời bị đứt ở bất kỳ điểm nào, item cần được sửa hoặc loại.

Gắn chỉ báo với thang đo và quy tắc ghi nhận

Chỉ báo chỉ vận hành được khi cách ghi nhận dữ liệu phù hợp với nội dung cần đo. Đây là lý do không nên chọn một định dạng trả lời trước rồi ép tất cả chỉ báo vào cùng định dạng. Một thuộc tính về tần suất hành vi, một đánh giá về mức độ và một trạng thái có/không có thể cần cách ghi nhận khác nhau.

Ví dụ, nếu chỉ báo hỏi về việc “xem trước tài liệu”, thang tần suất như “không bao giờ” đến “luôn luôn” thường diễn giải trực tiếp hơn thang “hoàn toàn không đồng ý” đến “hoàn toàn đồng ý”. Ngược lại, một phát biểu về mức độ đồng thuận với một nhận định có thể phù hợp với thang đồng ý. Sự khớp giữa nội dung item và cách phản hồi giảm bớt lớp suy luận mà người trả lời phải tự tạo.

Trong một bộ chỉ báo nhiều item, tính nhất quán của cách trình bày cũng có giá trị vì giảm tải nhận thức cho người trả lời. Tuy nhiên, nhất quán hình thức không nên được đặt cao hơn tính phù hợp về đo lường. Nếu hai thuộc tính cần hai loại thông tin khác nhau, dùng hai quy tắc ghi nhận phù hợp thường hợp lý hơn việc ép chúng thành một thang duy nhất chỉ để bảng hỏi trông đồng đều.

Phần này cũng có giới hạn rõ ràng: chọn thang đo không đồng nghĩa với thiết kế toàn bộ bảng hỏi. Thứ tự câu hỏi, logic phân nhánh, lấy mẫu hay quy trình phân tích dữ liệu là các quyết định khác. Trong phạm vi xây dựng chỉ báo, câu hỏi trọng tâm chỉ là: cách phản hồi này có biến đúng thuộc tính cần quan sát thành dữ liệu hay không?

Kiểm tra tập chỉ báo có đo đúng và đủ khái niệm hay không

Chất lượng của từng item riêng lẻ chưa đủ bảo đảm chất lượng của cả phép đo. Bộ chỉ báo còn phải được đánh giá ở cấp tập hợp: nó có bao phủ đủ cấu trúc khái niệm, có tập trung vào đúng nội dung và có tạo ra dữ liệu nhất quán ở mức cần thiết hay không.

Kiểm tra độ bao phủ và giá trị nội dung

Bước đầu nên là kiểm tra độ bao phủ khái niệm. Lập ma trận trong đó hàng là chiều cạnh, cột là các chỉ báo. Nếu một chiều cạnh quan trọng không có item nào, phép đo thiếu nội dung dù các item còn lại có thể rất rõ. Ngược lại, nếu một chiều cạnh có quá nhiều item gần như lặp nhau trong khi chiều cạnh khác chỉ có một item yếu, tổng số câu cao vẫn không giải quyết được mất cân bằng.

Giá trị nội dung tập trung vào câu hỏi: tập chỉ báo có đại diện đầy đủ và phù hợp cho nội dung mà khái niệm cần bao phủ hay không. Việc rà soát bởi người có hiểu biết về lĩnh vực và phương pháp đo lường thường hữu ích ở đây vì họ có thể phát hiện khoảng trống, item lạc nội dung hoặc cách diễn đạt khiến item đo sang một ý khác.

Không có một con số chỉ báo tối ưu cố định cho mọi chiều cạnh. Với thang đo nhiều item, khoảng ba chỉ báo cho một chiều cạnh thường được dùng như một điểm khởi đầu thực dụng, vì ít hơn có thể làm giảm khả năng kiểm tra tính nhất quán và cấu trúc. Tuy nhiên đây không phải quy tắc cứng. Chiều cạnh đơn giản có thể cần ít hơn; chiều cạnh rộng hoặc có nhiều biểu hiện quan sát có thể cần nhiều hơn. Mục tiêu là đủ để bao phủ nội dung mà không tạo dư thừa.

Phân biệt giá trị đo lường với độ tin cậy

Độ tin cậy trả lời câu hỏi khác với giá trị. Nó liên quan đến mức độ các chỉ báo tạo dữ liệu nhất quán, trong khi giá trị liên quan đến việc phép đo có thực sự đại diện cho khái niệm dự kiến hay không. Một bộ item có thể rất nhất quán vì chúng lặp gần cùng một ý, nhưng vẫn bỏ sót các chiều cạnh quan trọng.

Trong nhiều nghiên cứu ứng dụng, Cronbach's alpha khoảng 0,70 trở lên thường được dùng như một mốc tham khảo ban đầu cho độ nhất quán nội bộ. Mốc này không phải tiêu chuẩn tuyệt đối và không thể dùng như bằng chứng rằng thang đo “đúng”. Alpha rất cao, chẳng hạn trên khoảng 0,95, thậm chí có thể là tín hiệu để xem lại khả năng các item đang quá trùng lặp về nội dung.

Vì vậy, thứ tự đánh giá hợp lý là bắt đầu từ logic nội dung và cấu trúc, sau đó mới xem các bằng chứng về tính nhất quán. Nếu làm ngược, nhà nghiên cứu có thể giữ một bộ item chỉ vì chỉ số đẹp dù bộ đó đo một phạm vi quá hẹp. Giá trị cấu trúc, khi cần, tiếp tục xem xét liệu các chỉ báo có tổ chức theo cấu trúc khái niệm đã giả định hay không; nhưng việc triển khai các mô hình thống kê cụ thể nằm ngoài phạm vi xây dựng chỉ báo cơ bản của bài này.

Một checklist ngắn trước khi chốt bộ chỉ báo có thể gồm:

·         Bao phủ: Mỗi chiều cạnh cần đo đều có chỉ báo đại diện

·         Truy vết: Mỗi chỉ báo đều quay về được một thuộc tính và chiều cạnh cụ thể

·         Rõ nghĩa: Người trả lời không phải tự đoán item đang hỏi điều gì

·         Đơn nhất: Một item không gộp nhiều ý độc lập

·         Phù hợp thang đo: Cách phản hồi tương ứng với bản chất thông tin cần ghi nhận

·         Giá trị và độ tin cậy: Không dùng một chỉ số nhất quán để thay thế cho việc kiểm tra đo đúng

Thực hành quy trình xây dựng chỉ báo theo một ví dụ xuyên suốt

Giả sử nghiên cứu muốn xây dựng chỉ báo cho một khái niệm giả định là “mức độ chủ động học tập”. Ví dụ dưới đây chỉ dùng để minh họa quy trình thao tác hóa, không phải một thang đo đã được xác nhận giá trị.

Ma trận từ khái niệm đến chỉ báo

Trước hết, khái niệm được mô tả trong phạm vi nghiên cứu là mức độ người học chủ động chuẩn bị, tham gia và tự theo dõi hoạt động học tập. Từ phạm vi đó, có thể tạo một ma trận làm việc như sau:

Điểm đáng chú ý không phải là tên của các item mà là đường truy vết của chúng. Chỉ báo “tôi kiểm tra mức độ hoàn thành mục tiêu” xuất phát từ thuộc tính “kiểm tra tiến độ”, thuộc chiều cạnh “tự theo dõi”. Nếu một item như “tôi là một sinh viên tốt” được thêm vào, nó không có quan hệ đủ rõ với một thuộc tính trong ma trận và nên bị loại hoặc viết lại.

Checklist trước khi chốt bộ chỉ báo

Sau khi có ma trận ban đầu, nên rà soát theo thứ tự sau:

1.    Kiểm tra cấu trúc: Các chiều cạnh có phản ánh đúng phạm vi khái niệm đã xác định hay không

2.    Kiểm tra thuộc tính: Mỗi chiều cạnh đã có đủ biểu hiện có thể quan sát hay chưa

3.    Kiểm tra item: Mỗi thuộc tính đã được chuyển thành chỉ báo một ý, rõ nghĩa và có khung tham chiếu phù hợp hay chưa

4.    Kiểm tra thang đo: Cách trả lời có phù hợp với loại thông tin mà item cần ghi nhận hay không

5.    Kiểm tra bao phủ: Có chiều cạnh nào thiếu item hoặc bị một chiều cạnh khác lấn át về số lượng hay không

6.    Kiểm tra giá trị và độ tin cậy: Bộ chỉ báo có bằng chứng cho thấy đo đúng nội dung và tạo dữ liệu đủ nhất quán hay chưa

Quy trình này cũng trả lời câu hỏi khi nào nên tách một thuộc tính thành nhiều chỉ báo. Nếu thuộc tính chứa nhiều biểu hiện khác nhau mà một phản hồi không thể đại diện rõ cho tất cả, nên tách. Ngược lại, không cần tạo thêm item chỉ để đạt một số lượng đẹp. Mỗi chỉ báo mới phải làm tăng độ bao phủ hoặc khả năng đo; nếu chỉ diễn đạt lại cùng một ý, nó chủ yếu làm tăng độ dài và nguy cơ dư thừa.

Cách kiểm tra cuối cùng là truy vết hai chiều. Đi xuôi từ khái niệm xuống để xem mọi phần cần đo đã có chỉ báo; rồi đi ngược từ từng chỉ báo lên để xem không item nào tồn tại ngoài cấu trúc đã định nghĩa. Khi cả hai hướng đều nhất quán, bộ chỉ báo có nền tảng phương pháp luận tốt hơn để bước sang giai đoạn thử nghiệm và đánh giá bằng dữ liệu.

Xây dựng chỉ báo nghiên cứu là quá trình thao tác hóa có truy vết, không phải hoạt động viết câu hỏi theo cảm tính. Nhà nghiên cứu cần xác định rõ cấu trúc khái niệm, chuyển từng chiều cạnh thành thuộc tính có thể quan sát, diễn đạt thuộc tính thành chỉ báo một ý, gắn chỉ báo với quy tắc ghi nhận phù hợp và sau đó kiểm tra độ bao phủ, giá trị cùng độ tin cậy của cả tập.

Một bộ chỉ báo tốt không nhất thiết là bộ có nhiều item hay có một chỉ số nhất quán cao. Điều quan trọng hơn là mỗi item đều có lý do tồn tại: nó đại diện cho một thuộc tính cụ thể, thuộc một chiều cạnh xác định và đóng góp vào việc đo đúng phạm vi khái niệm. Nếu duy trì được chuỗi khái niệm → chiều cạnh → thuộc tính → chỉ báo → đo lường → kiểm tra, việc xây dựng chỉ báo sẽ trở thành một quy trình có thể giải thích, kiểm tra và lặp lại thay vì một danh sách câu hỏi dựa trên trực giác.