Thiết kế nghiên cứu định lượng là gì?

Vì vậy, thiết kế không đơn thuần là quyết định “dùng bảng hỏi”, “làm thực nghiệm” hay “phân tích bằng phần mềm thống kê”. Nó là hệ thống các quyết định liên kết với nhau. Câu hỏi nghiên cứu quyết định cần đo gì; khái niệm cần nghiên cứu quyết định cách hình thành biến; mục tiêu suy luận ảnh hưởng đến cách chọn thiết kế và mẫu; còn cấu trúc dữ liệu quyết định phương pháp phân tích phù hợp.

Một thiết kế chặt chẽ giúp dữ liệu thu được thực sự có khả năng trả lời câu hỏi nghiên cứu. Ngược lại, phân tích thống kê phức tạp không thể hoàn toàn sửa chữa một thiết kế vốn đo sai khái niệm, lấy mẫu không phù hợp hoặc không kiểm soát được nguồn sai lệch quan trọng.

Thiết kế định lượng vận hành như một chuỗi quyết định nghiên cứu

Điểm cốt lõi của thiết kế nghiên cứu định lượng nằm ở tính liên kết giữa các quyết định, chứ không nằm ở số lượng dữ liệu hay số kỹ thuật thống kê được sử dụng.

Quá trình thường bắt đầu từ một câu hỏi đủ cụ thể. Chẳng hạn, “sinh viên có hài lòng với phương pháp học trực tuyến không?” chủ yếu là câu hỏi mô tả. “Thời lượng học trực tuyến có liên quan đến kết quả học tập không?” chuyển sang câu hỏi về mối quan hệ. Trong khi đó, “phương pháp học A có làm kết quả học tập tốt hơn phương pháp B không?” đặt ra yêu cầu mạnh hơn về suy luận nguyên nhân – kết quả.

Ba câu hỏi có thể cùng sử dụng dữ liệu số nhưng cần những thiết kế khác nhau. Đây là lý do nghiên cứu định lượng không đồng nghĩa với một kiểu thiết kế duy nhất.

Sau khi xác định câu hỏi, nhà nghiên cứu phải chỉ ra đối tượng hoặc hiện tượng nào cần đo, đơn vị phân tích là gì, biến kết quả là gì và những yếu tố nào có thể ảnh hưởng đến kết quả. Sau đó mới đến quyết định về cách đo, thời điểm đo, cách chọn mẫu và cách phân tích.

Một nghiên cứu cũng không bắt buộc lúc nào cũng phải có giả thuyết. Nghiên cứu mô tả có thể tập trung ước lượng tỷ lệ, trung bình hoặc phân bố của một đặc điểm. Giả thuyết trở nên đặc biệt quan trọng khi nghiên cứu muốn kiểm định một mối quan hệ hoặc một khác biệt được xác định trước.

Điều cần tránh là xây dựng thiết kế theo chiều ngược lại: có sẵn bộ dữ liệu hoặc công cụ thống kê rồi mới tìm câu hỏi phù hợp. Khi đó, câu hỏi nghiên cứu dễ bị điều chỉnh theo những gì dữ liệu tình cờ cho phép thay vì dữ liệu được tạo ra để giải quyết đúng vấn đề nghiên cứu.

Đo lường biến là bước biến khái niệm thành dữ liệu số

Một trong những nhiệm vụ quan trọng nhất của thiết kế nghiên cứu định lượng là thao tác hóa khái niệm: chuyển một khái niệm trừu tượng thành những biến có thể quan sát và đo lường.

Ví dụ, “mức độ hài lòng” không thể được đưa trực tiếp vào một mô hình thống kê. Nhà nghiên cứu phải xác định hài lòng được biểu hiện qua những khía cạnh nào, sử dụng câu hỏi nào, thang trả lời nào và cách tổng hợp câu trả lời ra sao. Nếu khái niệm được định nghĩa không rõ, một bộ dữ liệu rất lớn vẫn có thể đo sai thứ nghiên cứu thực sự quan tâm.

Từ khái niệm đến biến quan sát

Quá trình đo lường thường bao gồm một chuỗi: khái niệm → định nghĩa thao tác → chỉ báo → biến → giá trị dữ liệu.

Giả sử nghiên cứu quan tâm đến “mức độ gắn kết của nhân viên”. Thay vì chỉ hỏi một câu chung chung, nhà nghiên cứu có thể xác định các biểu hiện cụ thể liên quan đến sự tham gia, cam kết hoặc ý định tiếp tục làm việc. Các biểu hiện này trở thành chỉ báo và được chuyển thành các mục đo.

Ở đây cần phân biệt việc gán số với việc đo một đại lượng định lượng. Chẳng hạn, mã hóa nhóm A thành 1 và nhóm B thành 2 không có nghĩa nhóm B “gấp đôi” nhóm A. Hai con số chỉ đóng vai trò nhãn cho các nhóm. Loại thang đo quyết định những phép toán và phương pháp thống kê nào có ý nghĩa.

Một trường hợp thường gây nhầm lẫn là thang Likert. Một mục trả lời từ “hoàn toàn không đồng ý” đến “hoàn toàn đồng ý” về bản chất tạo ra các mức có thứ tự. Khi nhiều mục được kết hợp thành một thang điểm, nhà nghiên cứu đôi khi xử lý tổng điểm như biến gần liên tục, nhưng lựa chọn đó cần phù hợp với cấu trúc thang đo và giả định phân tích chứ không nên được xem là mặc nhiên đúng.

Độ tin cậy và độ giá trị không phải cùng một vấn đề

Một phép đo có độ tin cậy khi nó tạo ra kết quả đủ nhất quán trong điều kiện thích hợp. Nhưng nhất quán chưa có nghĩa là đo đúng khái niệm.

Một chiếc cân luôn báo cao hơn trọng lượng thật 3 kg có thể rất ổn định nhưng vẫn bị sai hệ thống. Tương tự, một bảng hỏi có thể tạo ra điểm số nhất quán nhưng không phản ánh đúng khái niệm mà nghiên cứu muốn đo. Vì thế thiết kế định lượng cần xem xét cả độ tin cậy lẫn độ giá trị của phép đo.

Sai số đo lường cũng có hậu quả trực tiếp đối với phân tích. Một biến được đo quá nhiễu có thể làm mối liên hệ thực tế trở nên yếu hơn, làm tăng độ bất định hoặc khiến kết luận thay đổi. Kiểm soát chất lượng đo lường vì thế phải được thực hiện trước và trong quá trình thu thập dữ liệu, thay vì chỉ kiểm tra sau khi phân tích.

Các dạng thiết kế định lượng khác nhau phục vụ những mục tiêu suy luận khác nhau

Không có một thiết kế định lượng tốt nhất cho mọi câu hỏi. Giá trị của một thiết kế phụ thuộc vào việc nó có phù hợp với loại kết luận mà nghiên cứu muốn đưa ra hay không.

Trong thực nghiệm ngẫu nhiên, việc phân bổ ngẫu nhiên giúp các đặc điểm đã biết và chưa biết của người tham gia có xu hướng cân bằng hơn giữa các nhóm khi cỡ mẫu và quá trình thực hiện phù hợp. Nhờ đó, khác biệt quan sát được sau can thiệp có cơ sở mạnh hơn để liên hệ với chính can thiệp.

Khi ngẫu nhiên hóa không khả thi, bán thực nghiệm sử dụng những cấu trúc như nhóm so sánh, đo trước – sau hoặc các biến thiên tự nhiên trong chính sách và thời gian. Khả năng suy luận nhân quả khi đó phụ thuộc nhiều hơn vào giả định của thiết kế và khả năng loại trừ các cách giải thích thay thế.

Với nghiên cứu quan sát, nhà nghiên cứu không chủ động phân bổ phơi nhiễm hoặc can thiệp. Các thiết kế này rất phù hợp để mô tả quần thể, khảo sát mối liên hệ hoặc nghiên cứu những yếu tố không thể thao tác. Tuy nhiên, một mối tương quan quan sát được không tự động chứng minh quan hệ nhân quả.

Đây là một ranh giới quan trọng: việc dữ liệu được biểu diễn bằng con số và được phân tích bằng thống kê không tự tạo ra khả năng suy luận nhân quả. Khả năng đó chủ yếu đến từ cấu trúc thiết kế, giả định và cách kiểm soát các cách giải thích cạnh tranh.

Mẫu nghiên cứu và cách thu thập dữ liệu quyết định dữ liệu đại diện cho ai

Thiết kế định lượng không chỉ xác định “cần bao nhiêu người tham gia” mà còn phải trả lời câu hỏi quan trọng hơn: những người hoặc đơn vị được quan sát đại diện cho quần thể nào?

Trước khi chọn mẫu, cần xác định quần thể mục tiêu, tiêu chí đưa vào và loại trừ, đơn vị lấy mẫu cũng như khung lấy mẫu. Nếu khung lấy mẫu không bao phủ đúng quần thể, tăng kích thước mẫu có thể làm ước lượng chính xác hơn đối với một nhóm bị lệch nhưng không giải quyết được vấn đề đại diện.

Đây là lý do câu nói “mẫu càng lớn càng tốt” chỉ đúng một phần. Cỡ mẫu lớn làm giảm sai số ngẫu nhiên trong nhiều trường hợp, nhưng không tự loại bỏ sai lệch có hệ thống. Một khảo sát hàng chục nghìn người vẫn có thể cho kết quả sai nếu những người tham gia khác một cách có hệ thống so với nhóm mà nghiên cứu muốn suy rộng.

Cỡ mẫu nên được xác định dựa trên mục tiêu phân tích. Với nghiên cứu kiểm định giả thuyết, các yếu tố thường liên quan gồm kích thước hiệu ứng cần phát hiện, mức ý nghĩa thống kê, độ biến thiên và xác suất phát hiện hiệu ứng khi hiệu ứng thực sự tồn tại. Mức công suất thống kê 80% hoặc 90% thường được sử dụng trong thực hành, nhưng đây không phải những ngưỡng bắt buộc cho mọi nghiên cứu.

Thiết kế cũng cần tính đến mất mẫu, dữ liệu thiếu và cấu trúc phụ thuộc. Ví dụ, nếu người tham gia được lấy theo trường học, bệnh viện hoặc doanh nghiệp, các quan sát trong cùng một cụm có thể giống nhau hơn các quan sát thuộc cụm khác. Khi đó, coi mọi quan sát hoàn toàn độc lập có thể dẫn đến đánh giá sai độ bất định.

Cách thu thập dữ liệu cũng là một phần của thiết kế. Thay đổi người đo, công cụ, thời điểm hoặc quy trình giữa các nhóm có thể tạo ra khác biệt không xuất phát từ hiện tượng nghiên cứu. Chuẩn hóa quy trình thu thập giúp giảm một nguồn biến thiên không mong muốn trước khi dữ liệu bước vào phân tích.

Kiểm soát sai lệch và yếu tố nhiễu quyết định độ tin cậy của kết luận

Một nghiên cứu định lượng không chỉ cần tạo ra con số; nó phải tạo ra con số theo cách cho phép phân biệt tín hiệu nghiên cứu với những nguồn sai lệch khác.

Sai lệch chọn mẫu xuất hiện khi cơ chế đưa đối tượng vào nghiên cứu làm nhóm quan sát khác có hệ thống với quần thể hoặc nhóm so sánh. Sai lệch thông tin có thể xuất hiện khi biến được đo khác nhau giữa các nhóm. Yếu tố nhiễu xảy ra khi một biến có liên quan cả đến yếu tố đang nghiên cứu và kết quả, làm mối liên hệ quan sát được khó diễn giải.

Ví dụ, nếu nghiên cứu quan sát cho thấy những người tập thể dục thường xuyên có sức khỏe tốt hơn, tuổi, chế độ ăn, thu nhập hoặc tình trạng sức khỏe ban đầu đều có thể góp phần tạo nên khác biệt. Một mô hình hồi quy có thể điều chỉnh một số yếu tố đã đo được, nhưng không đảm bảo loại bỏ những yếu tố nhiễu chưa được đo hoặc được đo không chính xác.

Thiết kế tốt vì thế ưu tiên ngăn sai lệch từ trước khi thu thập dữ liệu. Ngẫu nhiên hóa, nhóm đối chứng, làm mù khi phù hợp, tiêu chuẩn hóa cách đo và lựa chọn mẫu có cấu trúc đều là những công cụ thiết kế. Phân tích thống kê sau đó bổ sung cho các biện pháp này chứ không thay thế chúng.

Hai khái niệm cũng cần được cân bằng là độ giá trị nội tại và khả năng khái quát. Kiểm soát điều kiện rất chặt có thể giúp xác định quan hệ trong phạm vi nghiên cứu rõ hơn, nhưng quần thể hoặc môi trường nghiên cứu đôi khi khác đáng kể với thực tế. Ngược lại, dữ liệu thực tế có thể phản ánh bối cảnh tự nhiên tốt hơn nhưng chứa nhiều nguồn nhiễu hơn.

Vì vậy, thiết kế không phải quá trình tối đa hóa một chỉ số duy nhất. Nó là việc lựa chọn sự đánh đổi hợp lý giữa kiểm soát, tính khả thi, chất lượng đo lường và phạm vi mà kết quả có thể được áp dụng.

Thiết kế phải được gắn với kế hoạch phân tích thống kê ngay từ đầu

Phân tích thống kê không phải một bước độc lập được lựa chọn sau khi dữ liệu đã thu thập xong. Cấu trúc của thiết kế tạo ra cấu trúc của dữ liệu, và cấu trúc dữ liệu giới hạn những phương pháp phân tích hợp lý.

Nếu biến kết quả liên tục, câu hỏi phân tích khác với trường hợp kết quả chỉ có hai trạng thái. Dữ liệu đếm có đặc điểm khác dữ liệu thời gian đến khi xảy ra một sự kiện. Một người được đo nhiều lần tạo ra các quan sát phụ thuộc, khác với việc mỗi người chỉ được đo một lần. Dữ liệu theo cụm cũng không thể luôn được xử lý như các quan sát độc lập.

Do đó, kế hoạch phân tích nên được xác định cùng lúc với thiết kế: biến nào là kết quả chính, biến nào là yếu tố giải thích, yếu tố nhiễu nào cần xử lý, dữ liệu thiếu sẽ được xem xét như thế nào và phép phân tích nào trực tiếp trả lời câu hỏi nghiên cứu.

Điều này còn giúp hạn chế một vấn đề khác: thử nhiều cách phân tích sau khi nhìn thấy dữ liệu rồi chỉ giữ lại kết quả thuận lợi. Khi giả thuyết, biến kết quả chính và chiến lược phân tích được xác định trước, ranh giới giữa phân tích được lên kế hoạch và phân tích khám phá trở nên rõ ràng hơn.

Đặc biệt, ý nghĩa thống kê không thể cứu một thiết kế yếu. Một giá trị p nhỏ không chứng minh rằng mẫu đại diện, biến được đo đúng hay yếu tố nhiễu đã được kiểm soát. Tương tự, khoảng tin cậy hẹp cho biết mức độ chính xác thống kê theo mô hình đang sử dụng nhưng không tự loại bỏ sai lệch hệ thống.

Vì thế khi diễn giải kết quả, câu hỏi quan trọng không chỉ là “kết quả có ý nghĩa thống kê không?” mà còn là “thiết kế này thực sự cho phép kết luận điều gì?”. Đây chính là điểm nối giữa thiết kế nghiên cứu, phân tích và chất lượng suy luận.

Cách xây dựng một thiết kế nghiên cứu định lượng theo trình tự

Một thiết kế có thể được tổ chức từ câu hỏi đến dữ liệu theo trình tự sau:

1.    Xác định câu hỏi nghiên cứu và làm rõ nghiên cứu muốn mô tả, ước lượng, khảo sát mối liên hệ hay đánh giá tác động

2.    Xác định quần thể và đơn vị phân tích để biết kết luận dự kiến áp dụng cho ai hoặc cho đối tượng nào

3.    Xác định các khái niệm và biến cần đo, sau đó xây dựng định nghĩa thao tác, chỉ báo và công cụ đo phù hợp

4.    Chọn dạng thiết kế dựa trên mục tiêu suy luận, trình tự thời gian, khả năng can thiệp và những ràng buộc thực tế hoặc đạo đức

5.    Xây dựng phương án lấy mẫu và cỡ mẫu dựa trên quần thể mục tiêu, sai số chấp nhận được và yêu cầu của phân tích

6.    Xác định trước các nguồn sai lệch và yếu tố nhiễu, đồng thời thiết kế biện pháp kiểm soát ngay trong quá trình thu thập dữ liệu

7.    Lập kế hoạch phân tích trước khi có kết quả, liên kết từng câu hỏi với biến, phép ước lượng hoặc mô hình thích hợp

8.    Kiểm tra tính nhất quán của toàn bộ chuỗi, bảo đảm câu hỏi, phép đo, mẫu, thiết kế và phân tích cùng hướng đến một kết luận có thể bảo vệ được

Một cách kiểm tra thực tế là đi ngược chuỗi này. Nếu dự kiến sử dụng một phép phân tích, hãy hỏi dữ liệu cần có cấu trúc gì. Nếu cần cấu trúc dữ liệu đó, hãy hỏi phải đo biến nào và vào thời điểm nào. Nếu phải đo những biến ấy, hãy quay lại xem chúng có thực sự đại diện cho khái niệm và câu hỏi nghiên cứu hay không.

Khi không thể nối liền các bước này bằng một logic rõ ràng, vấn đề thường nằm ở thiết kế chứ chưa phải ở kỹ thuật thống kê.

Thiết kế nghiên cứu định lượng có thể hiểu ngắn gọn là kiến trúc biến câu hỏi nghiên cứu thành một hệ thống đo lường và phân tích dữ liệu có chủ đích. Giá trị của thiết kế không nằm ở việc có nhiều biến, mẫu thật lớn hay sử dụng mô hình thống kê phức tạp, mà ở mức độ nhất quán giữa câu hỏi, cách đo, cách chọn mẫu, cấu trúc nghiên cứu và loại kết luận muốn đưa ra.

Khi các thành phần này được xác định trước và liên kết chặt chẽ, dữ liệu thu được không chỉ là những con số có thể tính toán. Chúng trở thành bằng chứng có khả năng trả lời đúng câu hỏi nghiên cứu, đồng thời cho thấy rõ kết luận nào có thể đưa ra và giới hạn nào cần được tôn trọng.