Cách phân tích kết quả nghiên cứu

Vì vậy, phân tích kết quả nghiên cứu nên được hiểu như một chuỗi suy luận có kiểm soát: xác định chính xác cần trả lời điều gì, mô tả những gì dữ liệu đang thể hiện, áp dụng phương pháp phù hợp, kiểm tra điều kiện làm cho kết quả đáng tin cậy, rồi mới diễn giải ý nghĩa và phạm vi của kết luận. Với dữ liệu định lượng, bằng chứng thường thể hiện qua ước lượng, độ bất định và phép kiểm định hoặc mô hình; với dữ liệu định tính, bằng chứng nằm ở mẫu hình, chủ đề, mối quan hệ giữa các mã và mức độ nhất quán với dữ liệu gốc.

Bắt đầu phân tích bằng cách nối dữ liệu với câu hỏi nghiên cứu

Điểm xuất phát không phải là chọn một phép kiểm định hay mở phần mềm thống kê, mà là đối chiếu lại từng câu hỏi nghiên cứu với dữ liệu đã có. Mỗi câu hỏi cần được chuyển thành một nhiệm vụ phân tích cụ thể: đơn vị nào được phân tích, biến hoặc mã nào liên quan, cần mô tả một đặc điểm, so sánh các nhóm, ước lượng một mối liên hệ hay nhận diện một mẫu hình. Bước này tạo “đường nối” từ câu hỏi đến bằng chứng; nếu đường nối không rõ, kết quả tính toán sau đó có thể đúng về kỹ thuật nhưng không trả lời đúng vấn đề nghiên cứu.

Một cách thực hành hiệu quả là lập ma trận phân tích. Mỗi dòng tương ứng với một câu hỏi hoặc giả thuyết; các cột ghi nguồn dữ liệu, biến hoặc mã sử dụng, dạng kết quả cần thu được và phương pháp dự kiến. Chẳng hạn, nếu câu hỏi là một biện pháp can thiệp có làm thay đổi điểm số hay không, đầu ra cần hướng tới chênh lệch hoặc mức thay đổi kèm độ bất định, chứ không chỉ là hai giá trị trung bình đứng riêng lẻ.

Ở đây cần phân biệt “dữ liệu đã xử lý” với “dữ liệu đã được diễn giải”. Việc mã hóa, chuẩn hóa định dạng, xử lý giá trị thiếu theo kế hoạch hoặc tạo biến dẫn xuất mới chỉ chuẩn bị nguyên liệu. Giai đoạn phân tích vẫn phải kiểm tra xem cấu trúc dữ liệu có phù hợp với câu hỏi, đơn vị quan sát có đúng với thiết kế và các nhóm so sánh có được xác định nhất quán hay không. Đây không phải là quay lại làm sạch dữ liệu từ đầu, mà là xác nhận rằng đầu vào thực sự tương thích với nhiệm vụ phân tích.

Một sai lầm thường gặp là để kết quả nhìn thấy trong dữ liệu làm thay đổi câu hỏi ban đầu. Khám phá sau khi xem dữ liệu vẫn có giá trị, nhưng phát hiện thăm dò cần được phân biệt với phân tích đã được xác định trước. Nếu một giả thuyết mới chỉ xuất hiện sau khi quan sát kết quả, kết luận nên được trình bày như phát hiện khám phá thay vì bằng chứng xác nhận cho giả thuyết ban đầu.

Mô tả và khám phá dữ liệu trước khi kiểm định hoặc diễn giải

Sau khi xác định câu hỏi cần trả lời, bước tiếp theo là mô tả dữ liệu. Mục đích không chỉ để “trình bày bảng số”, mà để hiểu cấu trúc thực tế của bằng chứng trước khi áp dụng mô hình hoặc rút ra kết luận. Phân tích mô tả cho biết dữ liệu tập trung ở đâu, biến thiên đến mức nào, nhóm nào có quy mô khác biệt, phân bố có bất thường hay không và có những mẫu hình nào đáng chú ý.

Với dữ liệu định lượng, phần này thường gồm số quan sát, tỷ lệ, trung bình hoặc trung vị, độ lệch chuẩn hoặc khoảng tứ phân vị và các biểu đồ thích hợp. Việc chọn chỉ số phải dựa vào dạng phân bố và ý nghĩa của biến: trung bình có thể hữu ích khi dữ liệu tương đối cân đối, trong khi trung vị thường phản ánh vị trí trung tâm tốt hơn khi phân bố lệch mạnh. Các giá trị cực đoan hoặc ô dữ liệu quá thưa cần được nhận diện vì chúng có thể ảnh hưởng đến lựa chọn phương pháp, nhưng không nên tự động bị loại bỏ chỉ vì “không đẹp”.

Với dữ liệu định tính đã được mã hóa hoặc phân loại, khám phá ban đầu tập trung vào cách các mã, chủ đề hoặc nhóm ý nghĩa phân bố trong toàn bộ tập dữ liệu. Nhà nghiên cứu cần xem chủ đề nào xuất hiện ổn định, chủ đề nào chỉ gắn với một bối cảnh cụ thể, trường hợp nào đi ngược mẫu hình chung và mối quan hệ nào giữa các mã cần được xem xét sâu hơn. Số lần xuất hiện có thể hỗ trợ định hướng, nhưng tần suất không tự động đồng nghĩa với tầm quan trọng nếu thiết kế nghiên cứu không nhằm đo lường tỷ lệ.

Giá trị của bước mô tả nằm ở việc kiểm tra xem câu chuyện ban đầu về dữ liệu có hợp lý không. Nếu nhóm nghiên cứu dự kiến hai nhóm tương đương nhưng mô tả cho thấy khác biệt nền có thể ảnh hưởng đến diễn giải, phân tích tiếp theo phải tính đến cấu trúc đó nếu thiết kế và kế hoạch cho phép. Ngược lại, một chênh lệch mô tả nhìn có vẻ lớn cũng chưa đủ để khẳng định có mối liên hệ ổn định, bởi độ bất định và cấu trúc mẫu chưa được đánh giá.

Chọn và thực hiện phương pháp phân tích phù hợp với dữ liệu

Phương pháp phân tích phải được chọn từ câu hỏi, thiết kế nghiên cứu và cấu trúc dữ liệu, không phải từ mong muốn tạo ra một kết quả “có ý nghĩa”. Kế hoạch phân tích hoặc protocol của nghiên cứu là tài liệu tham chiếu chính để xác định biến, mô hình, ngưỡng quyết định và phần phân tích mang tính xác nhận; thay đổi sau khi đã xem dữ liệu cần có lý do phương pháp rõ ràng và được ghi nhận. Cùng một câu hỏi về khác biệt giữa các nhóm có thể cần cách phân tích khác nhau nếu biến kết quả là liên tục hay phân loại, các quan sát độc lập hay lặp lại, mẫu cân bằng hay phân cụm. Với nghiên cứu định tính, cách phân tích cũng phụ thuộc vào mục tiêu là mô tả chủ đề, giải thích cơ chế hay xây dựng quan hệ giữa các khái niệm.

Với dữ liệu định lượng

Phân tích định lượng thường chuyển dữ liệu thành các ước lượng và độ bất định. Nếu mục tiêu là so sánh, trọng tâm nên là độ lớn của chênh lệch và khoảng ước lượng của nó; nếu mục tiêu là đánh giá mối liên hệ, trọng tâm có thể là hệ số, tỷ số hoặc tham số của mô hình. Phép kiểm định giả thuyết có thể bổ sung bằng chứng, nhưng phải được đặt trong kế hoạch phân tích và điều kiện của thiết kế.

Ví dụ, khi kế hoạch quy định mức ý nghĩa α=0,05, giá trị p có thể được so với ngưỡng đó để đánh giá mức độ không tương thích giữa dữ liệu và giả thuyết không trong mô hình đã chọn. Tuy nhiên, p-value không cho biết hiệu ứng lớn hay nhỏ, cũng không cho biết kết quả có quan trọng trong thực tế hay không. Vì thế, một kết quả tốt hơn nên đi kèm ước lượng hiệu ứng và khoảng tin cậy ở mức đã xác định trước, chẳng hạn 95% nếu đó là quy ước của kế hoạch phân tích.

Việc chọn mô hình phức tạp hơn chỉ hợp lý khi cấu trúc dữ liệu hoặc câu hỏi thực sự đòi hỏi. Dữ liệu lặp lại theo thời gian, dữ liệu phân cụm hoặc nhiều biến gây nhiễu đã được xác định từ thiết kế có thể cần mô hình phản ánh những phụ thuộc đó. Ngược lại, thêm nhiều biến hoặc thử nhiều mô hình sau khi nhìn thấy kết quả có thể làm tăng tính linh hoạt phân tích và khiến kết luận khó kiểm soát hơn.

Với dữ liệu định tính

Phân tích định tính đi từ mã hoặc đơn vị ý nghĩa tới mẫu hình, chủ đề và quan hệ có thể trả lời câu hỏi nghiên cứu. Cơ chế quan trọng là so sánh liên tục giữa các trường hợp: dữ liệu nào củng cố chủ đề, dữ liệu nào làm chủ đề cần điều chỉnh, và trường hợp trái chiều cho thấy giới hạn nào của cách giải thích hiện tại.

Một chủ đề không nên được giữ lại chỉ vì có nhiều trích đoạn tương tự. Nó cần có sự liên kết với câu hỏi nghiên cứu và được nâng đỡ bởi dữ liệu đủ đa dạng để giải thích phạm vi của chủ đề. Khi nghiên cứu có nhiều người mã hóa hoặc có quy trình kiểm tra chéo, mức độ nhất quán cần được đánh giá theo phương pháp đã chọn; nhưng không nên áp một chỉ số độ đồng thuận máy móc cho mọi truyền thống nghiên cứu định tính.

Dù là định lượng hay định tính, đầu ra của bước này phải là bằng chứng có thể truy vết về dữ liệu và phương pháp. Phương pháp càng phù hợp với thiết kế, mối liên hệ giữa kết quả và câu hỏi nghiên cứu càng rõ; phương pháp càng bị chọn theo kết quả mong muốn, nguy cơ diễn giải quá mức càng cao.

Kiểm tra giả định, độ vững và chất lượng bằng chứng

Một kết quả chưa đủ đáng tin chỉ vì phần mềm trả về một con số hoặc vì các chủ đề đã được đặt tên. Cần kiểm tra những điều kiện khiến phép phân tích có ý nghĩa. Với định lượng, đó có thể là tính độc lập của quan sát, dạng phân bố của sai số, quan hệ giữa biến, mức độ phù hợp của mô hình, phương sai, đa cộng tuyến hoặc cấu trúc dữ liệu bị phân cụm. Không phải mô hình nào cũng cần cùng một tập giả định; việc kiểm tra phải bám vào phương pháp thực tế đã sử dụng.

Nếu một giả định bị vi phạm, cách xử lý không phải lúc nào cũng là loại dữ liệu. Có thể cần phương pháp bền vững hơn, biến đổi cách mô hình hóa, điều chỉnh cấu trúc sai số hoặc thực hiện phân tích độ nhạy. Điểm cần quan sát là kết luận chính có giữ được hướng và ý nghĩa thực chất khi áp dụng những lựa chọn hợp lý khác hay không. “Độ vững” không có nghĩa mọi mô hình phải cho đúng cùng một con số, mà là kết luận không phụ thuộc hoàn toàn vào một quyết định phân tích mong manh.

Với định tính, chất lượng bằng chứng được kiểm tra bằng khả năng truy vết từ chủ đề về dữ liệu, sự nhất quán của quá trình mã hóa, việc xem xét trường hợp trái chiều và các hình thức đối chiếu phù hợp với thiết kế. Nếu nghiên cứu sử dụng nhiều nguồn dữ liệu, đối chiếu giữa các nguồn có thể cho thấy chủ đề nào hội tụ và chủ đề nào chỉ tồn tại trong một bối cảnh. Nếu có nhiều người phân tích, bất đồng có thể trở thành tín hiệu để xem lại định nghĩa mã thay vì chỉ là lỗi cần xóa bỏ.

Bước kiểm tra cũng giúp phát hiện ranh giới của kết luận. Khi nhiều phép phân tích được thử, khi dữ liệu có ít quan sát ở một nhóm, hoặc khi kết quả rất nhạy với một giả định, mức độ chắc chắn phải được hạ xuống tương ứng. Một kết luận khoa học tốt không che giấu sự bất định; nó chỉ rõ điều gì được dữ liệu hỗ trợ mạnh, điều gì còn phụ thuộc vào điều kiện và điều gì mới là gợi ý để nghiên cứu tiếp.

Diễn giải kết quả theo mức độ, độ bất định và bối cảnh

Diễn giải là lúc chuyển đầu ra phân tích thành ý nghĩa nghiên cứu. Với định lượng, không nên dừng ở câu “có ý nghĩa thống kê” hoặc “không có ý nghĩa thống kê”. Cần đọc đồng thời hướng của hiệu ứng, độ lớn, khoảng bất định và mức độ phù hợp với câu hỏi. Nếu một ước lượng là dương nhưng khoảng tin cậy rất rộng, dữ liệu có thể gợi ý một hướng tác động nhưng chưa xác định được mức độ đủ chính xác.

Ví dụ minh họa: một nghiên cứu ước lượng nhóm can thiệp cao hơn nhóm đối chứng 4,2 điểm, với khoảng tin cậy 95% từ 1,1 đến 7,3 điểm. Nếu phép kiểm định theo kế hoạch cũng đáp ứng tiêu chí ý nghĩa thống kê đã xác định trước, bằng chứng thống kê nhất quán với một khác biệt dương. Tuy nhiên, kết luận “khác biệt này quan trọng” vẫn cần một chuẩn ý nghĩa thực tiễn hoặc chuyên môn; nếu lĩnh vực chưa có ngưỡng như vậy, nên mô tả độ lớn và độ bất định thay vì tự gắn nhãn lớn hay nhỏ.

Tương tự, một kết quả không vượt qua ngưỡng ý nghĩa không chứng minh rằng “không có hiệu ứng”. Nó có thể phản ánh hiệu ứng nhỏ, dữ liệu ít chính xác hoặc khoảng bất định còn rộng. Câu hỏi phù hợp hơn là phạm vi giá trị nào vẫn còn tương thích với dữ liệu và liệu phạm vi đó có bao gồm những hiệu ứng đủ quan trọng về mặt thực tiễn hay không.

Với định tính, diễn giải cần trả lời chủ đề nói gì về câu hỏi nghiên cứu, trong bối cảnh nào nó xuất hiện và trường hợp nào làm giới hạn cách giải thích. Một chủ đề mạnh không nhất thiết là chủ đề xuất hiện nhiều nhất; nó là chủ đề có sức giải thích đối với câu hỏi và được nâng đỡ bởi các trường hợp đủ nhất quán, đồng thời không bỏ qua dữ liệu trái chiều.

Ranh giới quan trọng nhất là không biến quan hệ quan sát thành quan hệ nhân quả khi thiết kế không cho phép. Một mô hình có thể cho thấy hai biến liên quan sau khi điều chỉnh một số yếu tố, nhưng điều đó không tự động chứng minh biến này gây ra biến kia. Mức độ mạnh của ngôn ngữ kết luận phải tương xứng với thiết kế, độ bất định và độ vững của bằng chứng.

Tổng hợp phát hiện thành câu trả lời nghiên cứu có giới hạn

Giai đoạn cuối của phân tích là tổng hợp, không phải tiếp tục chạy thêm phép thử cho đến khi xuất hiện kết quả mong muốn. Mỗi câu hỏi nghiên cứu nên được trả lời bằng một chuỗi ngắn gồm phát hiện, bằng chứng, diễn giải và giới hạn. Cấu trúc này giúp tách điều dữ liệu thực sự cho thấy khỏi điều nhà nghiên cứu suy luận thêm.

·         Phát hiện: Mẫu hình, chênh lệch, mối liên hệ hoặc chủ đề chính được quan sát

·         Bằng chứng: Ước lượng, độ bất định, phép kiểm định, mô hình hoặc dữ liệu định tính nâng đỡ phát hiện

·         Diễn giải: Phát hiện trả lời câu hỏi nghiên cứu như thế nào và có ý nghĩa gì trong bối cảnh đã xác định

·         Giới hạn: Điều kiện, giả định, độ chính xác hoặc đặc điểm thiết kế giới hạn mức độ khái quát của kết luận

Giả sử câu hỏi là một chương trình đào tạo có cải thiện điểm đánh giá hay không. Quy trình tổng hợp hợp lý sẽ không chỉ báo “p nhỏ hơn ngưỡng”. Nó sẽ nêu mức thay đổi của hai nhóm hoặc chênh lệch đã ước lượng, khoảng bất định, cách mô hình xử lý cấu trúc dữ liệu theo kế hoạch, kết quả kiểm tra độ vững và cuối cùng là mức độ mà bằng chứng ủng hộ kết luận về hiệu quả trong phạm vi mẫu và thiết kế nghiên cứu. Nếu thiết kế không ngẫu nhiên, ngôn ngữ kết luận cần thận trọng hơn với quan hệ nhân quả.

Một phân tích có thể xem là hoàn tất khi các câu hỏi nghiên cứu đã có câu trả lời tương ứng, mỗi kết luận quan trọng đều truy được về bằng chứng, các phân tích xác nhận và khám phá được phân biệt, và các giới hạn có khả năng thay đổi cách hiểu kết quả đã được nêu rõ. Khi những điều này chưa đạt, chạy thêm kỹ thuật không nhất thiết làm kết quả tốt hơn; cần quay lại xem câu hỏi, phương pháp và logic suy luận đang thiếu mắt xích nào.

Phân tích kết quả nghiên cứu từ dữ liệu đã xử lý là một quy trình suy luận, không phải một thao tác thống kê đơn lẻ. Trình tự cốt lõi là nối dữ liệu với câu hỏi nghiên cứu, mô tả và khám phá cấu trúc dữ liệu, áp dụng phương pháp phù hợp, kiểm tra giả định và độ vững, diễn giải hiệu ứng hoặc chủ đề trong bối cảnh, rồi tổng hợp thành câu trả lời có giới hạn rõ ràng.

Chất lượng của kết luận phụ thuộc vào khả năng truy vết từ câu hỏi đến dữ liệu, từ dữ liệu đến phương pháp và từ phương pháp đến diễn giải. Khi độ lớn của hiệu ứng, độ bất định, trường hợp trái chiều và giới hạn thiết kế được xem xét cùng nhau, kết quả nghiên cứu mới phản ánh đúng mức bằng chứng mà dữ liệu thực sự cung cấp.