Cách đối chiếu kết quả nghiên cứu với mục tiêu

Cách làm hiệu quả nhất là biến từng mục tiêu thành một đơn vị có thể kiểm tra, liên kết mục tiêu đó với bằng chứng cần có, đưa kết quả thực tế vào cùng một cấu trúc và sau đó xác định rõ: đạt, đạt một phần hay chưa đạt. Cách tiếp cận này giúp việc đánh giá mức hoàn thành dựa trên bằng chứng thay vì dựa trên cảm nhận về việc kết quả có “đẹp” hay thuận lợi hay không.

Chuẩn hóa mục tiêu ban đầu thành tiêu chí có thể đối chiếu

Trước khi xem xét kết quả, cần quay lại đúng phiên bản mục tiêu đã được xác lập trong đề cương, kế hoạch hoặc giao thức nghiên cứu. Mục tiêu này đóng vai trò là điểm tham chiếu. Không nên sửa cách hiểu của mục tiêu sau khi đã biết kết quả chỉ để làm cho nghiên cứu có vẻ hoàn thành hơn.

Nếu một mục tiêu được viết quá rộng, hãy tách nó thành các thành phần có thể kiểm tra nhưng không thay đổi ý nghĩa ban đầu. Chẳng hạn, mục tiêu “đánh giá thực trạng sử dụng dịch vụ và các yếu tố liên quan” thực tế chứa ít nhất hai yêu cầu: mô tả thực trạng và phân tích các yếu tố liên quan. Có kết quả về thực trạng nhưng chưa phân tích yếu tố liên quan thì chưa thể coi toàn bộ mục tiêu đã được đáp ứng.

Với mỗi mục tiêu, cần xác định bốn yếu tố:

·         Đối tượng hoặc hiện tượng cần nghiên cứu

·         Biến số, nội dung hoặc mối quan hệ phải được làm rõ

·         Phạm vi đối tượng, thời gian hoặc bối cảnh đã quy định

·         Loại kết quả cần có để trả lời được mục tiêu

Bước này tạo ra tiêu chí so sánh rõ ràng. Nếu mục tiêu yêu cầu “so sánh”, kết quả phải chứa phép so sánh phù hợp. Nếu mục tiêu yêu cầu “xác định mối liên hệ”, việc chỉ trình bày tỷ lệ hoặc giá trị trung bình chưa đủ. Nếu mục tiêu chỉ yêu cầu “mô tả”, ngược lại, không nhất thiết phải có một mô hình phân tích quan hệ mới được xem là hoàn thành.

Trường hợp mục tiêu đã được thay đổi chính thức trong quá trình nghiên cứu, việc đối chiếu nên dựa trên phiên bản được phê duyệt hoặc xác nhận sau cùng, đồng thời ghi nhận rõ sự thay đổi. Điều cần tránh là thay đổi mục tiêu hồi cứu chỉ vì kết quả thực tế khác với dự kiến.

Lập ma trận đối chiếu mục tiêu, kết quả và bằng chứng

Một ma trận đối chiếu giúp tránh tình trạng đọc toàn bộ phần kết quả rồi đưa ra nhận xét chung chung rằng nghiên cứu “đã đạt mục tiêu”. Mỗi mục tiêu nên có một hàng riêng, trong đó thể hiện trực tiếp bằng chứng nào được dùng để đánh giá.

Có thể sử dụng cấu trúc như sau:

Cột “bằng chứng cần có” đặc biệt quan trọng vì nó tạo cầu nối giữa mục tiêu và kết quả. Bằng chứng có thể là số liệu mô tả, kiểm định thống kê, mô hình phân tích, chủ đề định tính, kết quả quan sát hoặc loại dữ liệu khác phù hợp với thiết kế nghiên cứu. Không nên dùng một loại bằng chứng giống nhau cho mọi mục tiêu nếu bản chất của các mục tiêu khác nhau.

Sau đó, cần truy vết từng kết quả về đúng mục tiêu mà nó phục vụ. Một bảng số liệu hoặc một phân tích có thể hỗ trợ nhiều mục tiêu, nhưng phải chỉ ra được nó trả lời phần nào của từng mục tiêu. Ngược lại, một kết quả thú vị nhưng không liên quan trực tiếp đến bất kỳ mục tiêu ban đầu nào không nên được dùng để chứng minh rằng nghiên cứu đã hoàn thành mục tiêu.

Ví dụ giả định, nếu mục tiêu thứ hai là “phân tích mối liên hệ giữa A và B”, nghiên cứu đã thu đủ dữ liệu và thực hiện đúng phân tích nhưng không phát hiện mối liên hệ đáng kể, mục tiêu vẫn có thể được đánh giá là đã hoàn thành. Nghiên cứu đã trả lời câu hỏi về mối liên hệ; câu trả lời đơn giản là bằng chứng thu được không cho thấy mối liên hệ trong phạm vi dữ liệu và phương pháp đã sử dụng.

Xác định mức hoàn thành của từng mục tiêu

Việc đánh giá nên được thực hiện ở cấp độ từng mục tiêu trước khi tổng hợp cho toàn bộ nghiên cứu. Ba mức “đạt”, “đạt một phần” và “chưa đạt” thường đủ để thể hiện khác biệt về mức độ hoàn thành mà không tạo ra độ chính xác giả tạo.

Mục tiêu được xem là đạt khi nào?

Một mục tiêu có thể được đánh giá là đạt khi các thành phần chính của mục tiêu đều đã được xử lý và bằng chứng thu được đủ để đưa ra câu trả lời trong phạm vi nghiên cứu.

Điều này không đòi hỏi kết quả phải thuận chiều với giả thuyết hoặc kỳ vọng. Nếu mục tiêu là xác định sự khác biệt giữa hai nhóm và phân tích hợp lệ cho thấy chưa có đủ bằng chứng về sự khác biệt, nghiên cứu vẫn đã tạo ra câu trả lời đối với mục tiêu đó.

Mức “đạt” vì thế phản ánh khả năng trả lời mục tiêu, không phản ánh việc kết quả có tích cực hay hấp dẫn hay không.

Khi nào chỉ nên đánh giá là đạt một phần?

“Đạt một phần” phù hợp khi nghiên cứu đã trả lời được một phần đáng kể của mục tiêu nhưng vẫn còn thành phần được nêu rõ trong mục tiêu mà bằng chứng chưa bao phủ.

Ví dụ, mục tiêu yêu cầu đánh giá một hiện tượng ở ba nhóm đối tượng nhưng dữ liệu cuối cùng chỉ đủ để kết luận cho hai nhóm. Hoặc mục tiêu bao gồm cả mô tả thực trạng và phân tích nguyên nhân, trong khi nghiên cứu mới hoàn thành phần mô tả.

Trong trường hợp này, cần chỉ rõ phần nào đã được đáp ứng và phần nào chưa được đáp ứng. Chỉ ghi “đạt một phần” mà không xác định khoảng thiếu sẽ khiến việc đối chiếu mất giá trị.

Khi nào mục tiêu được xem là chưa đạt?

Mục tiêu nên được đánh giá là chưa đạt khi nghiên cứu không có bằng chứng đủ để trả lời nội dung cốt lõi của mục tiêu.

Nguyên nhân có thể là không thu được dữ liệu cần thiết, chỉ báo không đo đúng nội dung mục tiêu, một phân tích bắt buộc chưa được thực hiện hoặc phạm vi dữ liệu thực tế không còn tương ứng với đối tượng mà mục tiêu yêu cầu.

Cần phân biệt trường hợp này với “kết quả không như mong đợi”. Không tìm thấy hiệu ứng, mối liên hệ hoặc khác biệt không tự động đồng nghĩa với chưa đạt mục tiêu. Chỉ khi nghiên cứu không thể đưa ra câu trả lời có cơ sở cho mục tiêu thì vấn đề mới nằm ở mức độ hoàn thành.

Phân tích nguyên nhân chênh lệch giữa mục tiêu và kết quả

Sau khi xác định mục tiêu nào đạt một phần hoặc chưa đạt, bước tiếp theo là giải thích bản chất của khoảng chênh lệch. Không phải mọi chênh lệch đều có cùng ý nghĩa.

Chênh lệch do bản thân kết quả thực tế

Có những trường hợp nghiên cứu được triển khai đúng kế hoạch nhưng kết quả thực tế khác với dự đoán. Ví dụ, mối liên hệ được kỳ vọng không xuất hiện, một nhóm không khác nhóm còn lại hoặc xu hướng quan sát được trái với giả thuyết.

Đây không nhất thiết là thiếu hụt về mức hoàn thành. Nếu mục tiêu đã được trả lời bằng dữ liệu phù hợp, sự khác biệt giữa kỳ vọng và thực tế chính là một phần của phát hiện nghiên cứu.

Sai lầm thường gặp ở đây là đồng nhất “đạt mục tiêu” với “xác nhận giả thuyết”. Hai việc này không giống nhau. Mục tiêu quy định câu hỏi phải được giải quyết; giả thuyết chỉ mô tả một kết quả được dự đoán.

Chênh lệch do dữ liệu, phạm vi hoặc phương pháp

Chênh lệch có ý nghĩa khác nếu nghiên cứu không thể trả lời đầy đủ mục tiêu vì dữ liệu hoặc quá trình thực hiện.

Chẳng hạn, mẫu thực tế không bao phủ một nhóm đã nêu trong mục tiêu, một biến quan trọng không được đo đầy đủ hoặc chất lượng dữ liệu khiến một phân tích dự kiến không thể thực hiện. Khi đó, mức hoàn thành phải phản ánh giới hạn này thay vì chỉ dựa vào việc báo cáo đã có nhiều kết quả.

Khi giải thích, nên thể hiện theo chuỗi logic:

Mục tiêu yêu cầu gì → bằng chứng nào còn thiếu → vì sao thiếu → thiếu hụt đó ảnh hưởng đến khả năng kết luận như thế nào.

Cách trình bày này tốt hơn việc chỉ ghi “do hạn chế về thời gian” hoặc “do hạn chế dữ liệu”, bởi nó cho thấy trực tiếp hạn chế đó tác động đến mục tiêu nào và ở mức độ nào.

Tổng hợp mức hoàn thành của toàn bộ nghiên cứu

Sau khi từng mục tiêu đã được đánh giá riêng, mới nên đưa ra nhận định về mức hoàn thành chung.

Cách tổng hợp rõ ràng nhất là báo cáo trực tiếp số lượng và trạng thái của các mục tiêu, chẳng hạn: bốn mục tiêu đã được đáp ứng đầy đủ, một mục tiêu được đáp ứng một phần và không có mục tiêu nào hoàn toàn chưa được giải quyết. Cách trình bày này bảo toàn thông tin tốt hơn một nhận xét chung như “nghiên cứu cơ bản hoàn thành mục tiêu”.

Có thể tính tỷ lệ số mục tiêu hoàn thành trên tổng số mục tiêu khi các mục tiêu có vai trò tương đối tương đương. Tuy nhiên, một tỷ lệ duy nhất có thể gây hiểu nhầm nếu các mục tiêu khác nhau đáng kể về tầm quan trọng hoặc phạm vi. Ví dụ, việc hoàn thành ba mục tiêu phụ nhưng chưa trả lời được mục tiêu trung tâm không nên được diễn giải giống với trường hợp cả ba mục tiêu chính đều được đáp ứng.

Vì vậy, không nên tự gán trọng số hoặc điểm số cho từng mục tiêu sau khi đã biết kết quả chỉ để tạo một tỷ lệ hoàn thành. Nếu nghiên cứu thực sự cần hệ thống trọng số, tiêu chí đó nên có cơ sở rõ ràng và được xác định độc lập với kết quả đang được đánh giá.

Nhận định cuối cùng nên trả lời ba câu hỏi:

1.    Có bao nhiêu mục tiêu đã được trả lời đầy đủ

2.    Mục tiêu nào mới được trả lời một phần hoặc chưa thể trả lời

3.    Những khoảng thiếu đó có làm thay đổi kết luận chính của nghiên cứu hay không

Nhờ vậy, “mức hoàn thành” không chỉ là một con số mà phản ánh đúng cấu trúc thành công và giới hạn của nghiên cứu.

Trình bày kết quả đối chiếu trong báo cáo nghiên cứu

Phần đối chiếu nên tạo được liên kết trực tiếp giữa mục tiêu ở đầu nghiên cứu và các kết luận cuối cùng. Người đọc cần có khả năng lần theo một chuỗi rõ ràng: mục tiêu nào đã được đặt ra, kết quả nào trả lời mục tiêu đó và từ kết quả ấy có thể đưa ra kết luận ở mức nào.

Trong phần kết quả, nên trình bày dữ liệu và phân tích theo cấu trúc đủ để truy vết về mục tiêu. Sang phần thảo luận, có thể giải thích vì sao kết quả trả lời hoặc chưa trả lời đầy đủ từng mục tiêu, đặc biệt đối với các phát hiện trái dự kiến và các mục tiêu chỉ hoàn thành một phần. Phần kết luận sau đó nên phản ánh đúng mức bằng chứng đã có, tránh tuyên bố một mục tiêu đã hoàn thành nếu phần kết quả chưa tạo ra cơ sở tương ứng.

Một cách diễn đạt có tính kiểm chứng cao là:

“Mục tiêu thứ hai được đáp ứng vì phân tích đã đánh giá trực tiếp mối quan hệ được xác định trong mục tiêu. Kết quả không cho thấy bằng chứng về mối liên hệ trong phạm vi dữ liệu nghiên cứu; đây là kết quả của phép đánh giá chứ không phải bằng chứng cho thấy mục tiêu chưa được thực hiện.”

Với mục tiêu chưa hoàn thành đầy đủ, nên nêu trực tiếp giới hạn:

“Mục tiêu thứ ba mới được đáp ứng một phần do dữ liệu chỉ bao phủ hai trong ba nhóm đối tượng được xác định ban đầu; vì vậy, kết quả chưa cho phép khái quát kết luận cho toàn bộ phạm vi của mục tiêu.”

Cách viết này tránh hai cực đoan: tuyên bố tất cả mục tiêu đều đạt dù bằng chứng còn thiếu, hoặc coi nghiên cứu là thất bại chỉ vì một số kết quả không phù hợp kỳ vọng.

Để đối chiếu kết quả nghiên cứu với mục tiêu ban đầu một cách đáng tin cậy, cần lấy từng mục tiêu làm đơn vị đánh giá, xác định bằng chứng cần thiết, gắn kết quả thực tế với bằng chứng đó và phân loại rõ mức đạt, đạt một phần hoặc chưa đạt. Những trường hợp có chênh lệch phải được giải thích dựa trên việc chênh lệch xuất phát từ kết quả thực tế hay từ hạn chế khiến nghiên cứu chưa thể trả lời mục tiêu.

Mức hoàn thành của nghiên cứu vì thế không được quyết định bởi việc kết quả có phù hợp kỳ vọng hay không, mà bởi mức độ nghiên cứu đã tạo ra bằng chứng đủ và phù hợp để trả lời các mục tiêu đã xác lập. Khi giữ nguyên nguyên tắc này, phần đánh giá cuối cùng sẽ phản ánh trung thực cả những gì nghiên cứu đã giải quyết được lẫn những giới hạn còn tồn tại.