Phân biệt hiệu quả nghiên cứu và chất lượng nghiên cứu

Ngược lại, chất lượng nghiên cứu tập trung nhiều hơn vào bản thân nghiên cứu: câu hỏi có ý nghĩa không, thiết kế và phương pháp có phù hợp không, suy luận có chặt chẽ không, bằng chứng có đủ sức hỗ trợ kết luận không và quá trình nghiên cứu có đáng tin cậy không. REF 2029, chẳng hạn, mô tả việc đánh giá đầu ra nghiên cứu theo các thuộc tính như tính nguyên gốc, ý nghĩa và độ nghiêm ngặt; CoARA cũng chủ trương đặt đánh giá định tính và phản biện chuyên gia ở vị trí trung tâm, còn chỉ số định lượng giữ vai trò hỗ trợ.

Hiệu quả nghiên cứu và chất lượng nghiên cứu khác nhau ở tiêu chí cốt lõi nào?

Khác biệt quan trọng nhất nằm ở câu hỏi mà mỗi khái niệm cố gắng trả lời.

Vì vậy, một nghiên cứu không trở thành nghiên cứu chất lượng cao chỉ vì nó đạt mục tiêu ứng dụng, và cũng không trở thành nghiên cứu kém chất lượng chỉ vì kết quả thực tế không như kỳ vọng.

Sự phân tách này cũng xuất hiện trong những hệ thống đánh giá nghiên cứu quy mô lớn. REF 2029 hiện phân chia đánh giá thành Contribution to Knowledge and Understanding 55%, Engagement and Impact 25% và Strategy, People and Research Environment 20%. Điều đáng chú ý không nằm ở các trọng số cụ thể mà ở việc chất lượng đóng góp tri thức và tác động được đánh giá như những thành phần khác nhau thay vì coi chúng là một chỉ số duy nhất.

Chất lượng nghiên cứu được đánh giá qua những gì?

Chất lượng nghiên cứu không đơn giản là nghiên cứu “có kết quả tốt”. Nó liên quan đến độ vững chắc của quá trình tạo ra tri thức và giá trị của tri thức được tạo ra.

Độ nghiêm ngặt, tính nguyên gốc và ý nghĩa

Một cách tiếp cận có tính thể chế là ba tiêu chí được REF sử dụng cho đầu ra nghiên cứu: originality, significance và rigour — tương ứng với tính nguyên gốc, ý nghĩa và độ nghiêm ngặt. REF 2029 tiếp tục nhấn mạnh việc công nhận những nghiên cứu nghiêm ngặt, có ý nghĩa và nguyên gốc trên nhiều loại hình đầu ra, mục đích và phương pháp khác nhau.

Trong thực tế, điều này có nghĩa một nghiên cứu chất lượng cần xem xét ít nhất ba lớp:

·         Thiết kế và phương pháp: Phương pháp có thực sự trả lời được câu hỏi nghiên cứu hay không

·         Bằng chứng và suy luận: Dữ liệu có đủ sức hỗ trợ kết luận hay kết luận đã đi xa hơn những gì dữ liệu cho phép

·         Đóng góp tri thức: Nghiên cứu có tạo ra hiểu biết đáng kể, xác nhận đáng tin cậy hoặc sửa đổi hiểu biết hiện có hay không

Một kết quả đúng với kỳ vọng của nhà nghiên cứu nhưng được tạo ra từ mẫu thiên lệch, phép đo không phù hợp hoặc phân tích thiếu kiểm soát vẫn có vấn đề về chất lượng. Ngược lại, một nghiên cứu chặt chẽ bác bỏ giả thuyết ban đầu vẫn có thể là nghiên cứu chất lượng cao.

Chất lượng còn gắn với độ tin cậy của quá trình nghiên cứu

Research integrity là nền tảng quan trọng khác của chất lượng. Bộ Quy tắc ứng xử châu Âu về liêm chính nghiên cứu của ALLEA được Ủy ban châu Âu công nhận làm chuẩn tham chiếu cho các dự án nghiên cứu được EU tài trợ và nhấn mạnh thực hành nghiên cứu có trách nhiệm nhằm nâng cao chất lượng và độ tin cậy của thiết kế, thực hiện và phổ biến nghiên cứu.

Do đó, chất lượng không nên được đánh giá chỉ ở “kết quả cuối cùng”. Cách thu thập dữ liệu, tính minh bạch, giới hạn của phương pháp và mức độ phù hợp giữa bằng chứng với kết luận đều có ý nghĩa.

Hiệu quả nghiên cứu được đánh giá theo mục tiêu và kết quả ra sao?

Nếu chất lượng cần một chuẩn khoa học làm mốc, hiệu quả cần một mục tiêu xác định làm mốc.

OECD định nghĩa effectiveness trong đánh giá là mức độ một can thiệp đã hoặc dự kiến sẽ đạt các mục tiêu và kết quả của nó. Đồng thời, OECD lưu ý rằng rất khó đánh giá effectiveness nếu mục tiêu hoặc kết quả dự kiến ban đầu mơ hồ.

Áp dụng logic này cho nghiên cứu, câu hỏi đánh giá không nên chỉ là “nghiên cứu có hiệu quả không?”, mà phải cụ thể hơn:

Hiệu quả đối với mục tiêu nào?

Một dự án có thể đặt mục tiêu tạo bộ dữ liệu, kiểm định một giả thuyết, phát triển nguyên mẫu, cung cấp bằng chứng cho quyết định chính sách hoặc thay đổi một kết quả thực tế. Mỗi mục tiêu đòi hỏi chỉ báo hiệu quả khác nhau.

Ví dụ giả định, một chương trình đặt mục tiêu tuyển 800 người tham gia nhưng tuyển được 720 người. Nếu chỉ xét mục tiêu tuyển mẫu, tỷ lệ hoàn thành mục tiêu là:

720 / 800 × 100% = 90%

Con số 90% chỉ mô tả một mục tiêu cụ thể. Nó không chứng minh phương pháp nghiên cứu có chất lượng cao, dữ liệu không thiên lệch hay kết luận đáng tin. Bởi vậy, không tồn tại một tỷ lệ hoàn thành mục tiêu có thể tự động thay thế việc đánh giá chất lượng.

Hiệu quả không đồng nghĩa với hiệu suất

Đây là điểm dễ nhầm nhất trong tiếng Việt. OECD phân biệt khá rõ:

·         Effectiveness: Có đạt mục tiêu và kết quả hay không

·         Efficiency: Kết quả được tạo ra với nguồn lực và thời gian như thế nào

·         Impact: Nghiên cứu hoặc can thiệp tạo ra thay đổi rộng hơn nào

Một dự án có thể đạt đầy đủ mục tiêu nhưng vượt ngân sách rất lớn. Khi đó effectiveness có thể cao nhưng efficiency thấp. Ngược lại, một dự án hoàn thành rất nhanh và tiết kiệm nhưng không đạt mục tiêu chính thì hiệu suất sử dụng nguồn lực chưa đủ để kết luận rằng nó hiệu quả.

Vì sao nghiên cứu chất lượng cao chưa chắc hiệu quả cao và ngược lại?

Hai khái niệm có tương quan nhưng không có quan hệ đồng nhất một-một. Có thể hình dung bốn trường hợp:

Trường hợp chất lượng cao nhưng kết quả không như kỳ vọng đặc biệt quan trọng trong khoa học. Giả sử một thử nghiệm được thiết kế đúng, đủ khả năng kiểm định giả thuyết và báo cáo minh bạch, nhưng cho thấy can thiệp không tạo ra mức cải thiện dự kiến. Kết quả “không đạt kỳ vọng” không làm phương pháp trở nên kém chất lượng. Nó vẫn có thể cung cấp tri thức đáng tin rằng can thiệp không tạo ra hiệu ứng như giả định.

Tuy nhiên, cách đánh giá hiệu quả còn phụ thuộc vào việc mục tiêu được định nghĩa ở cấp độ nào. Nếu mục tiêu nghiên cứu là xác định chính xác can thiệp có hiệu quả hay không, một kết quả âm đáng tin vẫn có thể đồng nghĩa dự án nghiên cứu đã hoàn thành mục tiêu. Nếu mục tiêu của chương trình rộng hơn là tạo ra một can thiệp giúp giảm một kết quả sức khỏe cụ thể, thì cùng kết quả đó lại cho thấy mục tiêu chương trình chưa đạt. Vì vậy, đánh giá hiệu quả mà không nêu rõ mục tiêu tham chiếu rất dễ tạo kết luận sai.

Chiều ngược lại cũng tồn tại. Một nghiên cứu có thể nhanh chóng tạo ra một khuyến nghị được tổ chức tiếp nhận nhưng vẫn chứa thiên lệch lấy mẫu hoặc suy luận vượt quá dữ liệu. Việc khuyến nghị được sử dụng không tự động xác nhận chất lượng khoa học của nghiên cứu.

REF 2029 cung cấp một minh họa đáng chú ý cho việc không nên đồng nhất chất lượng với tác động: hướng dẫn Engagement and Impact đã bỏ yêu cầu nghiên cứu làm nền cho một impact case study phải vượt ngưỡng chất lượng 2*, với lý do tác động xuất sắc cũng có thể phát sinh từ nghiên cứu không đáp ứng ngưỡng đó. Impact không phải effectiveness, nhưng ví dụ này cho thấy giá trị khoa học của đầu ra và kết quả bên ngoài có thể dịch chuyển độc lập.

Chỉ số công bố, trích dẫn và tốc độ có thể thay thế hai khái niệm này không?

Không nên dùng một chỉ số đơn lẻ làm đại diện cho cả chất lượng lẫn hiệu quả.

DORA lưu ý rằng không có một chỉ báo duy nhất có thể nắm bắt toàn bộ sự phức tạp của chất lượng nghiên cứu. Hướng dẫn của tổ chức này khuyến nghị sử dụng chỉ số định lượng một cách rõ ràng, minh bạch, cụ thể, có bối cảnh và công bằng. DORA cũng phản đối việc sử dụng Journal Impact Factor của tạp chí làm đại diện cho chất lượng của một bài nghiên cứu riêng lẻ.

Vì thế:

Số bài báo chủ yếu mô tả sản lượng. Một nhóm xuất bản nhiều không có nghĩa từng nghiên cứu đều chặt chẽ hoặc nhóm đã đạt những mục tiêu quan trọng nhất.

Số trích dẫn có thể cung cấp thông tin về mức độ được cộng đồng học thuật chú ý hoặc sử dụng, nhưng chịu ảnh hưởng của lĩnh vực, thời gian và loại công trình. Nó không trực tiếp chứng minh chất lượng phương pháp.

Journal Impact Factor là đặc tính ở cấp tạp chí và không nên được chuyển thành điểm chất lượng cho từng bài báo.

Thời gian và chi phí hữu ích khi đánh giá efficiency, nhưng không đủ để đánh giá effectiveness hoặc chất lượng.

CoARA vì vậy chủ trương đánh giá nghiên cứu chủ yếu dựa trên phán đoán định tính, trong đó peer review giữ vai trò trung tâm và các chỉ số định lượng được sử dụng có trách nhiệm để hỗ trợ thay vì dẫn dắt toàn bộ quyết định.

Cách xây bộ tiêu chí đánh giá đồng thời chất lượng và hiệu quả nghiên cứu

Cách thực tế nhất là không cố gộp hai khái niệm ngay từ đầu. Hãy xây hai nhóm tiêu chí riêng, đánh giá từng nhóm rồi mới tổng hợp khi mục đích quản trị đòi hỏi.

Một khung tối giản có thể được tổ chức như sau:

Bốn dòng đầu chủ yếu phục vụ đánh giá chất lượng. Hai dòng tiếp theo phục vụ hiệu quả. Hiệu suất và tác động nên được giữ thành những trục riêng để tránh làm mờ khái niệm.

Nếu tổ chức cần một điểm tổng hợp, trọng số phải xuất phát từ mục tiêu đánh giá chứ không nên được coi là chuẩn chung. Một quỹ tài trợ nghiên cứu cơ bản có thể đặt trọng tâm lớn hơn vào chất lượng và đóng góp tri thức; một chương trình nghiên cứu triển khai có thể cần chú ý nhiều hơn đến mức đạt kết quả trong thực tế. CoARA cũng phản ánh nguyên tắc này khi nhấn mạnh sự đa dạng của đầu ra, thực hành và hoạt động nghiên cứu thay vì áp dụng một thước đo định lượng duy nhất cho mọi trường hợp.

Điểm cuối cùng cần kiểm tra trước khi kết luận một nghiên cứu “tốt” là đang tốt theo trục nào. Nếu bằng chứng cho thấy phương pháp chặt chẽ, hãy gọi đó là chất lượng. Nếu bằng chứng cho thấy mục tiêu đã đạt, hãy gọi đó là hiệu quả. Nếu kết quả đạt được với nguồn lực hợp lý, đó là hiệu suất. Nếu nghiên cứu tạo ra thay đổi rộng hơn ngoài hoạt động nghiên cứu, đó là tác động. Việc tách bốn câu hỏi này làm cho đánh giá rõ ràng hơn và giảm nguy cơ một chỉ số mạnh ở một khía cạnh che khuất điểm yếu ở khía cạnh khác.

Hiệu quả nghiên cứu và chất lượng nghiên cứu vì vậy không phải hai cách gọi khác nhau của cùng một thành tích. Chất lượng cho biết nghiên cứu được thực hiện và tạo ra tri thức tốt đến mức nào; hiệu quả cho biết nghiên cứu đạt mục tiêu và kết quả đã đặt ra đến mức nào. Một hệ thống đánh giá đáng tin nên xem chúng như hai trục bổ sung: trước hết bảo đảm nghiên cứu có nền tảng khoa học vững chắc, sau đó đánh giá nó đã đạt mục tiêu gì, trong điều kiện nào và với giới hạn nào. Cách tiếp cận này cũng phù hợp với xu hướng đánh giá nghiên cứu có trách nhiệm, trong đó chất lượng, tác động và các chỉ số định lượng không bị giản lược thành một điểm số duy nhất.