Những khía cạnh đánh giá hiệu quả nghiên cứu cần xem xét

Vì vậy, một nghiên cứu có nhiều bài công bố chưa chắc hiệu quả hơn nghiên cứu tạo ít đầu ra nhưng có độ tin cậy cao, giải quyết đúng vấn đề hoặc tạo ra thay đổi quan trọng. Ngược lại, tác động xã hội lớn cũng không thể tự động bù đắp cho phương pháp khoa học yếu. Đánh giá đúng cần nhìn đồng thời vào giá trị khoa học, giá trị sử dụng và điều kiện tạo ra những giá trị đó.

Đánh giá hiệu quả nghiên cứu phải dựa trên nhiều chiều giá trị

Câu hỏi cốt lõi không phải là “nghiên cứu tạo ra bao nhiêu sản phẩm”, mà là “nghiên cứu tạo ra giá trị gì, giá trị đó đáng tin cậy đến đâu và được tạo ra trong điều kiện nào”. Từ nguyên tắc này, hiệu quả nghiên cứu nên được quan sát qua một nhóm khía cạnh bổ sung cho nhau.

Không phải mọi chương trình nghiên cứu đều cần đặt trọng số giống nhau cho tám khía cạnh này. Một dự án nghiên cứu cơ bản có thể ưu tiên chất lượng khoa học và đóng góp tri thức, trong khi một chương trình nghiên cứu định hướng chính sách cần quan tâm nhiều hơn đến mức độ phù hợp, khả năng sử dụng và tác động.

Điểm quan trọng là không để một chỉ số dễ đo thay thế cho toàn bộ khái niệm “hiệu quả”. Một chỉ số chỉ phản ánh phần hiện tượng mà cơ chế đo lường của nó quan sát được.

Chất lượng khoa học và độ tin cậy phải đứng trước số lượng

Một hoạt động nghiên cứu chỉ tạo ra giá trị bền vững khi kết quả của nó đủ đáng tin cậy. Nếu thiết kế nghiên cứu yếu, dữ liệu không phù hợp hoặc kết luận vượt quá bằng chứng, việc tăng số lượng công bố chỉ làm tăng khối lượng đầu ra chứ không làm tăng tương ứng giá trị khoa học.

Đánh giá chất lượng qua cơ chế tạo ra kết quả đáng tin cậy

Chất lượng nên được xem xét từ cách nghiên cứu chuyển câu hỏi thành bằng chứng. Những yếu tố quan trọng gồm sự phù hợp của thiết kế nghiên cứu, chất lượng dữ liệu, cách kiểm soát sai lệch, mức độ bất định của kết quả và sự tương xứng giữa bằng chứng với kết luận.

Một kết quả có ý nghĩa thống kê chẳng hạn không tự động đồng nghĩa với một kết quả có ý nghĩa khoa học hoặc thực tiễn. Tương tự, một mô hình dự báo có độ chính xác cao trên dữ liệu huấn luyện chưa chứng minh được khả năng tổng quát hóa nếu chưa được kiểm tra trên điều kiện phù hợp.

Do đó, đánh giá chuyên gia vẫn có vai trò quan trọng. Các chỉ số định lượng có thể phát hiện quy mô hoặc xu hướng, nhưng việc xác định một nghiên cứu có đặt câu hỏi quan trọng, sử dụng phương pháp thích hợp và diễn giải kết quả hợp lý thường cần đánh giá nội dung.

Minh bạch và khả năng tái lập là bằng chứng về độ tin cậy

Dữ liệu, mã nguồn, giao thức nghiên cứu hoặc mô tả phương pháp đầy đủ có thể tăng khả năng kiểm tra kết quả. Khi người khác có thể hiểu kết quả được tạo ra như thế nào, sai sót dễ được phát hiện hơn và tri thức có khả năng được tích lũy tốt hơn.

Tuy nhiên, khả năng tái lập không nên được áp dụng như một tiêu chí cứng giống nhau cho mọi lĩnh vực. Nghiên cứu sử dụng dữ liệu nhạy cảm, nghiên cứu định tính, nghiên cứu lịch sử hoặc những thí nghiệm đặc biệt đắt đỏ có những giới hạn khác nhau. Trong các trường hợp này, tiêu chí phù hợp hơn có thể là tính minh bạch của quy trình, khả năng kiểm tra lập luận và mức độ đầy đủ của hồ sơ phương pháp.

Các nguyên tắc đánh giá nghiên cứu có trách nhiệm như DORA và CoARA đều củng cố một điểm chung: chất lượng nghiên cứu không nên bị thay thế bằng những đại diện đơn giản như uy tín của nơi công bố. Chỉ số có thể hỗ trợ đánh giá, nhưng không thể thay thế việc xem xét chính công trình và bằng chứng mà công trình tạo ra.

Đầu ra, năng suất và ảnh hưởng học thuật cần được chuẩn hóa

Đầu ra là phần dễ quan sát nhất của hoạt động nghiên cứu nên cũng dễ bị sử dụng quá mức. Số bài báo, báo cáo, bộ dữ liệu, phần mềm hay bằng sáng chế cung cấp thông tin hữu ích về mức độ hoạt động, nhưng bản thân số lượng chưa cho biết chất lượng hoặc giá trị của những sản phẩm đó.

Đếm đầu ra cần gắn với nguồn lực và loại đóng góp

Giả sử một nhóm tạo 20 công bố còn nhóm khác tạo 10 công bố. Không thể kết luận nhóm thứ nhất hiệu quả gấp đôi nếu chưa biết quy mô nhân lực, kinh phí, thời gian nghiên cứu, loại hình công trình và mức đóng góp thực tế của từng nhóm.

Năng suất chỉ có ý nghĩa khi có mẫu số phù hợp. Tùy mục đích đánh giá, người đánh giá có thể xem xét đầu ra trên một đơn vị thời gian, nguồn lực hoặc quy mô nhân sự. Tuy nhiên, ngay cả tỷ lệ này cũng phải được diễn giải thận trọng vì các ngành có chu kỳ nghiên cứu và cấu trúc chi phí rất khác nhau.

Đầu ra cũng không nên giới hạn ở bài báo. Trong một số lĩnh vực, bộ dữ liệu, phần mềm, quy trình kỹ thuật, tiêu chuẩn, phương pháp, nguyên mẫu hoặc hạ tầng nghiên cứu có thể mang giá trị đáng kể dù không làm tăng số lượng công bố theo cách truyền thống.

Trích dẫn cần được chuẩn hóa theo lĩnh vực và thời gian

Trích dẫn có thể phản ánh mức độ một kết quả được cộng đồng khoa học chú ý và sử dụng, nhưng văn hóa trích dẫn khác biệt mạnh giữa các lĩnh vực. Công trình mới công bố cũng có ít thời gian tích lũy trích dẫn hơn công trình đã tồn tại nhiều năm.

Vì vậy, so sánh số trích dẫn tuyệt đối giữa các lĩnh vực hoặc thời kỳ thường tạo ra sai lệch. Các chỉ số chuẩn hóa theo lĩnh vực, loại tài liệu và năm công bố hữu ích hơn trong những trường hợp cần so sánh.

Với những chỉ số chuẩn hóa được xây dựng để mức 1,0 đại diện cho mức trích dẫn kỳ vọng của tập tham chiếu, giá trị 1,0 chỉ có nghĩa công trình hoặc tập công trình ở quanh mức kỳ vọng theo phương pháp chuẩn hóa đó. Đây không phải một ngưỡng chất lượng tuyệt đối. Tương tự, nếu sử dụng tỷ lệ công trình thuộc nhóm 10% được trích dẫn cao nhất, mốc 10% của tập tham chiếu chỉ có ý nghĩa khi việc phân lĩnh vực, năm và loại tài liệu được thực hiện nhất quán.

Ngay cả sau khi chuẩn hóa, trích dẫn vẫn là bằng chứng về ảnh hưởng học thuật chứ không phải phép đo trực tiếp của chất lượng, tác động xã hội hoặc hiệu quả nguồn lực.

Không dùng uy tín tạp chí thay cho chất lượng của công trình

Một hiểu nhầm phổ biến là lấy chỉ số của tạp chí làm đại diện cho chất lượng của từng nghiên cứu được đăng trong tạp chí đó. Đây là sự chuyển cấp độ đo lường: đặc điểm của một tập hợp bài báo bị sử dụng để kết luận về một bài cụ thể hoặc một cá nhân.

DORA đặc biệt phản đối việc sử dụng các chỉ số dựa trên tạp chí như đại diện thay thế cho chất lượng của từng công trình. Leiden Manifesto cũng nhấn mạnh rằng chỉ số định lượng cần hỗ trợ chứ không thay thế đánh giá định tính và phải được diễn giải theo đặc điểm của lĩnh vực.

Vì thế, đầu ra và ảnh hưởng học thuật nên được dùng như một lớp bằng chứng, không phải toàn bộ kết luận về hiệu quả nghiên cứu.

Kết quả, tác động và mức độ phù hợp cho biết nghiên cứu tạo ra giá trị gì

Một nghiên cứu có thể tạo ra công bố chất lượng cao nhưng câu hỏi đánh giá vẫn chưa kết thúc ở đó. Nếu mục tiêu của chương trình là tạo thay đổi trong chính sách, thực hành, công nghệ hoặc đời sống xã hội, cần theo dõi con đường từ đầu ra đến kết quả và tác động.

Cần phân biệt đầu ra, kết quả và tác động

Ba khái niệm này thường bị trộn lẫn.

Đầu ra là sản phẩm trực tiếp của hoạt động nghiên cứu, chẳng hạn bài báo, dữ liệu, mô hình, phần mềm hoặc nguyên mẫu.

Kết quả xuất hiện khi những đầu ra đó được sử dụng hoặc làm thay đổi hành vi. Một phương pháp được phòng thí nghiệm khác áp dụng, bằng chứng được sử dụng trong xây dựng chính sách hoặc công nghệ được đưa vào quy trình sản xuất đều thuộc tầng kết quả.

Tác động nằm xa hơn trong chuỗi giá trị. Đó có thể là cải thiện sức khỏe, giảm chi phí, nâng năng suất, tăng năng lực công nghệ hoặc thay đổi xã hội có liên quan đến nghiên cứu.

Sự phân biệt này quan trọng vì số đầu ra có thể tăng rất nhanh trong khi kết quả hoặc tác động chưa xuất hiện. Nếu tất cả đều được gọi chung là “tác động”, đánh giá sẽ dễ phóng đại giá trị thực tế.

Mức độ phù hợp quyết định giá trị cần được tìm kiếm ở đâu

Hiệu quả không tồn tại tách rời mục tiêu. Một nghiên cứu chỉ có thể được đánh giá hợp lý khi biết nó đang cố gắng giải quyết vấn đề nào và cho ai.

Với nghiên cứu định hướng nhiệm vụ, mức độ phù hợp có thể được xem xét qua sự liên hệ giữa câu hỏi nghiên cứu với vấn đề thực tế, nhu cầu của nhóm sử dụng và mục tiêu của chương trình. Với nghiên cứu cơ bản, giá trị có thể nằm ở việc mở ra cơ chế mới, tạo phương pháp mới hoặc xây dựng nền tảng cho các phát hiện về sau.

Điều này cũng có nghĩa nghiên cứu chưa tạo ra ứng dụng tức thời không nhất thiết là nghiên cứu kém hiệu quả. Nếu mục tiêu ban đầu là khám phá tri thức nền tảng, đánh giá nó bằng số sản phẩm thương mại trong thời gian ngắn sẽ đặt sai tiêu chí cho đúng đối tượng.

Tác động cần phân biệt giữa đóng góp và quan hệ nhân quả

Tác động thực tế hiếm khi do một công trình duy nhất tạo ra. Một thay đổi chính sách có thể dựa trên nhiều nghiên cứu, kinh nghiệm chuyên môn, điều kiện kinh tế và quyết định của các tổ chức. Công nghệ mới cũng thường là kết quả của chuỗi đóng góp tích lũy qua nhiều năm.

Vì vậy, bằng chứng tác động nên xác định nghiên cứu đã đóng góp như thế nào thay vì mặc định toàn bộ thay đổi là do nghiên cứu đó gây ra. Tài liệu chính sách, việc áp dụng phương pháp, bằng chứng sử dụng công nghệ, dữ liệu của đơn vị thụ hưởng hoặc phân tích trường hợp có thể giúp tái dựng con đường đóng góp này.

Yếu tố thời gian cũng cần được tính đến. Tác động của nghiên cứu cơ bản có thể xuất hiện sau nhiều năm, trong khi nghiên cứu ứng dụng gần thị trường có chu kỳ ngắn hơn. Một cửa sổ đánh giá quá ngắn có thể làm giảm giả tạo hiệu quả của những nghiên cứu có giá trị dài hạn.

Hiệu quả nguồn lực phải được đánh giá cùng hợp tác và phát triển năng lực

Hiệu quả sử dụng nguồn lực trả lời một câu hỏi khác với chất lượng khoa học: nghiên cứu đã chuyển kinh phí, nhân lực, thời gian và hạ tầng thành giá trị như thế nào. Đây là một chiều cần thiết nhưng dễ bị hiểu sai thành yêu cầu “làm nhiều nhất với chi phí thấp nhất”.

Tiết kiệm nguồn lực không đồng nghĩa với hiệu quả nghiên cứu cao

Có thể theo dõi các chỉ số như tiến độ so với kế hoạch, mức sử dụng ngân sách, đầu ra trên đơn vị nguồn lực hoặc chi phí để đạt một cột mốc nghiên cứu. Tuy nhiên, không tồn tại một tỷ lệ chi phí–đầu ra chung có thể áp dụng hợp lý cho mọi lĩnh vực.

Một thử nghiệm vật lý sử dụng thiết bị quy mô lớn, nghiên cứu lâm sàng kéo dài nhiều năm và một dự án phân tích dữ liệu thứ cấp có cấu trúc chi phí hoàn toàn khác nhau. Benchmark vì thế nên đến từ những dự án có mục tiêu, giai đoạn phát triển và điều kiện vận hành đủ tương đồng.

OECD Frascati Manual hữu ích trong việc chuẩn hóa cách nhận diện và đo lường các nguồn lực dành cho nghiên cứu và phát triển, chẳng hạn chi tiêu và nhân lực R&D. Nhưng dữ liệu nguồn lực tự nó không trả lời nghiên cứu có chất lượng hay tạo tác động hay không. Nó cung cấp mẫu số cần thiết cho một phần của bài toán đánh giá.

Một hệ thống chỉ thưởng cho chi phí thấp còn có thể tạo động cơ tránh nghiên cứu khó, dài hạn hoặc có rủi ro khoa học cao. Trong nghiên cứu khám phá, một kết quả âm nhưng được tạo ra bằng phương pháp nghiêm ngặt vẫn có thể loại bỏ một giả thuyết sai và tạo giá trị cho cộng đồng.

Hợp tác cần được đánh giá bằng giá trị tạo ra, không chỉ số lượng đối tác

Số lượng tổ chức hoặc tác giả tham gia không tự động phản ánh chất lượng hợp tác. Hợp tác có giá trị khi nó kết nối những năng lực bổ sung cho nhau, cho phép tiếp cận dữ liệu hoặc hạ tầng cần thiết, tăng khả năng kiểm chứng hoặc giúp tri thức đi đến nơi có thể sử dụng.

Vì vậy, bằng chứng nên tập trung vào chức năng của mạng lưới hợp tác: chuyên môn nào được kết hợp, tài nguyên nào được chia sẻ và khả năng nào được tạo ra mà từng đơn vị riêng lẻ khó đạt được.

Phát triển năng lực là một phần giá trị thường bị bỏ sót

Nghiên cứu không chỉ tạo ra kết quả ở hiện tại. Nó còn có thể đào tạo nhà nghiên cứu, tạo phương pháp, thiết lập hạ tầng, xây dựng bộ dữ liệu hoặc hình thành mạng lưới chuyên môn phục vụ cho nhiều dự án về sau.

Nếu chỉ tính số sản phẩm hoàn thành trong kỳ đánh giá, những giá trị tích lũy này dễ bị bỏ qua. Ngược lại, phát triển năng lực cũng không nên được dùng để che lấp việc một dự án không đạt các mục tiêu khoa học chính. Nó là một chiều giá trị bổ sung, không phải sự thay thế cho chất lượng và kết quả nghiên cứu.

Bối cảnh, thời gian và cách kết hợp bằng chứng quyết định kết luận đánh giá

Ngay cả khi đã chọn đúng khía cạnh, đánh giá vẫn có thể sai nếu chỉ số được đặt vào sai bối cảnh. Đây là lý do một hệ thống đánh giá tốt cần thực hiện hai việc: chuẩn hóa những gì có thể so sánh và sử dụng đánh giá chuyên môn cho những giá trị không thể rút gọn thành một con số.

Chuẩn hóa trước khi so sánh

Trước khi đặt hai nghiên cứu, nhóm hoặc chương trình cạnh nhau, cần xem chúng có thực sự thuộc cùng một tập so sánh hay không. Những biến quan trọng gồm lĩnh vực, loại hình nghiên cứu, giai đoạn phát triển, quy mô nhóm, nguồn lực, loại đầu ra và khoảng thời gian tích lũy kết quả.

Một chỉ số có thể rất hữu ích trong một tập tham chiếu nhưng gây hiểu sai khi chuyển sang tập khác. Trích dẫn là ví dụ rõ nhất, nhưng nguyên tắc này cũng áp dụng cho thời gian hoàn thành, chi phí, số lượng công bố và tốc độ tạo tác động.

Do đó, benchmark tốt không nhất thiết là một con số phổ quát. Trong nhiều trường hợp, benchmark hợp lý hơn là nhóm nghiên cứu hoặc dự án tương đồng đủ về nhiệm vụ và điều kiện hoạt động.

Kết hợp chỉ số định lượng với đánh giá định tính

Chỉ số định lượng mạnh ở khả năng tổng hợp và phát hiện mẫu hình. Đánh giá chuyên gia mạnh ở khả năng xem xét nội dung, bối cảnh và những dạng giá trị khó mã hóa thành dữ liệu.

Hai loại bằng chứng nên kiểm tra lẫn nhau. Nếu số liệu cho thấy một nhóm có ảnh hưởng trích dẫn cao, đánh giá định tính cần xác định ảnh hưởng đó đến từ đóng góp khoa học thực chất nào. Nếu hồ sơ tác động mô tả một thay đổi quan trọng, bằng chứng định lượng hoặc tài liệu độc lập có thể giúp kiểm tra quy mô và thời điểm của thay đổi.

Cách tiếp cận này phù hợp với tư tưởng chung của DORA, Leiden Manifesto và CoARA: sử dụng chỉ số phù hợp với mục đích, duy trì vai trò trung tâm của đánh giá định tính và tránh biến một chỉ số đơn giản thành đại diện cho toàn bộ chất lượng nghiên cứu.

Thiết kế bảng đánh giá theo sứ mệnh thay vì một trọng số cố định

Một quy trình thực hành có thể đi theo trình tự:

·         Xác định rõ đơn vị được đánh giá và mục đích của việc đánh giá

·         Chọn các chiều giá trị phù hợp với sứ mệnh nghiên cứu

·         Chọn một số lượng nhỏ chỉ số hoặc bằng chứng có ý nghĩa cho từng chiều

·         Xác định nhóm tham chiếu và khoảng thời gian trước khi thực hiện so sánh

·         Kết hợp dữ liệu định lượng với hồ sơ bằng chứng và đánh giá chuyên gia

·         Ghi rõ giới hạn, bất định và các trade-off trước khi đưa ra kết luận

Không nhất thiết phải cộng toàn bộ chỉ số thành một điểm tổng hợp. Việc cộng điểm có thể hữu ích khi trọng số được xác định minh bạch từ mục tiêu đánh giá, nhưng nó cũng có thể che giấu những cấu hình rất khác nhau. Hai nghiên cứu có cùng tổng điểm có thể gồm một nghiên cứu rất mạnh về chất lượng nhưng tác động chưa xuất hiện và một nghiên cứu có tác động nhanh nhưng bằng chứng khoa học yếu hơn.

Trong nhiều trường hợp, một hồ sơ đa chiều cho biết nghiên cứu mạnh ở đâu, yếu ở đâu và vì sao sẽ phản ánh giá trị hoạt động tốt hơn một bảng xếp hạng duy nhất.

Đánh giá hiệu quả nghiên cứu đúng nghĩa cần trả lời đồng thời nhiều câu hỏi: kết quả có đáng tin cậy không, nghiên cứu tạo ra những đầu ra nào, tri thức có được sử dụng không, tác động nào đã hình thành, mục tiêu có phù hợp không và giá trị đó được tạo ra với nguồn lực như thế nào.

Số lượng công bố, trích dẫn hay chi phí đều có thể cung cấp bằng chứng, nhưng không chỉ số nào tự mình đại diện cho toàn bộ hiệu quả. Chất lượng và độ tin cậy nên tạo nền tảng; đầu ra, ảnh hưởng, kết quả, tác động, mức độ phù hợp, hiệu quả nguồn lực, minh bạch và phát triển năng lực bổ sung các chiều giá trị khác. Cuối cùng, tất cả cần được diễn giải theo lĩnh vực, thời gian và mục tiêu cụ thể.

Một hệ thống đánh giá phản ánh đúng giá trị hoạt động vì thế không tìm kiếm một chỉ số “tốt nhất”. Nó xây dựng một tập bằng chứng đủ cân bằng để cho thấy nghiên cứu đã tạo ra giá trị gì, bằng cơ chế nào, với mức độ chắc chắn ra sao và trong những giới hạn nào.