Cách đánh giá hiệu suất nguồn lực nghiên cứu

Về phía đầu vào, OECD xem nguồn lực tài chính và nhân lực là những thành phần cơ bản của thống kê R&D và Frascati Manual là phương pháp tham chiếu quốc tế để thu thập, phân loại các nguồn lực này. Về phía đầu ra, nghiên cứu có thể tạo ra nhiều sản phẩm khác nhau chứ không chỉ bài báo, gồm dữ liệu, phần mềm, sở hữu trí tuệ và các dạng kết quả khoa học khác.

Đánh giá hiệu suất phải nối nguồn lực đầu vào với đầu ra

Hiệu suất không phải là một đại lượng độc lập của chi phí hay đầu ra. Nó hình thành từ mối quan hệ giữa những gì được sử dụng và những gì được tạo ra. Nếu hai dự án đều tạo ra mức đầu ra tương đương nhưng dự án A sử dụng 2 tỷ đồng còn dự án B sử dụng 3 tỷ đồng, A có hiệu suất chi phí cao hơn, với điều kiện chất lượng đầu ra và phạm vi nghiên cứu thực sự tương đương.

Có thể biểu diễn hai hướng đo cơ bản:

Hiệu suất đầu ra trên chi phí = Đầu ra nghiên cứu chuẩn hóa / Tổng chi phí nghiên cứu

Chi phí đơn vị đầu ra = Tổng chi phí nghiên cứu / Đầu ra nghiên cứu chuẩn hóa

Chỉ số thứ nhất trả lời “một đơn vị chi phí tạo được bao nhiêu đầu ra”; chỉ số thứ hai trả lời “cần bao nhiêu chi phí để tạo một đơn vị đầu ra”. Hai chỉ số là hai cách nhìn của cùng một quan hệ đầu vào – đầu ra.

Điểm quan trọng nằm ở cụm từ đầu ra chuẩn hóa. Nếu một đơn vị tạo ra ba bài báo thông thường còn đơn vị khác tạo một bằng sáng chế hoặc một nguyên mẫu công nghệ đã kiểm chứng, việc so sánh đơn giản theo số lượng “3 so với 1” có thể dẫn đến kết luận sai. DORA cũng nhấn mạnh rằng đầu ra khoa học đa dạng và việc đánh giá phải xem xét giá trị, tác động của nhiều loại đầu ra thay vì chỉ tập trung vào công bố.

Tương tự, chi hết ngân sách không đồng nghĩa với sử dụng nguồn lực hiệu quả. Tỷ lệ giải ngân phản ánh mức thực hiện ngân sách, trong khi hiệu suất yêu cầu phải quan sát lượng và giá trị đầu ra tương ứng với khoản chi đó.

Xác định chi phí và nguồn lực đầu vào theo cùng phạm vi đo

Để chỉ số có ý nghĩa, tử số và mẫu số phải thuộc cùng một phạm vi. Nếu đo hiệu suất của một dự án, chỉ tính nguồn lực có thể quy cho dự án đó; nếu đánh giá một phòng thí nghiệm hoặc viện nghiên cứu, phạm vi chi phí và đầu ra cũng phải được mở rộng tương ứng.

Chi phí có thể bao gồm tiền công của nhân sự nghiên cứu, chi phí vận hành, vật tư, dịch vụ chuyên môn, sử dụng thiết bị và các khoản chi khác trực tiếp phục vụ hoạt động nghiên cứu. Với tài sản hoặc hạ tầng được sử dụng cho nhiều dự án và nhiều năm, phương pháp phân bổ chi phí phải được xác định nhất quán; nếu đưa toàn bộ giá trị thiết bị vào một dự án trong khi dự án khác chỉ chịu phần chi phí sử dụng, kết quả so sánh sẽ bị méo.

Nhân lực cũng cần được chuẩn hóa. Một nhà nghiên cứu dành 20% thời gian cho dự án không nên được tính tương đương một người dành toàn bộ thời gian. OECD sử dụng full-time equivalent – FTE trong thống kê nhân lực R&D và phân biệt nhà nghiên cứu, kỹ thuật viên cùng các nhân sự hỗ trợ R&D. Việc quy đổi sang FTE giúp phản ánh lượng lao động thực sự dành cho nghiên cứu tốt hơn số người theo headcount.

Một điều kiện khác là thời gian. Chi phí phát sinh hôm nay có thể tạo ra bài báo, bằng sáng chế hoặc kết quả ứng dụng sau nhiều tháng hay nhiều năm. Do đó, với nghiên cứu có độ trễ đầu ra lớn, có thể đánh giá theo cohort dự án hoặc cửa sổ thời gian nhiều năm thay vì lấy chi phí và đầu ra của cùng một năm lịch rồi mặc nhiên coi chúng có quan hệ trực tiếp.

Chuẩn hóa đầu ra nghiên cứu trước khi tính hiệu suất

Đầu ra cần phản ánh mục tiêu của hoạt động nghiên cứu. Một chương trình nghiên cứu cơ bản có thể ưu tiên công bố và dữ liệu khoa học; nghiên cứu ứng dụng có thể tạo nguyên mẫu, quy trình, phần mềm hoặc tài sản trí tuệ. DORA lưu ý rằng các đầu ra nghiên cứu gồm nhiều dạng và khuyến nghị xem xét cả dữ liệu, phần mềm cũng như tác động tới chính sách và thực tiễn khi phù hợp với mục đích đánh giá.

Khi có nhiều loại đầu ra, một cách vận hành là xây dựng chỉ số đầu ra chuẩn hóa:

W = Σ(wᵢ × qᵢ)

Trong đó, qᵢ là số lượng đầu ra loại i và wᵢ là trọng số được xác định trước cho loại đầu ra đó. Trọng số không phải một chuẩn phổ quát; nó phải phản ánh nhiệm vụ nghiên cứu và được công bố trước kỳ đánh giá. Nếu trọng số được điều chỉnh sau khi đã biết kết quả, chỉ số dễ trở thành công cụ hợp thức hóa kết quả thay vì đo hiệu suất.

Chất lượng cũng không nên được thay bằng uy tín của tạp chí. DORA khuyến cáo không sử dụng Journal Impact Factor như chỉ báo thay thế cho chất lượng của từng bài nghiên cứu hoặc đóng góp của một cá nhân. Hướng dẫn năm 2024 của DORA tiếp tục nhấn mạnh rằng các chỉ số định lượng phải được sử dụng rõ ràng, minh bạch, đúng ngữ cảnh và công bằng. Leiden Manifesto cũng được xây dựng để hạn chế việc sử dụng máy móc các chỉ số trong đánh giá nghiên cứu.

Vì thế, nếu sử dụng số trích dẫn, số công bố hoặc các chỉ số thư mục để điều chỉnh đầu ra, cần xét đến lĩnh vực, thời gian công bố và mục tiêu nghiên cứu. Một bài báo trong lĩnh vực có tốc độ trích dẫn thấp không thể mặc nhiên được coi là đầu ra kém hơn chỉ vì nhận ít trích dẫn hơn một lĩnh vực có mật độ công bố cao.

Tính bộ chỉ số hiệu suất từ chi phí và đầu ra

Không nên cố gắng nén toàn bộ hiệu suất nghiên cứu vào một con số duy nhất. Một bộ chỉ số nhỏ cho phép nhìn đồng thời hiệu suất tài chính, năng suất nhân lực và mức hoàn thành đầu ra.

Giả sử một đơn vị sử dụng 3 tỷ đồng và tạo ra 6 điểm đầu ra chuẩn hóa. Hiệu suất là 2 điểm đầu ra trên mỗi tỷ đồng, tương đương 0,5 tỷ đồng cho một điểm đầu ra. Kỳ tiếp theo, đơn vị sử dụng 3,3 tỷ đồng và tạo 7,5 điểm. Hiệu suất tăng lên khoảng 2,27 điểm trên mỗi tỷ đồng, tức tăng khoảng 13,6%, trong khi chi phí trên một điểm giảm từ 0,50 xuống 0,44 tỷ đồng, tương đương giảm 12%.

Kết luận “hiệu suất đã cải thiện” chỉ hợp lệ nếu cách ghi nhận đầu ra, trọng số, phạm vi chi phí và khoảng thời gian của hai kỳ được giữ tương thích. Nếu kỳ sau thay đổi cách chấm điểm hoặc loại bỏ một nhóm chi phí, mức cải thiện có thể chỉ đến từ thay đổi phương pháp đo.

Đối với tổ chức có nhiều loại đầu vào và nhiều đầu ra khó quy về một trọng số chung, có thể sử dụng các phương pháp hiệu suất tương đối như Data Envelopment Analysis – DEA. Nghiên cứu về hiệu suất đại học cho thấy DEA hấp dẫn vì có thể xử lý đồng thời nhiều đầu vào và nhiều đầu ra; các ứng dụng thực nghiệm cũng đã sử dụng nhân lực, vốn và nguồn lực làm đầu vào, kết hợp năng suất và tác động nghiên cứu làm đầu ra.

So sánh hiệu suất giữa các dự án hoặc đơn vị nghiên cứu

Một chỉ số hiệu suất chỉ có giá trị quản trị khi có điểm tham chiếu. Tuy nhiên, không có một mức chi phí trên bài báo hoặc đầu ra trên một tỷ đồng có thể áp dụng hợp lý cho mọi lĩnh vực nghiên cứu. Cấu trúc chi phí, loại đầu ra và thông lệ công bố khác nhau khiến benchmark phải được đặt trong bối cảnh phù hợp. Đây cũng là lý do đánh giá nghiên cứu có trách nhiệm yêu cầu các chỉ số phải được diễn giải theo ngữ cảnh thay vì sử dụng như thước đo tuyệt đối.

Điểm tham chiếu đáng tin cậy nhất thường bắt đầu từ chính đơn vị: so sánh cùng chương trình qua các chu kỳ, cùng loại dự án trước và sau khi thay đổi cách phân bổ nguồn lực, hoặc các nhóm có nhiệm vụ tương tự. Bước tiếp theo mới là benchmark với các đơn vị đồng cấp có lĩnh vực, quy mô, loại nghiên cứu và giai đoạn phát triển tương đối giống nhau.

Khi sử dụng mô hình đa đầu vào – đa đầu ra, kết quả còn phụ thuộc vào lựa chọn biến. Một nghiên cứu DEA trên 109 trường đại học Trung Quốc cho thấy mức hiệu suất trung bình thay đổi đáng kể khi tập hợp biến đầu vào được thay đổi. Điều đó cho thấy “điểm hiệu suất” không hoàn toàn độc lập với thiết kế mô hình; trước khi xếp hạng các đơn vị, cần kiểm tra độ nhạy của kết quả đối với cách lựa chọn chi phí, nhân lực và đầu ra.

Do đó, benchmark nên trả lời câu hỏi “đơn vị đang sử dụng nguồn lực tốt hơn hay kém hơn so với một nhóm thực sự có thể so sánh”, chứ không phải tìm một con số duy nhất để áp dụng cho mọi phòng thí nghiệm, viện hoặc lĩnh vực.

Diễn giải kết quả và tránh các sai lệch khi đánh giá

Hiệu suất cao không tự động có nghĩa là nghiên cứu có chất lượng khoa học cao, cũng như hiệu suất thấp không nhất thiết đồng nghĩa quản lý yếu. Một dự án nghiên cứu nền tảng có mức bất định cao có thể cần nhiều nguồn lực trước khi tạo được đầu ra quan sát được; ngược lại, một đơn vị có thể tăng số lượng sản phẩm bằng cách ưu tiên những đầu ra dễ tạo nhưng giá trị thấp. Vì vậy, hiệu suất là một lớp thông tin phục vụ đánh giá, không phải sự thay thế cho đánh giá chất lượng và ý nghĩa khoa học.

Nguyên tắc cuối cùng đặc biệt quan trọng với các chỉ số công bố. DORA phản đối việc dùng chỉ số cấp tạp chí làm đại diện đơn giản cho chất lượng nghiên cứu và khuyến nghị đánh giá nội dung, giá trị và tác động của chính đầu ra. Vì vậy, một hệ thống đo hiệu suất tốt phải tạo động lực sử dụng nguồn lực hợp lý mà không thúc đẩy hành vi chạy theo số lượng đầu ra dễ đo.

Đánh giá hiệu suất nguồn lực nghiên cứu nên bắt đầu từ một quan hệ rõ ràng giữa chi phí, nhân lực và đầu ra trong cùng phạm vi. Các chỉ số cốt lõi là đầu ra chuẩn hóa trên chi phí, chi phí trên một đơn vị đầu ra và, khi cần, đầu ra trên FTE. Với nhiều loại đầu ra, cần chuẩn hóa hoặc sử dụng mô hình đa đầu vào – đa đầu ra thay vì cộng số lượng sản phẩm một cách cơ học.

Giá trị của phép đo không nằm ở việc tạo ra một điểm số càng chính xác về mặt số học càng tốt, mà ở khả năng trả lời đúng câu hỏi quản trị: nguồn lực đã tạo ra kết quả gì, chi phí để tạo kết quả đó thay đổi ra sao và mức hiệu suất có thực sự tốt hơn khi so với một đối tượng tương đồng hay không. Chỉ khi phạm vi chi phí, cách định nghĩa đầu ra, trọng số và benchmark được giữ nhất quán, thay đổi của chỉ số mới có thể được diễn giải như thay đổi thực sự về hiệu suất.