Những chỉ số hiệu quả nghiên cứu cần theo dõi

Vì vậy, các chỉ số hiệu quả nghiên cứu nên được đặt trong chuỗi đầu vào → quá trình → đầu ra → kết quả → tác động. Một chỉ số đơn lẻ thường chỉ quan sát được một mắt xích. Khi nhiều chỉ số bổ trợ nhau, tổ chức mới có thể biết không chỉ “đã tạo ra bao nhiêu kết quả” mà còn “kết quả có giá trị đến đâu, được tạo ra với nguồn lực nào và dẫn tới thay đổi gì”.

Đo hiệu quả nghiên cứu cần bắt đầu từ mục tiêu đánh giá

Không tồn tại một chỉ số duy nhất có thể đại diện đầy đủ cho hiệu quả nghiên cứu. Một nhóm nghiên cứu cơ bản, phòng thí nghiệm phát triển công nghệ và đơn vị nghiên cứu chính sách tạo ra những loại giá trị khác nhau nên không thể sử dụng cùng một tiêu chí để kết luận bên nào hoạt động tốt hơn.

Cách tiếp cận phù hợp là xác định trước đối tượng và mục tiêu đánh giá. Nếu mục tiêu là nâng cao năng suất, các chỉ số đầu ra trên mỗi đơn vị nguồn lực có ý nghĩa lớn. Nếu mục tiêu là nâng chất lượng học thuật, cần quan sát ảnh hưởng khoa học và chất lượng của kết quả. Với nghiên cứu ứng dụng, mức độ chuyển giao, sử dụng hoặc tác động thực tế lại quan trọng hơn số lượng công bố.

Có thể xem hệ thống chỉ số theo năm lớp:

Cấu trúc này cũng giúp tránh một sai lầm phổ biến: dùng chỉ số đầu ra để thay thế cho tác động. Một nhóm có thể xuất bản nhiều nhưng các kết quả ít được sử dụng; ngược lại, một dự án chỉ tạo ra một công nghệ nhưng công nghệ đó được triển khai rộng rãi. Hai trường hợp cần được đánh giá bằng những thước đo khác nhau.

Chỉ số đầu ra và năng suất cho biết nghiên cứu tạo ra bao nhiêu kết quả

Đây là nhóm chỉ số dễ thu thập nhất và thích hợp để theo dõi quy mô hoạt động. Các đầu ra có thể bao gồm bài báo khoa học, sách hoặc chương sách, bộ dữ liệu, phần mềm, báo cáo kỹ thuật, nguyên mẫu, bằng sáng chế hay sản phẩm nghiên cứu khác phù hợp với lĩnh vực.

Số lượng tuyệt đối chỉ phản ánh mức sản xuất. Khi cần đánh giá năng suất, đầu ra phải được đặt trong quan hệ với nguồn lực. Ví dụ:

Năng suất công bố = Số công bố trong kỳ / FTE nghiên cứu trong kỳ

Nếu một đơn vị tạo ra 40 sản phẩm nghiên cứu với 20 FTE, năng suất là 2 sản phẩm/FTE. Con số này có ý nghĩa hơn việc chỉ nói đơn vị đã tạo ra 40 sản phẩm, nhưng vẫn chưa đủ để kết luận chất lượng nghiên cứu cao.

Một số chỉ số có thể theo dõi gồm:

·         Số sản phẩm nghiên cứu hoàn thành

·         Số công bố trên mỗi FTE nghiên cứu

·         Tỷ lệ sản phẩm hoàn thành so với kế hoạch

·         Số bộ dữ liệu, phần mềm hoặc tài nguyên nghiên cứu được công bố

·         Số phát minh, nguyên mẫu hoặc hồ sơ sở hữu trí tuệ

·         Thời gian trung bình từ khởi động nghiên cứu đến khi tạo ra đầu ra chính

Các chỉ số này đặc biệt hữu ích để phát hiện vấn đề vận hành. Chẳng hạn, số dự án đang thực hiện tăng nhưng số sản phẩm hoàn thành không tăng tương ứng có thể cho thấy nguồn lực bị phân tán hoặc thời gian chu kỳ kéo dài.

Tuy nhiên, năng suất cao không đồng nghĩa với hiệu quả khoa học cao. Nếu KPI chỉ thưởng số lượng, hệ thống có thể khuyến khích chia nhỏ kết quả, ưu tiên các dự án dễ hoàn thành hoặc tạo nhiều sản phẩm có giá trị thấp. Vì vậy, chỉ số đầu ra cần đi kèm ít nhất một lớp đo chất lượng hoặc tác động.

Chỉ số chất lượng và ảnh hưởng khoa học đo mức độ kết quả được cộng đồng ghi nhận

Trích dẫn là một trong những tín hiệu phổ biến để quan sát ảnh hưởng khoa học, nhưng số trích dẫn thô rất khó so sánh trực tiếp. Mức trích dẫn khác nhau đáng kể giữa ngành, loại tài liệu và thời điểm xuất bản. Một bài mới xuất bản cũng chưa có cùng thời gian tích lũy trích dẫn như một bài đã tồn tại nhiều năm.

Vì vậy, khi so sánh giữa các nhóm hoặc lĩnh vực, nên ưu tiên các chỉ số đã chuẩn hóa.

Ảnh hưởng trích dẫn chuẩn hóa theo lĩnh vực

Một dạng biểu diễn đơn giản là:

Ảnh hưởng chuẩn hóa = Số trích dẫn thực tế / Số trích dẫn kỳ vọng của nhóm tham chiếu tương đương

Nhóm tham chiếu cần phù hợp về lĩnh vực, năm xuất bản và loại tài liệu. Với một hệ thống sử dụng mức 1 làm trung bình tham chiếu, giá trị 1,3 cho thấy ảnh hưởng trích dẫn cao hơn khoảng 30% so với mức kỳ vọng của tập đối chứng được sử dụng. Ý nghĩa cụ thể vẫn phụ thuộc phương pháp chuẩn hóa của nguồn dữ liệu.

Ngoài giá trị trung bình, có thể theo dõi tỷ lệ công bố nằm trong nhóm được trích dẫn cao nhất, chẳng hạn tỷ lệ thuộc top 10% của nhóm tham chiếu. Cách này giảm sự phụ thuộc vào một số ít bài có lượng trích dẫn cực lớn.

H-index chỉ phù hợp trong một phạm vi hẹp

H-index kết hợp sản lượng và trích dẫn tích lũy nhưng chịu ảnh hưởng mạnh của tuổi nghề, lĩnh vực và thời gian hoạt động. Do có tính tích lũy, chỉ số này phù hợp hơn để mô tả một phần hồ sơ học thuật dài hạn hơn là đánh giá hiệu quả của một dự án hoặc một kỳ hoạt động ngắn.

Hai nhà nghiên cứu ở các lĩnh vực có văn hóa công bố khác nhau cũng không nên được so sánh trực tiếp bằng h-index.

Không nên dùng uy tín của tạp chí thay cho chất lượng của từng nghiên cứu

Chỉ số ở cấp tạp chí mô tả đặc điểm của tập bài đăng trên tạp chí đó, không trực tiếp chứng minh chất lượng hoặc ảnh hưởng của một bài cụ thể. Các nguyên tắc đánh giá nghiên cứu có trách nhiệm như DORA và Leiden Manifesto đều nhấn mạnh nhu cầu đánh giá kết quả nghiên cứu trên chính giá trị của chúng thay vì sử dụng thước đo cấp tạp chí như một đại diện đơn giản cho chất lượng cá nhân.

Do đó, một dashboard về ảnh hưởng khoa học có thể kết hợp:

·         Ảnh hưởng trích dẫn chuẩn hóa theo lĩnh vực

·         Tỷ lệ công bố thuộc nhóm trích dẫn cao

·         Mức độ sử dụng hoặc trích dẫn của dữ liệu và phần mềm

·         Đánh giá chuyên môn đối với các kết quả quan trọng

·         Các bằng chứng trực tiếp cho thấy kết quả đã ảnh hưởng đến nghiên cứu tiếp theo

Trích dẫn vẫn chỉ là một dạng ảnh hưởng. Chúng không cho biết nghiên cứu có đáng tin cậy, hữu ích trong thực tiễn hay tạo ra lợi ích xã hội hay không.

Chỉ số sử dụng nguồn lực và tiến độ phản ánh hiệu suất vận hành nghiên cứu

Nếu mục tiêu là đo hiệu suất, cần liên kết kết quả với ngân sách, nhân lực và thời gian đã sử dụng.

Một số tỷ lệ có thể tính trực tiếp:

Chi phí trên một đầu ra = Tổng chi phí nghiên cứu / Số đầu ra đủ điều kiện

Đầu ra trên FTE = Số đầu ra / FTE nghiên cứu

Tỷ lệ hoàn thành đúng hạn = Số mốc hoàn thành đúng hạn / Tổng số mốc đến hạn × 100%

Sai lệch ngân sách = (Chi phí thực tế − Ngân sách kế hoạch) / Ngân sách kế hoạch × 100%

Các chỉ số này giúp phân biệt hai đơn vị tạo ra cùng lượng đầu ra nhưng sử dụng nguồn lực khác nhau. Tuy nhiên, “chi phí trên mỗi bài báo” không nên trở thành KPI chung cho mọi loại nghiên cứu. Một thử nghiệm dài hạn hoặc cơ sở hạ tầng khoa học có thể tiêu tốn nhiều nguồn lực nhưng tạo ra giá trị không thể quy đổi hợp lý thành số bài báo.

Hiệu quả thu hút tài trợ cũng có thể được theo dõi bằng:

Tỷ lệ thành công tài trợ = Số đề xuất được tài trợ / Số đề xuất đủ điều kiện đã nộp × 100%

Tỷ lệ này cần được đọc cùng mức độ cạnh tranh của chương trình và chiến lược danh mục đề xuất. Tỷ lệ thành công thấp không tự động đồng nghĩa với năng lực nghiên cứu yếu nếu đơn vị chủ động theo đuổi các chương trình rủi ro hoặc cạnh tranh cao.

Do đó, benchmark thích hợp thường là lịch sử của chính đơn vị, các nhóm đồng cấp có nhiệm vụ tương đương hoặc tập tham chiếu đã chuẩn hóa, thay vì một ngưỡng cố định áp dụng cho mọi tổ chức.

Chỉ số độ tin cậy, tính mở và khả năng tái sử dụng đo chất lượng của quá trình nghiên cứu

Một nghiên cứu có nhiều trích dẫn nhưng dữ liệu không thể kiểm tra, phương pháp không minh bạch hoặc kết quả khó tái sử dụng vẫn có những giới hạn đáng kể. Vì vậy, đánh giá hiện đại cần quan sát cả cách tri thức được tạo ra.

Tùy lĩnh vực, có thể sử dụng các chỉ số như:

·         Tỷ lệ công bố có dữ liệu nghiên cứu được chia sẻ khi phù hợp

·         Tỷ lệ dự án công bố mã nguồn hoặc tài liệu phương pháp có thể tái sử dụng

·         Tỷ lệ nghiên cứu đăng ký trước kế hoạch hoặc giao thức khi phương pháp yêu cầu

·         Tỷ lệ sản phẩm có tài liệu mô tả dữ liệu, phiên bản và điều kiện sử dụng đầy đủ

·         Số lượt tải, trích dẫn hoặc tái sử dụng bộ dữ liệu và phần mềm

·         Tỷ lệ tuân thủ các quy trình về đạo đức, quản trị dữ liệu hoặc bảo đảm chất lượng

Các KPI này cần được áp dụng theo điều kiện. Không phải dữ liệu nào cũng có thể công khai vì có thể tồn tại hạn chế về quyền riêng tư, bảo mật, sở hữu trí tuệ hoặc hợp đồng. Vì vậy, “tỷ lệ dữ liệu mở 100%” không phải một chuẩn hợp lý cho mọi đơn vị.

Chỉ số tốt hơn là tỷ lệ nghiên cứu thực hiện chia sẻ khi việc chia sẻ khả thi và được phép, đồng thời đánh giá mức độ mà dữ liệu hoặc mã nguồn thực sự có thể được tìm thấy, hiểu và tái sử dụng.

Cũng không nên coi số lần sửa hoặc đính chính thấp là bằng chứng trực tiếp cho chất lượng cao. Một môi trường nghiên cứu minh bạch có thể chủ động phát hiện và sửa sai. Mục tiêu cần là độ tin cậy của hệ thống, không phải tạo động cơ che giấu vấn đề để giữ KPI đẹp.

Chỉ số hợp tác và phát triển năng lực phản ánh sức khỏe dài hạn của hệ thống nghiên cứu

Hiệu quả nghiên cứu không chỉ nằm ở sản phẩm cuối kỳ. Đối với phòng thí nghiệm, viện nghiên cứu hoặc trường đại học, khả năng hình thành đội ngũ và mạng lưới hợp tác quyết định năng lực tạo kết quả trong tương lai.

Có thể theo dõi:

·         Tỷ lệ công bố hoặc dự án có hợp tác liên đơn vị

·         Tỷ lệ hợp tác liên ngành hoặc quốc tế khi phù hợp với nhiệm vụ

·         Số dự án có sự tham gia của đối tác bên ngoài học thuật

·         Tỷ lệ nghiên cứu sinh hoặc nhân sự đào tạo hoàn thành các mốc chuyên môn

·         Số nhà nghiên cứu trẻ tham gia với vai trò đóng góp thực chất

·         Tỷ lệ duy trì hoặc phát triển năng lực ở các nhóm chuyên môn trọng yếu

Số lượng đối tác không nên được dùng như bằng chứng duy nhất cho chất lượng hợp tác. Một mạng lưới lớn nhưng đóng góp thực chất tập trung ở rất ít thành viên có thể ít giá trị hơn một nhóm nhỏ có sự phối hợp sâu.

Vì vậy, dữ liệu định lượng nên được kết hợp với thông tin về vai trò, đóng góp và kết quả mà quan hệ hợp tác thực sự tạo ra.

Chỉ số chuyển giao, đổi mới và tác động xã hội cho biết nghiên cứu tạo ra thay đổi gì ngoài học thuật

Đối với nghiên cứu ứng dụng, chỉ đo công bố và trích dẫn có thể bỏ qua phần giá trị quan trọng nhất. Kết quả nghiên cứu có thể đi vào sản phẩm, quy trình sản xuất, tiêu chuẩn, hướng dẫn chuyên môn, chính sách công hoặc dịch vụ xã hội mà không tạo lượng trích dẫn học thuật lớn.

Tùy nhiệm vụ của đơn vị, nhóm chỉ số này có thể gồm:

Với sáng chế, chẳng hạn, đếm số đơn đăng ký có thể khuyến khích tăng số lượng nhưng không cho biết công nghệ đã được sử dụng. Một bộ chỉ số tốt hơn có thể ghép số công nghệ tạo ra với tỷ lệ được cấp phép hoặc triển khai và bằng chứng về kết quả sau chuyển giao.

Tương tự, lượt xem trên mạng xã hội hoặc mức độ nhắc đến trên truyền thông có thể là tín hiệu về phạm vi tiếp cận, nhưng không tự động chứng minh ảnh hưởng khoa học hoặc tác động xã hội. Chúng phù hợp hơn với vai trò chỉ báo bổ trợ.

Cách xây dựng bộ chỉ số hiệu quả nghiên cứu phù hợp

Một hệ thống KPI tốt không bắt đầu bằng câu hỏi “có thể đo được gì?” mà bằng câu hỏi “đang cần đạt mục tiêu nào?”. Sau đó mới chọn chỉ số có quan hệ trực tiếp với mục tiêu đó.

Có thể áp dụng bốn nguyên tắc.

Ghép chỉ số số lượng với chỉ số chất lượng

Nếu theo dõi số công bố, nên bổ sung chỉ số về ảnh hưởng, chất lượng hoặc khả năng sử dụng. Nếu theo dõi số bằng sáng chế, nên bổ sung mức độ chuyển giao. Nếu theo dõi số đề tài hoàn thành, cần quan sát cả kết quả của đề tài.

Điều này làm giảm nguy cơ tối ưu KPI mà không tối ưu giá trị nghiên cứu.

Chuẩn hóa trước khi so sánh

Không nên so sánh trực tiếp số bài, số trích dẫn hoặc h-index giữa các lĩnh vực có tập quán nghiên cứu khác nhau. Khi có thể, cần kiểm soát ít nhất ba yếu tố:

·         Lĩnh vực nghiên cứu

·         Giai đoạn thời gian

·         Loại sản phẩm hoặc nhiệm vụ nghiên cứu

Đối với năng suất, còn cần xem xét quy mô nhân lực và nguồn lực. So sánh tổng đầu ra của một trung tâm 100 người với một nhóm 10 người không phản ánh hiệu suất.

Kết hợp chỉ số sớm và chỉ số trễ

Một số tác động cần nhiều năm mới xuất hiện. Nếu chỉ dùng trích dẫn, doanh thu cấp phép hoặc thay đổi chính sách, nhà quản lý có thể phải chờ quá lâu mới nhận biết vấn đề.

Chỉ số sớm như tiến độ, độ mở của dữ liệu, số nguyên mẫu hay mức độ quan tâm của đối tác có thể cho biết quá trình đang diễn ra thế nào. Chỉ số trễ như trích dẫn chuẩn hóa, công nghệ được áp dụng hoặc ảnh hưởng chính sách cho biết kết quả cuối cùng.

Hai loại chỉ số nên bổ trợ nhau chứ không thay thế nhau.

Kiểm tra hành vi mà KPI có thể tạo ra

Mỗi chỉ số khi trở thành mục tiêu quản lý đều có thể thay đổi hành vi. Trước khi áp dụng, cần hỏi: nếu một nhóm cố tối đa hóa KPI này, họ có còn tạo ra loại nghiên cứu mà tổ chức thực sự muốn hay không?

Một bộ KPI cân bằng có thể được thiết kế theo ma trận:

Điểm quan trọng là không cộng tất cả chỉ số thành một điểm số tổng hợp nếu chưa xác định rõ trọng số và hệ quả của việc đánh đổi giữa chúng. Một điểm tổng hợp có thể che mất tình trạng một đơn vị có năng suất rất cao nhưng chất lượng thấp, hoặc có ảnh hưởng mạnh nhưng sử dụng nguồn lực vượt xa kế hoạch.

Các chỉ số hiệu quả nghiên cứu phù hợp nhất vì thế không phải một danh sách KPI cố định mà là một bộ đo cân bằng giữa năng suất, chất lượng và ảnh hưởng khoa học, hiệu suất nguồn lực, độ tin cậy, hợp tác và tác động ứng dụng. Chỉ số đầu ra cho biết nghiên cứu tạo ra bao nhiêu; chỉ số chuẩn hóa và chất lượng cho biết kết quả có giá trị thế nào; chỉ số nguồn lực cho biết chi phí để tạo ra kết quả; còn chỉ số ứng dụng và tác động cho biết tri thức đã tạo ra thay đổi gì. Khi các lớp này được đo đồng thời và so sánh với benchmark phù hợp, việc đánh giá mới phản ánh gần hơn hiệu quả thực sự của hoạt động nghiên cứu.