Cách đánh giá đầu ra nghiên cứu trong doanh nghiệp

Từ nền tảng này, việc đánh giá nên tách thành ba trục: số lượng phản ánh khối lượng đầu ra tạo được; chất lượng phản ánh mức đáp ứng tiêu chí kỹ thuật hoặc tiêu chí nghiệm thu; mức hoàn thành phản ánh phần nghĩa vụ nghiên cứu theo kế hoạch đã thực sự được bàn giao và chấp nhận. Ba chỉ số trả lời ba câu hỏi khác nhau, vì vậy không nên dùng một chỉ số để thay thế hai chỉ số còn lại.

Xác định đúng đơn vị đầu ra trước khi đo

Sai lệch lớn nhất khi đánh giá đầu ra nghiên cứu thường xuất hiện trước cả bước tính KPI: doanh nghiệp chưa thống nhất thế nào là một đầu ra.

Tùy loại nghiên cứu, đầu ra có thể là bộ dữ liệu đã kiểm tra, báo cáo nghiên cứu, kết quả thử nghiệm, mô hình, thuật toán, phương pháp, thiết kế kỹ thuật, mẫu thử hay nguyên mẫu. Một hoạt động đã thực hiện hoặc số giờ nghiên cứu đã sử dụng không tự động trở thành đầu ra. Tương tự, một tài liệu đang soạn dở chưa thể được tính ngang với một deliverable đã qua nghiệm thu.

Cần phân biệt thêm output với kết quả ở tầng sau. Chẳng hạn, một nguyên mẫu được hoàn thành là đầu ra; việc nguyên mẫu đó tạo doanh thu trong tương lai lại thuộc một tầng kết quả khác. Nếu hai tầng này bị trộn, nhóm nghiên cứu có thể bị đánh giá thấp chỉ vì đầu ra chưa được thương mại hóa, dù nhiệm vụ nghiên cứu đã hoàn thành đúng yêu cầu.

Frascati Manual của OECD là một tham chiếu quan trọng để xác định phạm vi hoạt động R&D, nhưng không cung cấp một thang điểm phổ quát để chấm mọi loại deliverable nghiên cứu của doanh nghiệp. Vì thế, căn cứ trực tiếp để đánh giá vẫn phải là kế hoạch nghiên cứu đã được phê duyệt, mô tả deliverable, tiêu chí nghiệm thu và tiêu chuẩn kỹ thuật áp dụng cho từng đầu ra.

Trước khi đo, mỗi deliverable nên có tối thiểu các thông tin:

·         Mã và loại đầu ra

·         Đơn vị đo hoặc số lượng mục tiêu

·         Tiêu chí chất lượng và ngưỡng chấp nhận

·         Trọng số nếu các deliverable có quy mô khác nhau

·         Thời điểm đánh giá

·         Bằng chứng cần có để xác nhận

·         Trạng thái nghiệm thu

Khi các yếu tố này được xác định từ trước, doanh nghiệp mới có một baseline đủ ổn định để so sánh giữa kế hoạch và kết quả thực tế.

Đánh giá số lượng đầu ra nghiên cứu

Số lượng trả lời câu hỏi: hoạt động nghiên cứu đã tạo ra bao nhiêu đơn vị đầu ra có thể xác định được?

Ở mức đơn giản nhất, doanh nghiệp có thể đếm số đầu ra theo từng loại. Ví dụ, số bộ thử nghiệm, số bộ dữ liệu, số mô hình được xây dựng hoặc số nguyên mẫu được tạo. Tuy nhiên, nên tách ít nhất hai lớp số liệu: số đầu ra đã tạo và số đầu ra đã được chấp nhận.

Có thể biểu diễn:

Số lượng tạo ra = Tổng số đơn vị đầu ra được hình thành trong kỳ

Số lượng được chấp nhận = Tổng số đơn vị đáp ứng điều kiện nghiệm thu

Việc tách hai con số này rất quan trọng. Nếu một nhóm tạo 20 báo cáo nhưng chỉ 8 báo cáo đạt yêu cầu, việc chỉ công bố “20 đầu ra” sẽ làm chỉ số số lượng che khuất vấn đề chất lượng.

Khi doanh nghiệp đã đặt mục tiêu định lượng cho một loại đầu ra đồng nhất, có thể tính chỉ số đạt mục tiêu:

Chỉ số số lượng (%) = Số đơn vị được chấp nhận / Số đơn vị mục tiêu × 100

Ví dụ, một nghiên cứu đặt mục tiêu hoàn thành 20 phép thử hợp lệ và thực tế thu được 22 phép thử đáp ứng protocol. Chỉ số số lượng đạt 110%. Con số vượt 100% cho biết khối lượng tạo ra vượt mục tiêu, nhưng chưa nói nghiên cứu đã hoàn thành toàn bộ các deliverable khác.

Đây là điểm cần phân biệt số lượng với mức hoàn thành. Một dự án có thể thực hiện 22 phép thử thay vì 20 nhưng vẫn chưa hoàn thành nguyên mẫu cuối cùng. Vì vậy, khối lượng vượt kế hoạch ở một loại đầu ra không nên tự động bù cho một deliverable khác còn thiếu.

Với các đầu ra không đồng nhất, không nên cộng trực tiếp “1 nguyên mẫu 3 báo cáo 5 bộ dữ liệu = 9 đầu ra” rồi dùng số 9 để so sánh. Các đơn vị này có bản chất và độ phức tạp khác nhau. Doanh nghiệp nên giữ chỉ tiêu theo từng nhóm hoặc sử dụng trọng số đã xác định từ trước.

Nếu sử dụng trọng số, đó là quy ước quản trị nội bộ, không phải benchmark phổ quát. Trọng số cần được cố định trước khi xem kết quả để tránh việc điều chỉnh cách tính nhằm làm đẹp thành tích sau khi nghiên cứu kết thúc.

Đánh giá chất lượng đầu ra nghiên cứu

Số lượng cho biết có bao nhiêu đầu ra; chất lượng cho biết những đầu ra đó có đủ tốt để được sử dụng hoặc nghiệm thu hay không.

Trong nghiên cứu, “chất lượng cao” không nên là một nhận xét cảm tính. Nó cần được chuyển thành tiêu chí có thể kiểm tra bằng tài liệu, dữ liệu, thử nghiệm hoặc review chuyên môn.

Tùy loại deliverable, tiêu chí có thể bao gồm độ chính xác, khả năng tái lập, tính đầy đủ của dữ liệu, khả năng truy vết, mức tuân thủ protocol, độ ổn định của kết quả hoặc mức đáp ứng thông số kỹ thuật. Không phải mọi tiêu chí đều áp dụng cho mọi đầu ra; chất lượng của một bộ dữ liệu và chất lượng của một nguyên mẫu cần được kiểm tra bằng những yêu cầu khác nhau.

Một chỉ số cơ bản là tỷ lệ đạt nghiệm thu:

Tỷ lệ đạt chất lượng (%) = Số đầu ra đạt tiêu chí / Tổng số đầu ra đã được đánh giá × 100

Nếu cần đánh giá nhiều tiêu chí trên cùng một deliverable, doanh nghiệp có thể chuẩn hóa từng tiêu chí về thang điểm chung rồi tính:

Điểm chất lượng = Σ (Trọng số tiêu chí × Điểm tiêu chí) / Σ Trọng số

Tuy nhiên, điểm trung bình không nên cho phép một ưu điểm bù cho một lỗi nghiêm trọng. Với các yêu cầu bắt buộc như an toàn, độ chính xác tối thiểu hoặc thông số kỹ thuật cốt lõi, nên sử dụng quality gate: nếu đầu ra không vượt qua tiêu chí bắt buộc thì chưa được nghiệm thu, dù tổng điểm trung bình vẫn cao.

Một chỉ số bổ sung hữu ích là tỷ lệ đạt ngay lần đánh giá đầu tiên:

First-pass acceptance rate (%) = Số đầu ra đạt ngay lần đầu / Tổng số đầu ra được review × 100

Chỉ số này giúp phân biệt hai trường hợp cùng đạt 100% nghiệm thu cuối cùng: một nhóm tạo ra đầu ra đạt chuẩn ngay từ đầu, trong khi nhóm khác phải sửa nhiều vòng mới đạt cùng kết quả.

Bằng chứng chất lượng nên đến từ nguồn phù hợp với từng loại nghiên cứu, chẳng hạn dữ liệu thử nghiệm, hồ sơ thí nghiệm, test report, protocol, version history, review của chuyên gia hoặc biên bản nghiệm thu. Nếu lĩnh vực có tiêu chuẩn kỹ thuật hay phương pháp thử đã được công nhận, tiêu chuẩn đó nên được sử dụng làm căn cứ thay vì tự đặt một mô tả định tính như “tốt”, “ổn định” hay “đạt chất lượng cao”.

Điều quan trọng là không tồn tại một ngưỡng 80/100 hay 90/100 áp dụng cho mọi nghiên cứu. Ngưỡng chấp nhận phải xuất phát từ mục tiêu nghiên cứu, mức rủi ro, loại đầu ra và yêu cầu kỹ thuật cụ thể.

Một kết quả nghiên cứu âm tính cũng không đồng nghĩa với chất lượng thấp. Nếu thí nghiệm được thực hiện đúng thiết kế, dữ liệu đủ tin cậy và kết luận được chứng minh, việc giả thuyết ban đầu không được xác nhận vẫn có thể là một đầu ra nghiên cứu đạt chất lượng. Chất lượng đánh giá độ tin cậy của quá trình và deliverable, không đánh giá việc kết quả có “đẹp” hay không.

Đánh giá mức hoàn thành so với kế hoạch

Mức hoàn thành trả lời câu hỏi khác với số lượng: doanh nghiệp đã thực hiện được bao nhiêu phần nghĩa vụ đầu ra đã cam kết trong kế hoạch?

Nếu mọi deliverable có quy mô tương đương, doanh nghiệp có thể tính:

Mức hoàn thành (%) = Số deliverable đã được chấp nhận / Tổng số deliverable theo kế hoạch × 100

Trong thực tế, một báo cáo ngắn và một nguyên mẫu hoàn chỉnh hiếm khi có mức độ quan trọng tương đương. Khi đó, nên sử dụng trọng số:

Mức hoàn thành có trọng số (%) = Σ (Trọng số deliverable × Hệ số hoàn thành) / Σ Trọng số kế hoạch × 100

Với một deliverable đã nghiệm thu, hệ số hoàn thành có thể bằng 1; chưa hoàn thành bằng 0. Điểm hoàn thành từng phần chỉ nên được sử dụng khi kế hoạch từ trước đã quy định các milestone trung gian có thể xác minh.

Ví dụ, một deliverable đang được nhóm nghiên cứu mô tả là “đã xong 90%” nhưng chưa có milestone định lượng hoặc bằng chứng nghiệm thu không nên tự động nhận 90% điểm. Con số này dễ bị chi phối bởi đánh giá chủ quan.

Giả sử dự án có bốn deliverable với trọng số lần lượt 20%, 25%, 25% và 30%. Tại thời điểm đánh giá, ba deliverable đầu đã được nghiệm thu, deliverable cuối vẫn là bản nháp và không có milestone trung gian được phê duyệt. Mức hoàn thành hợp lệ khi đó là:

20% 25% 25% = 70%

Không phải 97% chỉ vì nhóm nghiên cứu tự ước tính deliverable cuối đã hoàn thành 90%.

Một nguyên tắc khác là giữ ổn định mẫu số. Mức hoàn thành phải được tính trên baseline kế hoạch được phê duyệt gần nhất. Khi phạm vi nghiên cứu thực sự thay đổi, baseline chỉ nên thay đổi sau một quyết định điều chỉnh chính thức. Nếu deliverable bị xóa khỏi mẫu số ngay khi nhận thấy khó hoàn thành, tỷ lệ hoàn thành sẽ mất ý nghĩa.

Mức hoàn thành cũng nên được giới hạn ở 100% đối với phần nghĩa vụ ban đầu. Các đầu ra bổ sung ngoài kế hoạch có thể được ghi nhận riêng là phần vượt mục tiêu, thay vì làm tỷ lệ hoàn thành tăng lên 130% hoặc 150%. Cách này giữ được ý nghĩa của chỉ số: 100% nghĩa là toàn bộ phạm vi đã cam kết đã hoàn thành.

Kết hợp ba trục mà không làm sai lệch kết quả

Ba chỉ số nên được đọc cùng nhau dưới dạng một bộ chỉ báo thay vì mặc định cộng thành một con số duy nhất.

Nếu số lượng cao nhưng chất lượng thấp, doanh nghiệp đang tạo nhiều đầu ra nhưng tỷ lệ sử dụng hoặc nghiệm thu thấp. Nếu chất lượng cao nhưng mức hoàn thành thấp, những deliverable đã tạo có thể rất tốt nhưng một phần phạm vi nghiên cứu vẫn chưa được bàn giao. Nếu mức hoàn thành được báo cáo cao trong khi tỷ lệ nghiệm thu chất lượng thấp, doanh nghiệp cần kiểm tra lại định nghĩa “hoàn thành”, bởi một deliverable chưa vượt quality gate không nên được tính tương đương một deliverable đã được chấp nhận.

Một dashboard có thể duy trì đồng thời:

·         Số lượng thực tế và số lượng được chấp nhận

·         Chỉ số đạt mục tiêu số lượng theo từng loại đầu ra

·         Tỷ lệ đạt tiêu chí chất lượng

·         Điểm chất lượng hoặc first-pass acceptance rate khi phù hợp

·         Tỷ lệ hoàn thành deliverable có trọng số

·         Các ngoại lệ và thay đổi baseline đã được phê duyệt

Trong một số trường hợp, ban quản lý cần một điểm tổng hợp để so sánh nhiều chương trình nghiên cứu. Khi đó có thể sử dụng dạng:

Điểm tổng hợp = α × Chỉ số số lượng β × Chỉ số chất lượng γ × Mức hoàn thành

với:

α β γ = 1

Nhưng cách này chỉ có ý nghĩa khi cả ba thành phần đã được chuẩn hóa về cùng thang điểm và trọng số được quy định trước. Không có bộ trọng số phổ quát phù hợp cho mọi doanh nghiệp.

Đặc biệt, chất lượng nên được xem xét như một điều kiện chặn trong những nghiên cứu có yêu cầu kỹ thuật nghiêm ngặt. Nếu không, một nhóm có thể tạo rất nhiều đầu ra để bù điểm cho chất lượng thấp. Về mặt toán học điểm tổng vẫn có thể đẹp, nhưng về mặt nghiên cứu các deliverable đó chưa chắc sử dụng được.

Tương tự, nếu chỉ số số lượng vượt 100%, doanh nghiệp có thể hiển thị phần vượt mục tiêu riêng thay vì để mức vượt này bù trừ cho phần hoàn thành còn thiếu. Điều này giữ cho từng chỉ số đúng với câu hỏi mà nó được thiết kế để trả lời.

Thiết lập quy trình đánh giá có thể kiểm chứng

Một hệ thống đánh giá tốt không chỉ cho ra điểm số mà còn cho phép người khác kiểm tra vì sao điểm số đó được hình thành. Doanh nghiệp có thể triển khai theo sáu bước.

1.    Thiết lập baseline trước khi thực hiện nghiên cứu, bao gồm danh sách deliverable, mục tiêu số lượng, trọng số và thời điểm đánh giá

2.    Xác định tiêu chí nghiệm thu cho từng loại đầu ra, ưu tiên tiêu chuẩn kỹ thuật, protocol hoặc yêu cầu đo lường khách quan khi chúng tồn tại

3.    Quy định bằng chứng hoàn thành, chẳng hạn test report, bộ dữ liệu đã khóa phiên bản, biên bản review, hồ sơ thử nghiệm hoặc xác nhận nghiệm thu

4.    Thu thập dữ liệu tại cùng một thời điểm chốt, tránh lấy số lượng ở một thời điểm nhưng lấy trạng thái nghiệm thu ở một thời điểm khác

5.    Tính riêng số lượng, chất lượng và mức hoàn thành, sau đó mới phân tích mối quan hệ giữa ba chỉ số

6.    Xử lý ngoại lệ và thay đổi phạm vi bằng cơ chế phê duyệt, không sửa mục tiêu hoặc tiêu chí sau khi đã biết kết quả chỉ để cải thiện điểm đánh giá

Một bảng theo dõi tối thiểu nên cho phép truy ngược từ chỉ số tổng về từng deliverable: loại đầu ra, mục tiêu, thực tế, tiêu chí chất lượng, trạng thái chấp nhận, trọng số, điểm hoàn thành và bằng chứng kiểm chứng.

Cơ chế này giải quyết một vấn đề quan trọng của nghiên cứu doanh nghiệp: hai dự án có thể đều báo cáo “hoàn thành 90%”, nhưng một dự án có 90% deliverable đã nghiệm thu, còn dự án kia chỉ có 60% được nghiệm thu và phần còn lại là tự ước lượng tiến độ. Nếu dữ liệu gốc và quy tắc tính không được lưu lại, hai con số nhìn giống nhau nhưng mang ý nghĩa hoàn toàn khác.

Do đó, mục tiêu cuối cùng của hệ thống không phải tạo ra KPI càng phức tạp càng tốt. Mục tiêu là tạo một chuỗi logic có thể kiểm chứng từ kế hoạch → deliverable → bằng chứng → nghiệm thu → chỉ số. Khi chuỗi này rõ ràng, việc đánh giá đầu ra nghiên cứu mới phản ánh đúng những gì doanh nghiệp thực sự đã nhận được.

Để đánh giá đầu ra nghiên cứu một cách đáng tin cậy, doanh nghiệp cần giữ riêng ba câu hỏi: đã tạo ra bao nhiêu, đầu ra có đạt yêu cầu hay không và đã hoàn thành bao nhiêu phần phạm vi cam kết. Số lượng, chất lượng và mức hoàn thành bổ sung cho nhau nhưng không thể thay thế nhau.

Cách đánh giá có giá trị nhất là cách được thiết kế trước khi biết kết quả: đơn vị đầu ra rõ ràng, tiêu chí nghiệm thu định lượng khi có thể, baseline được kiểm soát, deliverable chỉ được ghi nhận hoàn thành khi có bằng chứng phù hợp. Khi đó, chỉ số không chỉ phục vụ báo cáo mà còn cho phép doanh nghiệp kiểm tra chính xác phần nghiên cứu nào đã được thực hiện, phần nào đạt chuẩn và phần nào vẫn còn thiếu.