Phân biệt output, outcome và impact nghiên cứu

Vì vậy, cách phân biệt đáng tin cậy nhất không phải chỉ nhìn vào thời gian hay quy mô. Cần xác định đối tượng nào đang thay đổi, kết quả cách hoạt động nghiên cứu bao nhiêu bước nhân quả và cần loại bằng chứng nào để chứng minh sự thay đổi đó. Các logic model, theory of change và results chain trong monitoring & evaluation đều dựa trên nguyên tắc quan hệ nhân quả này, dù ranh giới thuật ngữ cụ thể có thể khác nhau giữa các khung đánh giá.

Cách phân biệt output, outcome và impact trong một chuỗi kết quả

Có thể hiểu ba khái niệm bằng ba câu hỏi nối tiếp nhau:

Giả sử một nhóm nghiên cứu xây dựng mô hình dự báo nguy cơ ngập. Output có thể là mô hình, mã nguồn, bộ dữ liệu và báo cáo kỹ thuật. Nếu cơ quan quản lý đưa mô hình vào quy trình lập kế hoạch và thay đổi cách ra quyết định, đó là outcome. Nếu những thay đổi trong quản lý sau đó góp phần làm giảm thiệt hại do ngập ở quy mô rộng, phần hiệu ứng rộng hơn này có thể được đánh giá là impact.

Chuỗi trên cũng cho thấy một nguyên tắc quan trọng: output không tự động tạo ra outcome, và outcome không tự động tạo ra impact. Giữa các tầng luôn có những điều kiện trung gian như khả năng tiếp cận, mức độ chấp nhận, năng lực triển khai, chính sách, nguồn lực và bối cảnh. Đó là lý do đánh giá impact khó hơn việc kiểm kê output.

Output là sản phẩm trực tiếp do nghiên cứu tạo ra

Output là thứ có thể quy tương đối trực tiếp cho hoạt động của dự án hoặc nhóm nghiên cứu. Nó trả lời câu hỏi: sau khi thực hiện nghiên cứu, chúng ta đã tạo ra hoặc bàn giao được gì?

Các output thường gặp gồm bài báo, báo cáo, bộ dữ liệu, phần mềm, phương pháp, mô hình, nguyên mẫu, sáng chế, tài liệu hướng dẫn hoặc một chương trình đào tạo đã được tổ chức. Đặc điểm chung của chúng là có thể xác định tương đối rõ thời điểm hoàn thành và chủ thể chịu trách nhiệm tạo ra.

Điều cần tránh là đồng nhất chất lượng của output với impact. Một bài báo được xuất bản trên tạp chí uy tín vẫn trước hết là một output trong chuỗi kết quả. Việc nó được đọc, trích dẫn, sử dụng để phát triển nghiên cứu khác hay dẫn đến thay đổi thực tiễn mới đưa quá trình sang những tầng kết quả tiếp theo.

Tương tự, tổ chức một khóa tập huấn là output vì hoạt động đã tạo ra một sản phẩm hoặc dịch vụ có thể kiểm chứng. Nhưng việc người tham gia thực sự tăng năng lực và thay đổi cách làm lại thuộc outcome. Nếu những thay đổi ấy sau đó cải thiện hiệu quả của cả một hệ thống hoặc tạo lợi ích rộng hơn, khi đó mới xuất hiện cơ sở để nói đến impact.

Vì thế, chỉ số output thường tập trung vào sự tồn tại, số lượng, mức độ hoàn thành, chất lượng hoặc khả năng tiếp cận của sản phẩm. Chúng rất cần thiết để chứng minh nghiên cứu đã tạo ra giá trị trực tiếp, nhưng chưa đủ để chứng minh nghiên cứu đã làm thay đổi thực tiễn.

Outcome là thay đổi phát sinh từ việc sử dụng output

Outcome bắt đầu khi câu hỏi chuyển từ “đã tạo ra gì?” sang “ai đã thay đổi điều gì vì kết quả nghiên cứu được sử dụng?”

Cơ chế hình thành outcome thường có nhiều bước. Một output phải được tiếp cận, hiểu, chấp nhận hoặc áp dụng trước khi nó có thể làm thay đổi kiến thức, năng lực, hành vi, thực hành chuyên môn, quy trình tổ chức hay quyết định. Chính sự thay đổi ở những đối tượng sử dụng này mới là đặc điểm cốt lõi của outcome.

Ví dụ, một phần mềm do nhóm nghiên cứu hoàn thiện là output. Việc một cơ quan tải phần mềm về chưa chắc đã chứng minh outcome nếu chưa biết họ có thực sự sử dụng hay không. Khi phần mềm được tích hợp vào quy trình làm việc và làm thay đổi cách nhân viên phân tích dữ liệu hoặc ra quyết định, bằng chứng về outcome trở nên rõ ràng hơn.

Outcome vì vậy không nên được đo chỉ bằng mức độ tiếp xúc với output. Số lượt tải, số người tham dự hay số lượt truy cập có thể chứng minh mức độ phổ biến hoặc tiếp cận, nhưng muốn kết luận có outcome cần tìm bằng chứng về sự thay đổi. Tùy trường hợp, đó có thể là tỷ lệ áp dụng, thay đổi trong quy trình, thay đổi năng lực, hành vi, quyết định hoặc một chỉ số hiệu quả trung gian.

Thời gian cũng chỉ là tín hiệu phụ. Không có quy tắc rằng kết quả xảy ra trong năm đầu là output, vài năm sau là outcome và lâu hơn nữa mới là impact. Một outcome có thể mất nhiều năm mới xuất hiện, trong khi một số hiệu ứng rộng hơn có thể đến sớm. Vai trò nhân quả của kết quả quan trọng hơn tuổi của kết quả đó.

Impact là hiệu ứng rộng hơn ở cấp hệ thống hoặc xã hội

Impact nằm xa hoạt động nghiên cứu hơn trong chuỗi nhân quả. Nó thường đề cập đến những hiệu ứng đáng kể đối với một cộng đồng, hệ thống, nền kinh tế, môi trường, sức khỏe, chính sách hoặc một phạm vi rộng hơn so với nhóm sử dụng output trực tiếp.

Điểm khác biệt quan trọng là impact thường được hình thành thông qua một hoặc nhiều outcome trung gian. Một nghiên cứu không làm giảm thiệt hại do thiên tai chỉ vì nó tạo ra mô hình dự báo. Mô hình phải được áp dụng, thông tin phải được đưa vào quyết định, cách chuẩn bị hoặc ứng phó phải thay đổi, và chuỗi thay đổi đó mới có khả năng đóng góp vào mức thiệt hại cuối cùng.

Khoảng cách nhân quả càng xa, số yếu tố bên ngoài càng lớn. Vì vậy, việc tuyên bố rằng một nghiên cứu “gây ra” toàn bộ impact thường đòi hỏi bằng chứng mạnh hơn nhiều so với việc chứng minh output. Trong nhiều tình huống phức tạp, đánh giá hợp lý hơn là xác định nghiên cứu đã đóng góp như thế nào vào một thay đổi cùng với chính sách, thị trường, nguồn lực, công nghệ và các tác nhân khác.

Impact cũng không nhất thiết chỉ là hiệu ứng tích cực hoặc đã được dự kiến trước. Một can thiệp dựa trên nghiên cứu có thể tạo ra lợi ích cho một nhóm nhưng đồng thời phát sinh chi phí hoặc hệ quả không mong muốn ở nhóm khác. Đánh giá impact nghiêm túc vì vậy cần xác định rõ đối tượng chịu tác động, hướng tác động, quy mô hoặc ý nghĩa của thay đổi và mức độ mà nghiên cứu có thể được liên hệ với thay đổi ấy.

Ranh giới này không hoàn toàn giống nhau trong mọi hệ thống đánh giá. Một số khung coi tác động học thuật là một dạng impact, trong khi những khung khác dành thuật ngữ impact cho thay đổi bên ngoài giới học thuật. Vì vậy, khi báo cáo chính thức, định nghĩa của khung đánh giá đang áp dụng phải được ưu tiên hơn cách gọi thông thường.

Bốn phép thử để xác định một kết quả thuộc tầng nào

Khi gặp một chỉ số hoặc kết quả chưa biết nên xếp vào output, outcome hay impact, có thể kiểm tra lần lượt bốn yếu tố.

Đối tượng đang được quan sát là gì?

Nếu bằng chứng mô tả sản phẩm do nghiên cứu tạo ra, khả năng cao đó là output.

Nếu bằng chứng mô tả người sử dụng, tổ chức hoặc thực hành đã thay đổi, nó nghiêng về outcome.

Nếu bằng chứng mô tả điều kiện rộng hơn của một hệ thống, cộng đồng hoặc xã hội đã thay đổi, nó có khả năng nằm ở tầng impact.

Đây thường là phép thử có giá trị nhất vì nó xác định trực tiếp đơn vị của thay đổi.

Kết quả cách hoạt động nghiên cứu bao nhiêu bước nhân quả?

Output nằm ngay sau hoạt động nghiên cứu. Outcome xuất hiện khi output được sử dụng hoặc tạo ảnh hưởng đến một tác nhân khác. Impact thường cần thêm các mắt xích trung gian.

Ví dụ:

Nghiên cứu → mô hình dự báo → cơ quan sử dụng mô hình → thay đổi kế hoạch ứng phó → giảm thiệt hại

Trong chuỗi này, mô hình là output; việc sử dụng và thay đổi kế hoạch là outcome; giảm thiệt hại ở phạm vi được đánh giá là hiệu ứng rộng hơn có thể thuộc impact.

Nhóm nghiên cứu kiểm soát trực tiếp đến đâu?

Một nhóm nghiên cứu có thể tương đối trực tiếp kiểm soát việc hoàn thành báo cáo, phần mềm hoặc bộ dữ liệu. Nhưng họ không thể đơn phương quyết định một cơ quan có sử dụng chúng hay không. Họ càng ít kiểm soát trực tiếp việc một nền kinh tế, cộng đồng hoặc hệ thống thay đổi ra sao.

Mức kiểm soát giảm dần không phải định nghĩa tuyệt đối của ba tầng, nhưng là một dấu hiệu hữu ích của khoảng cách nhân quả.

Loại bằng chứng nào cần có để bảo vệ kết luận?

Nếu chỉ cần chứng minh sản phẩm đã hoàn thành, đó thường là output.

Nếu phải chứng minh người khác đã tiếp nhận, sử dụng hoặc thay đổi hành vi, đó thường là outcome.

Nếu kết luận đòi hỏi chứng minh thay đổi rộng hơn và giải thích nghiên cứu đã đóng góp vào thay đổi ấy ra sao, kết quả đang tiến vào phạm vi impact.

Phép thử bằng chứng đặc biệt hữu ích để phát hiện những tuyên bố bị “nâng cấp”. Nếu một báo cáo gọi một kết quả là impact nhưng bằng chứng duy nhất chỉ là số bài báo hoặc số lượt tải, mức bằng chứng đang không tương xứng với tầng kết quả được tuyên bố.

Những trường hợp dễ nhầm trong đánh giá nghiên cứu

Một số kết quả không có nhãn cố định trong mọi khung đánh giá. Chúng cần được phân loại dựa trên vai trò trong chuỗi nhân quả cụ thể.

Bài báo và trích dẫn

Bài báo là sản phẩm nghiên cứu nên thường được xếp vào output. Trích dẫn cho thấy nghiên cứu đã được cộng đồng học thuật tiếp nhận hoặc sử dụng, vì vậy có thể là bằng chứng của outcome hoặc ảnh hưởng học thuật.

Tuy nhiên, một số hệ thống sử dụng khái niệm “academic impact” rộng hơn và có thể gọi ảnh hưởng học thuật là impact. Không nên tranh luận bằng nhãn đơn lẻ; cần xem định nghĩa chính thức của hệ thống đánh giá đang sử dụng.

Hội thảo và đào tạo

Một hội thảo đã tổ chức, tài liệu đào tạo hoặc số người được đào tạo thường phản ánh output. Nếu người tham gia hiểu hơn, có kỹ năng mới hoặc thay đổi thực hành sau đào tạo, đó là outcome.

Chỉ khi những thay đổi ấy tiếp tục tạo ra hiệu ứng rộng hơn, chẳng hạn thay đổi hiệu quả của một hệ thống ở phạm vi lớn hơn, mới có cơ sở xem xét tầng impact.

Nguyên mẫu, bằng sáng chế và thương mại hóa

Nguyên mẫu hoặc bằng sáng chế là output vì chúng được tạo trực tiếp từ nghiên cứu. Khi doanh nghiệp cấp phép, ứng dụng công nghệ hoặc đưa giải pháp vào quy trình sản xuất, đó thường là outcome của quá trình chuyển giao.

Lợi ích kinh tế, năng suất, môi trường hoặc xã hội xuất hiện ở phạm vi rộng hơn có thể là impact, nhưng cần bằng chứng rằng nghiên cứu thực sự đóng góp vào các hiệu ứng đó.

Ảnh hưởng đến chính sách

Một báo cáo hoặc khuyến nghị chính sách là output. Việc cơ quan quản lý xem xét, trích dẫn hoặc sử dụng bằng chứng nghiên cứu cho thấy quá trình uptake và influence, thường phù hợp với outcome.

Một thay đổi chính sách chính thức có thể được một số khung coi là outcome, trong khi khung khác có thể coi bản thân thay đổi chính sách là impact. Hiệu ứng của chính sách đối với người dân, dịch vụ công hoặc hệ thống thường nằm xa hơn trong chuỗi nhân quả.

Các trường hợp này cho thấy output, outcome và impact là vai trò trong một mô hình kết quả chứ không phải thuộc tính cố hữu của một sự kiện. Cùng một hiện tượng thực tế có thể được đặt ở tầng khác nhau nếu phạm vi dự án, đơn vị phân tích hoặc định nghĩa của khung đánh giá thay đổi.

Chọn chỉ số và bằng chứng phù hợp cho từng tầng

Phân biệt đúng ba khái niệm có ý nghĩa trực tiếp đối với cách thiết kế đánh giá. Mỗi tầng đặt ra một câu hỏi khác nhau nên cũng cần bằng chứng khác nhau.

Điểm quan trọng là không dùng một chỉ số ở tầng thấp để thay thế bằng chứng cho một tầng cao hơn. Số bài báo có thể chứng minh output nhưng tự nó không chứng minh impact. Một tài liệu chính sách trích dẫn nghiên cứu cho thấy ảnh hưởng hoặc uptake, nhưng chưa tự động chứng minh rằng đời sống xã hội đã được cải thiện nhờ nghiên cứu đó.

Một thiết kế đánh giá tốt vì thế thường nối bằng chứng thành chuỗi: sản phẩm nào được tạo ra, ai sử dụng sản phẩm, việc sử dụng tạo ra thay đổi gì và thay đổi ấy đóng góp thế nào vào hiệu ứng rộng hơn. Khi impact chưa thể quan sát trong thời hạn dự án, nên báo cáo trung thực các output và outcome đã được xác minh thay vì đổi tên chúng thành impact. Impact dự kiến có thể được mô tả như giả thuyết của chuỗi kết quả, nhưng không nên trình bày như impact đã được chứng minh.

Phân biệt output, outcome và impact trong nghiên cứu trở nên rõ ràng khi đặt chúng vào cùng một chuỗi nhân quả. Output là thứ nghiên cứu trực tiếp tạo ra; outcome là thay đổi ở người sử dụng, tổ chức hoặc thực hành sau khi output được tiếp nhận; impact là hiệu ứng rộng hơn hình thành ở những mắt xích xa hơn. Thời gian, quy mô hay mức độ ấn tượng chỉ là tín hiệu hỗ trợ, không phải tiêu chí quyết định. Khi đánh giá hiệu quả nghiên cứu, nên xác định trước định nghĩa của khung đánh giá, xây dựng chuỗi kết quả và yêu cầu bằng chứng phù hợp cho từng mắt xích thay vì gắn nhãn impact cho mọi kết quả tích cực.