Những tiêu chí đánh giá bằng chứng trước quyết định

Vì vậy, không nên dùng một tiêu chí duy nhất hoặc một thang điểm cố định cho mọi tình huống. Cách đánh giá hợp lý hơn là kiểm tra nhiều lớp: bằng chứng có trả lời đúng câu hỏi không, nguồn dữ liệu có thể truy vết không, phương pháp có đủ mạnh không, nguy cơ sai lệch nằm ở đâu, kết quả có áp dụng được vào bối cảnh hiện tại không và mức bất định còn lại lớn đến mức nào. Khi hậu quả của quyết định càng lớn, yêu cầu đối với chất lượng và độ chắc chắn của bằng chứng càng nên cao.

Bắt đầu bằng mức độ phù hợp với câu hỏi quyết định

Tiêu chí đầu tiên không phải là nguồn có nổi tiếng hay nghiên cứu có quy mô lớn hay không, mà là bằng chứng có thực sự trả lời câu hỏi cần giải quyết hay không. Một dữ liệu có thể hoàn toàn chính xác nhưng vẫn ít giá trị nếu nó đo sai đối tượng, sai kết quả hoặc sai bối cảnh.

Có thể kiểm tra mức độ phù hợp bằng cách đối chiếu ít nhất các yếu tố: đối tượng được nghiên cứu, bối cảnh, yếu tố hoặc biện pháp được xem xét, kết quả được đo và khoảng thời gian quan sát. Càng nhiều khác biệt giữa những yếu tố này với tình huống thực tế, khả năng suy rộng từ bằng chứng sang quyết định càng giảm.

Ví dụ, dữ liệu về hiệu quả của một giải pháp trong môi trường được kiểm soát chặt chưa chắc phản ánh hiệu quả khi triển khai trong điều kiện vận hành bình thường. Vấn đề không nằm ở việc nghiên cứu đó “kém chất lượng”, mà ở tính trực tiếp đối với câu hỏi hiện tại.

Mức độ phù hợp cũng giúp tránh một lỗi thường gặp: lựa chọn bằng chứng vì nó dễ tìm hoặc có vẻ thuyết phục rồi mới điều chỉnh câu hỏi để phù hợp với dữ liệu. Trình tự nên ngược lại: xác định câu hỏi trước, sau đó đánh giá từng bằng chứng dựa trên khả năng trả lời câu hỏi đó.

Một bằng chứng nên được hạ trọng số đáng kể khi kết quả mà nó đo chỉ là đại diện gián tiếp cho điều thực sự cần biết, hoặc khi đối tượng và điều kiện nghiên cứu khác đáng kể so với bối cảnh áp dụng. Đây là lý do relevance và directness cần được kiểm tra trước khi phân tích sâu hơn các đặc điểm kỹ thuật.

Kiểm tra nguồn gốc, tính độc lập và khả năng truy vết

Sau khi xác nhận bằng chứng liên quan đến câu hỏi, cần xem xét nó được hình thành từ đâu. Một bằng chứng đáng tin cậy phải cho phép người đọc lần ngược lại quá trình tạo ra kết quả: dữ liệu gốc là gì, ai thu thập, phương pháp nào được sử dụng, khi nào dữ liệu được tạo và những bước xử lý nào đã diễn ra.

Khả năng truy vết quan trọng vì kết luận cuối cùng thường trải qua nhiều lớp chuyển đổi. Một báo cáo có thể tóm tắt một nghiên cứu; bài báo khác lại tóm tắt báo cáo đó; nội dung truyền thông tiếp tục rút gọn thêm. Qua mỗi lớp, điều kiện, giới hạn và mức bất định của dữ liệu ban đầu có thể bị mất. Vì thế, khi quyết định quan trọng, nên ưu tiên tiếp cận nguồn gần dữ liệu hoặc phương pháp gốc nhất có thể.

Uy tín của tổ chức hoặc tác giả có giá trị như một tín hiệu ban đầu nhưng không thể thay thế việc thẩm định bằng chứng. Một tổ chức có danh tiếng vẫn có thể sử dụng dữ liệu không phù hợp cho một câu hỏi cụ thể, trong khi một nguồn ít nổi tiếng hơn có thể cung cấp phương pháp và dữ liệu minh bạch hơn.

Tính độc lập cũng cần được kiểm tra. Nguồn tài trợ, lợi ích thương mại, lợi ích nghề nghiệp hoặc mục tiêu vận động không tự động làm bằng chứng trở nên sai, nhưng chúng tạo ra khả năng xuất hiện xung đột lợi ích. Điều quan trọng là xung đột đó có được công khai hay không và thiết kế nghiên cứu có đủ cơ chế hạn chế ảnh hưởng của nó hay không.

Một số dấu hiệu làm giảm khả năng kiểm chứng gồm dữ liệu không có nguồn gốc rõ ràng, phương pháp không được mô tả, chỉ công bố kết quả thuận lợi, không giải thích dữ liệu bị loại hoặc không thể xác định cách đi từ dữ liệu đến kết luận. Trong những trường hợp này, vấn đề cốt lõi là người sử dụng không thể đánh giá độc lập mức độ đáng tin của kết quả.

Đánh giá phương pháp và nguy cơ sai lệch của bằng chứng

Chất lượng phương pháp quyết định liệu kết quả quan sát được có đủ cơ sở để hỗ trợ loại kết luận đang được đưa ra hay không. Cùng một dữ liệu có thể phù hợp để mô tả một hiện tượng nhưng không đủ mạnh để chứng minh quan hệ nhân quả.

Phương pháp có phù hợp với loại kết luận?

Trước hết cần hỏi phương pháp thu thập và phân tích dữ liệu có phù hợp với claim hay không. Nếu mục tiêu chỉ là ước tính tỷ lệ xuất hiện của một hiện tượng, một thiết kế mô tả phù hợp có thể đủ. Nếu muốn kết luận rằng yếu tố A làm thay đổi kết quả B, yêu cầu kiểm soát các nguyên nhân thay thế sẽ cao hơn nhiều.

Quy mô mẫu cũng phải được hiểu đúng. Mẫu lớn thường giúp giảm sai số ngẫu nhiên và tăng độ chính xác của ước lượng, nhưng không tự động sửa được sai lệch có hệ thống. Nếu cách chọn mẫu, cách đo lường hoặc cách phân nhóm đã thiên lệch, việc tăng số quan sát có thể chỉ tạo ra một ước lượng rất chính xác của một kết quả vốn đã bị lệch.

Vì thế, câu hỏi quan trọng hơn “có bao nhiêu dữ liệu?” là “dữ liệu được tạo ra bằng cơ chế nào và cơ chế đó có thể làm kết quả lệch theo hướng nào?”.

Sai lệch nào có thể làm kết quả lệch?

Nguy cơ sai lệch có thể xuất hiện ở nhiều giai đoạn. Sai lệch chọn mẫu khiến nhóm được quan sát không đại diện cho đối tượng cần suy luận. Sai lệch đo lường xuất hiện khi công cụ hoặc quy trình đo phản ánh không chính xác biến cần nghiên cứu. Yếu tố gây nhiễu có thể khiến hai hiện tượng cùng thay đổi dù giữa chúng không tồn tại quan hệ nhân quả như kết luận ban đầu.

Dữ liệu thiếu và cách xử lý dữ liệu thiếu cũng có thể thay đổi kết quả. Tương tự, nếu chỉ những phân tích thuận lợi được công bố trong khi các kết quả khác bị bỏ qua, bằng chứng cuối cùng có thể tạo cảm giác chắc chắn cao hơn thực tế.

Các khung thẩm định như phương pháp đánh giá nguy cơ sai lệch của Cochrane nhấn mạnh chính nguyên tắc này: thay vì chỉ gắn nhãn một nghiên cứu là “tốt” hoặc “xấu”, cần xác định nguồn sai lệch cụ thể và khả năng chúng tác động đến kết luận.

Do đó, bằng chứng có phương pháp chưa hoàn hảo không nhất thiết phải bị loại bỏ hoàn toàn. Cách hợp lý hơn là giảm mức độ tin cậy tương ứng với loại sai lệch, mức độ nghiêm trọng và khả năng sai lệch làm thay đổi kết luận cần dùng cho quyết định.

Xem xét tính trực tiếp, khả năng áp dụng và độ mới

Một nghiên cứu có thể được thực hiện rất chặt chẽ nhưng vẫn không đủ phù hợp với quyết định nếu điều kiện thực tế khác đáng kể với điều kiện tạo ra bằng chứng. Đây là khác biệt giữa việc một kết quả đúng trong nghiên cứu và việc kết quả đó có thể áp dụng vào tình huống hiện tại.

Khả năng áp dụng nên được kiểm tra thông qua sự tương đồng về đối tượng, môi trường, nguồn lực, quy trình thực hiện và các điều kiện có thể ảnh hưởng đến kết quả. Bằng chứng càng phụ thuộc vào những điều kiện đặc biệt mà bối cảnh hiện tại không có, mức độ chắc chắn khi suy rộng càng thấp.

Tính cập nhật cũng cần được đánh giá nhưng không nên đồng nhất “mới hơn” với “tốt hơn”. Độ mới quan trọng khi đối tượng nghiên cứu thay đổi nhanh, chẳng hạn công nghệ, hành vi thị trường hoặc môi trường vận hành. Trong một lĩnh vực ổn định, một nghiên cứu cũ nhưng có phương pháp mạnh vẫn có thể hữu ích hơn một nghiên cứu mới có thiết kế yếu.

Cách kiểm tra tốt hơn là hỏi: những điều kiện làm nên kết quả ban đầu đã thay đổi đủ nhiều để khiến bằng chứng mất giá trị hay chưa? Nếu công nghệ, tiêu chuẩn, quy trình, đặc điểm dân số hoặc môi trường đã thay đổi đáng kể, dữ liệu cũ cần được giảm trọng số hoặc kiểm chứng bằng bằng chứng mới hơn.

Tương tự, không nên sử dụng kết quả gián tiếp như thể đó là bằng chứng trực tiếp. Nếu dữ liệu chỉ đo một biến thay thế, một thị trường khác, một nhóm đối tượng khác hoặc một điều kiện mô phỏng, phần suy luận từ dữ liệu đến quyết định phải được xem là một nguồn bất định bổ sung.

Đối chiếu tính nhất quán, độ chính xác và mức bất định

Một bằng chứng đơn lẻ hiếm khi cho biết toàn bộ mức độ chắc chắn của một kết luận. Khi có nhiều nguồn độc lập, việc so sánh chúng giúp xác định kết quả có tái xuất hiện hay chỉ phụ thuộc vào một tập dữ liệu hoặc phương pháp cụ thể.

Nhất quán không có nghĩa là chắc chắn tuyệt đối

Nếu nhiều nghiên cứu độc lập, sử dụng dữ liệu hoặc phương pháp khác nhau nhưng cùng dẫn tới một kết quả tương tự, niềm tin vào kết luận thường tăng. Đây là giá trị của triangulation: những đường bằng chứng khác nhau hội tụ vào cùng một nhận định.

Tuy nhiên, việc nhiều nguồn giống nhau không có giá trị lớn nếu chúng cùng phụ thuộc vào một dữ liệu gốc hoặc lặp lại cùng một sai lệch. Mười bài viết dẫn lại một nghiên cứu vẫn chủ yếu là một nguồn bằng chứng, không phải mười lần xác nhận độc lập.

Khi các kết quả khác nhau, không nên lập tức chọn nghiên cứu có kết quả thuận với kỳ vọng. Cần tìm nguyên nhân của sự khác biệt: đối tượng khác nhau, phương pháp khác nhau, điều kiện khác nhau, phép đo khác nhau hay sai số ngẫu nhiên. Sự bất nhất đôi khi là dấu hiệu rằng hiệu ứng chỉ tồn tại trong một số điều kiện nhất định, chứ không nhất thiết chứng minh toàn bộ bằng chứng đều vô dụng.

Độ chính xác phải đi cùng mức bất định

Một ước lượng chỉ có ý nghĩa khi biết mức bất định xung quanh nó. Trong nghiên cứu định lượng, các đại lượng như khoảng tin cậy, sai số chuẩn hoặc phân bố của kết quả giúp thể hiện mức độ chính xác. Khoảng bất định rộng cho thấy dữ liệu vẫn tương thích với nhiều giá trị khác nhau và do đó khó hỗ trợ một quyết định cần độ chính xác cao.

Cũng cần tách ý nghĩa thống kê khỏi ý nghĩa đối với quyết định. Một khác biệt có thể được phát hiện rất chắc về mặt thống kê nhưng quá nhỏ để tạo ra tác động thực tế đáng kể. Ngược lại, một hiệu ứng có thể đủ lớn để đáng quan tâm nhưng dữ liệu hiện tại còn quá ít để xác định chính xác quy mô của nó.

Vì vậy, thay vì chỉ hỏi “kết quả có tồn tại hay không”, nên hỏi thêm “hiệu ứng lớn đến đâu, ước lượng chính xác đến mức nào và phạm vi kết quả còn có thể xảy ra là gì?”. Đây là những câu hỏi trực tiếp quyết định mức độ tự tin mà bằng chứng xứng đáng nhận được.

Tổng hợp độ chắc chắn thay vì đếm số bằng chứng

Sau khi đánh giá từng tiêu chí, bước quan trọng nhất là tổng hợp chúng thành mức độ chắc chắn của toàn bộ bằng chứng. Không nên thực hiện bằng cách cộng điểm máy móc hoặc để mọi tiêu chí có trọng số bằng nhau.

Một điểm yếu nghiêm trọng ở tiêu chí cốt lõi có thể quan trọng hơn nhiều điểm mạnh nhỏ ở các tiêu chí khác. Chẳng hạn, một nghiên cứu rất mới, mẫu lớn và trình bày chuyên nghiệp vẫn không thể hỗ trợ tốt một kết luận nếu phương pháp tạo ra sai lệch nghiêm trọng hoặc đối tượng nghiên cứu hoàn toàn khác với tình huống cần áp dụng.

Các hệ thống như GRADE, được sử dụng nhiều trong đánh giá bằng chứng y tế, minh họa cách tiếp cận này bằng việc xem xét các yếu tố như nguy cơ sai lệch, tính bất nhất, tính gián tiếp, thiếu chính xác và nguy cơ thiên lệch công bố để điều chỉnh mức độ chắc chắn. Các tiêu chí cụ thể không nên được sao chép máy móc sang mọi lĩnh vực, nhưng nguyên tắc quan trọng có thể áp dụng rộng hơn: đánh giá chất lượng của cả chuỗi bằng chứng thay vì chỉ đếm số tài liệu ủng hộ một kết luận.

Trong thực tế, có thể tổng hợp bằng chứng theo ba câu hỏi liên tiếp:

1.    Có đúng bằng chứng cần thiết không? Bằng chứng phải phù hợp trực tiếp với câu hỏi và bối cảnh

2.    Có lý do đáng kể để kết quả bị sai không? Xem xét nguồn gốc, phương pháp, xung đột lợi ích và nguy cơ sai lệch

3.    Mức độ chắc chắn còn lại đủ cho hậu quả của quyết định không? Xem xét tính nhất quán, độ chính xác, khả năng áp dụng và bất định

Ba câu hỏi này không tạo ra một ngưỡng chung cho mọi quyết định. Một quyết định dễ đảo ngược và hậu quả thấp có thể chấp nhận mức bằng chứng thấp hơn. Khi hậu quả lớn hoặc khó đảo ngược, việc đòi hỏi bằng chứng độc lập hơn, trực tiếp hơn và ít bất định hơn là hợp lý.

Điểm cần giữ rõ là độ chắc chắn của bằng chứng và lựa chọn cuối cùng không phải cùng một khái niệm. Bằng chứng mạnh cho biết mức độ tự tin vào một nhận định; nó không tự quyết định người ra quyết định phải chọn phương án nào. Chi phí, giá trị, ưu tiên, mức chấp nhận rủi ro và các ràng buộc khác thuộc một lớp đánh giá tiếp theo.

Một bộ tiêu chí đánh giá bằng chứng hữu ích phải kiểm tra được cả giá trị của dữ liệu đối với câu hỏi và khả năng kết quả bị sai. Trước khi dựa vào một bằng chứng để ra quyết định, cần xem nó có phù hợp với câu hỏi hay không, nguồn có thể truy vết và đủ độc lập không, phương pháp có kiểm soát những nguồn sai lệch quan trọng không, kết quả có trực tiếp và áp dụng được không, các nguồn độc lập có nhất quán không và mức bất định còn lại lớn đến đâu.

Không tiêu chí nào trong số đó đủ mạnh khi đứng một mình. Uy tín của nguồn không bù được phương pháp yếu; mẫu lớn không loại bỏ sai lệch hệ thống; nhiều tài liệu không tạo thành nhiều bằng chứng độc lập nếu đều dựa vào cùng một nguồn; và kết quả nhất quán vẫn cần được đặt trong đúng bối cảnh áp dụng. Cách đánh giá đáng tin cậy nhất là xem các tiêu chí như một chuỗi kiểm tra liên kết và chỉ nâng mức độ chắc chắn khi toàn bộ chuỗi đủ vững cho mức rủi ro của quyết định.