Cách đánh giá mức độ mạnh của bằng chứng khoa học

Không tồn tại một thứ hạng duy nhất có thể tự động quyết định chất lượng của mọi bằng chứng khoa học. Oxford Centre for Evidence-Based Medicine cũng nhấn mạnh rằng hệ thống cấp độ bằng chứng chỉ giúp tìm loại bằng chứng có khả năng phù hợp nhất; nó không thay thế đánh giá chất lượng thực tế. Một nghiên cứu thuộc “cấp cao” nhưng có sai lệch nghiêm trọng vẫn có thể tạo bằng chứng yếu, trong khi một thiết kế quan sát có hiệu ứng rất lớn và được thực hiện chặt chẽ đôi khi có thể cung cấp bằng chứng thuyết phục hơn một tổng quan không chắc chắn.

Mức độ mạnh của bằng chứng không được quyết định bởi một yếu tố

Sai lầm phổ biến nhất là đồng nhất cấp độ thiết kế nghiên cứu với mức độ mạnh của bằng chứng.

Thiết kế nghiên cứu rất quan trọng vì nó quyết định những loại sai lệch nào có thể được kiểm soát. Tuy nhiên, thiết kế chỉ là điểm khởi đầu. Sau đó còn phải xem xét cách nghiên cứu được tiến hành, cách đo lường kết quả, lượng dữ liệu thu được, mức độ phù hợp với câu hỏi nghiên cứu và toàn bộ bằng chứng có nhất quán hay không.

GRADE — một khung được sử dụng rộng rãi trong tổng hợp bằng chứng y học — minh họa rõ nguyên tắc này. Với một kết quả cụ thể, độ chắc chắn của tổng thể bằng chứng được đánh giá thông qua năm miền chính: nguy cơ sai lệch, tính không nhất quán, tính gián tiếp, độ thiếu chính xác và thiên lệch công bố. Kết quả cuối cùng được phân thành bốn mức: cao, trung bình, thấp hoặc rất thấp.

Điều đó dẫn đến một nguyên tắc quan trọng: không nên hỏi “đây có phải RCT hay meta-analysis không?” rồi dừng lại. Cần hỏi tiếp bằng chứng đó có đáng tin đến mức nào đối với chính kết luận đang được xem xét.

Một meta-analysis tập hợp nhiều nghiên cứu có nguy cơ sai lệch cao không tự động trở thành bằng chứng mạnh. Ngược lại, số lượng nghiên cứu nhiều cũng không bù được một lỗi hệ thống cùng xuất hiện trong phần lớn các nghiên cứu.

Thiết kế nghiên cứu phải phù hợp với câu hỏi khoa học

Thiết kế nghiên cứu tạo ra khả năng suy luận khác nhau. Vì thế, “thiết kế tốt nhất” phải được hiểu là thiết kế phù hợp nhất với loại câu hỏi đang được hỏi, chứ không đơn giản là loại nghiên cứu nằm cao nhất trên một tháp bằng chứng.

Nếu mục tiêu là xác định quan hệ nhân quả của một biện pháp can thiệp, thử nghiệm ngẫu nhiên có lợi thế lớn. Khi quá trình ngẫu nhiên hóa được thực hiện đúng, các yếu tố tiên lượng đã biết và chưa biết có xu hướng được cân bằng giữa các nhóm, làm giảm ảnh hưởng của nhiễu. Đây là một trong những lý do thử nghiệm ngẫu nhiên thường có vị trí khởi đầu thuận lợi khi đánh giá hiệu quả can thiệp.

Nhưng không phải câu hỏi khoa học nào cũng là câu hỏi về hiệu quả can thiệp. Câu hỏi về tiên lượng, chẩn đoán, tỷ lệ hiện mắc hay tác hại dài hạn có thể cần những thiết kế khác. Hệ thống OCEBM vì vậy phân cấp bằng chứng theo loại câu hỏi, thay vì dùng một bảng xếp hạng duy nhất cho mọi mục đích.

Ngay cả trong GRADE, loại thiết kế cũng chỉ xác lập mức chắc chắn ban đầu. Đối với bằng chứng về can thiệp, các thử nghiệm ngẫu nhiên thường bắt đầu ở mức chắc chắn cao, trong khi nghiên cứu không ngẫu nhiên thường chịu nhiều lo ngại hơn về nhiễu và sai lệch lựa chọn. Sau đó, mức đánh giá vẫn có thể được hạ xuống nếu chất lượng thực hiện hoặc tổng thể bằng chứng có vấn đề.

Vì vậy, một thiết kế có khả năng kiểm soát nhiễu tốt không bảo đảm một nghiên cứu cụ thể đã thực sự kiểm soát nhiễu tốt. Chất lượng triển khai phải được đánh giá riêng.

Nguy cơ sai lệch quyết định mức độ đáng tin của kết quả

Nguy cơ sai lệch, hay risk of bias, liên quan đến những cơ chế có thể làm kết quả nghiên cứu lệch một cách có hệ thống khỏi giá trị mà nghiên cứu muốn ước lượng.

Đây là vấn đề khác với biến động ngẫu nhiên. Thu thập thêm dữ liệu thường làm giảm bất định do ngẫu nhiên, nhưng không nhất thiết sửa được một quy trình đo lường, lựa chọn mẫu hoặc phân tích vốn đã tạo sai lệch có hệ thống.

Đối với thử nghiệm ngẫu nhiên, công cụ RoB 2 của Cochrane xem xét năm miền chính:

·         Quá trình ngẫu nhiên hóa

·         Sai lệch do lệch khỏi can thiệp dự kiến

·         Dữ liệu kết quả bị thiếu

·         Sai lệch trong đo lường kết quả

·         Sai lệch do lựa chọn kết quả được báo cáo

RoB 2 đánh giá nguy cơ sai lệch cho một kết quả cụ thể, không đơn giản dán nhãn chất lượng cho toàn bộ bài báo. Một thử nghiệm vì thế có thể đáng tin đối với một kết quả nhưng gặp vấn đề nghiêm trọng đối với kết quả khác. Các miền được phân loại thành nguy cơ thấp, có một số lo ngại hoặc nguy cơ cao, kèm theo lý do cho phán đoán đó.

Điều này giải thích tại sao nhãn “RCT” chưa đủ. Một thử nghiệm ngẫu nhiên vẫn có thể tạo bằng chứng yếu nếu việc che giấu phân nhóm không phù hợp, mất theo dõi nhiều, đo lường kết quả dễ bị ảnh hưởng bởi việc biết nhóm can thiệp hoặc chỉ công bố những phân tích thuận lợi. Cochrane đưa những vấn đề này trực tiếp vào đánh giá độ chắc chắn của bằng chứng.

Nguyên tắc tương tự áp dụng cho nghiên cứu quan sát, nhưng cần đặc biệt chú ý đến nhiễu và sai lệch lựa chọn vì không có cơ chế ngẫu nhiên hóa để cân bằng các yếu tố tiên lượng giữa các nhóm.

Độ chính xác và tính nhất quán cho biết kết quả ổn định đến đâu

Ngay cả một nghiên cứu ít nguy cơ sai lệch cũng chưa chắc tạo bằng chứng mạnh. Cần biết ước lượng đó chính xác đến mức nào và có được các nghiên cứu khác củng cố hay không.

Độ chính xác phản ánh mức bất định của ước lượng

Một ước lượng hiệu ứng luôn đi kèm bất định. Khoảng tin cậy là một trong những công cụ quan trọng để biểu diễn bất định này.

Khi số người tham gia hoặc số biến cố quá ít, khoảng tin cậy có thể rộng đến mức dữ liệu vẫn tương thích với nhiều kết luận khác nhau. Trong GRADE, đây là lý do để hạ mức độ chắc chắn do imprecision. Cochrane khuyến nghị xem xét cả độ rộng của khoảng tin cậy và lượng thông tin hiện có so với lượng thông tin cần thiết cho một nghiên cứu đủ mạnh.

Vì vậy, p < 0,05 không đồng nghĩa với bằng chứng mạnh. Một kết quả có thể đạt ngưỡng ý nghĩa thống kê nhưng khoảng tin cậy vẫn bao gồm những mức hiệu ứng rất khác nhau về ý nghĩa thực tế.

Ngược lại, việc không đạt p < 0,05 cũng không tự động chứng minh “không có hiệu ứng”. Nếu dữ liệu quá ít, nghiên cứu có thể đơn giản là chưa đủ chính xác để phân biệt giữa không có hiệu ứng và một hiệu ứng quan trọng.

Trong hướng dẫn GRADE được trình bày trong Cochrane Handbook, khoảng tin cậy 95% và lượng thông tin tối ưu được sử dụng khi đánh giá độ thiếu chính xác. Các ngưỡng như RR dưới 0,75 hoặc trên 1,25 được nêu như hướng dẫn rất thô trong một số tình huống, chứ không phải ngưỡng phổ quát cho mọi lĩnh vực khoa học.

Tính nhất quán cho biết kết quả có lặp lại hay không

Bằng chứng trở nên đáng tin hơn khi nhiều nghiên cứu độc lập, phù hợp với cùng câu hỏi, tạo ra những kết quả tương thích.

Nếu các nghiên cứu cho các ước lượng rất khác nhau, phải tìm nguyên nhân. Khác biệt có thể xuất phát từ quần thể, liều lượng, phương pháp đo, thời gian theo dõi hoặc đặc điểm thiết kế. Khi có một nguyên nhân hợp lý và được dữ liệu hỗ trợ, sự khác biệt có thể được giải thích.

Ngược lại, nếu mức độ không đồng nhất lớn ảnh hưởng đến cách diễn giải nhưng không tìm được lời giải thích đáng tin cậy, độ chắc chắn của tổng thể bằng chứng giảm. Đây là miền inconsistency trong GRADE.

Do đó, “có nhiều nghiên cứu” và “có bằng chứng lặp lại nhất quán” là hai điều khác nhau. Mười nghiên cứu nhỏ cho các kết quả mâu thuẫn không nhất thiết tạo ra bằng chứng mạnh hơn ba nghiên cứu lớn, chặt chẽ và nhất quán.

Tính trực tiếp và bằng chứng bị thiếu có thể làm giảm độ chắc chắn

Hai vấn đề thường bị bỏ qua khi đọc một nghiên cứu là kết quả có thực sự trả lời câu hỏi cần biết hay không và chúng ta có đang nhìn thấy toàn bộ bằng chứng hay chỉ phần đã được công bố.

Bằng chứng phải trực tiếp với câu hỏi đang đánh giá

Một nghiên cứu có thể được thực hiện rất tốt nhưng vẫn chỉ cung cấp bằng chứng gián tiếp.

Tính trực tiếp phụ thuộc vào mức độ tương đồng giữa nghiên cứu và câu hỏi mục tiêu: quần thể nghiên cứu, can thiệp hoặc phơi nhiễm, nhóm so sánh và kết quả được đo. Ví dụ, dữ liệu thu được ở một nhóm bệnh nhân rất đặc thù có thể không trực tiếp trả lời câu hỏi về dân số rộng hơn. Tương tự, một chỉ dấu thay thế có thể không trực tiếp chứng minh tác động lên kết quả cuối cùng mà người dùng thực sự quan tâm.

Điều này đặt ra một giới hạn quan trọng cho khái niệm “nghiên cứu chất lượng cao”: một nghiên cứu có nội tại rất chặt chẽ vẫn có thể là bằng chứng yếu cho một câu hỏi khác với câu hỏi mà nó thực sự nghiên cứu.

Bằng chứng không được công bố cũng ảnh hưởng đến kết luận

Nếu khả năng một nghiên cứu hoặc một kết quả được công bố phụ thuộc vào p-value, độ lớn hoặc hướng của kết quả, phần tài liệu mà người đọc nhìn thấy có thể khác có hệ thống so với toàn bộ bằng chứng đã được tạo ra.

Cochrane gọi đây là vấn đề bằng chứng bị thiếu hoặc non-reporting bias. Chẳng hạn, kết quả thuận lợi có thể dễ xuất hiện trong tài liệu công bố hơn kết quả trung tính hoặc bất lợi. Khi đó, tổng hợp chỉ các dữ liệu quan sát được có nguy cơ đánh giá quá cao lợi ích hoặc đánh giá thiếu tác hại.

Đây cũng là lý do một funnel plot bất đối xứng không nên được diễn giải máy móc là “đã chứng minh publication bias”. Cochrane lưu ý rằng bất đối xứng có thể có nhiều nguyên nhân và cần được xem xét cùng thông tin về đăng ký nghiên cứu, báo cáo kết quả và các phân tích độ nhạy.

Cách tổng hợp các tiêu chí thành mức độ chắc chắn của bằng chứng

Đánh giá mức độ mạnh của bằng chứng khoa học nên được thực hiện theo một chuỗi phán đoán có cấu trúc, thay vì cộng điểm máy móc.

Một quy trình thực tế có thể đi theo thứ tự:

1.    Xác định chính xác câu hỏi và kết quả cần đưa ra kết luận

2.    Kiểm tra thiết kế nghiên cứu có phù hợp với loại câu hỏi đó hay không

3.    Đánh giá nguy cơ sai lệch của các kết quả nghiên cứu

4.    Kiểm tra độ chính xác, tính nhất quán và tính trực tiếp của toàn bộ dữ liệu

5.    Xem xét liệu bằng chứng quan trọng có khả năng bị thiếu do công bố hoặc báo cáo chọn lọc hay không

6.    Tổng hợp các phán đoán và ghi rõ lý do cho mức độ chắc chắn cuối cùng

GRADE là một ví dụ điển hình của cách làm này. Đối với một kết quả cụ thể, năm miền có thể làm giảm độ chắc chắn là nguy cơ sai lệch, không nhất quán, gián tiếp, thiếu chính xác và thiên lệch công bố. Một vấn đề nghiêm trọng thường có thể làm giảm một mức; vấn đề rất nghiêm trọng có thể làm giảm hai mức.

Trong những trường hợp phù hợp, đặc biệt với bằng chứng không ngẫu nhiên, GRADE cũng xem xét các yếu tố có thể làm tăng độ chắc chắn như hiệu ứng rất lớn, quan hệ liều–đáp ứng và tình huống mà các yếu tố nhiễu hợp lý thực tế sẽ làm giảm chứ không làm tăng hiệu ứng quan sát được. Cochrane còn sử dụng các mức hiệu ứng tương đối trên 2 hoặc trên 5 khi mô tả các trường hợp hiệu ứng lớn trong quá trình đánh giá nâng mức. Những con số này thuộc khung GRADE và không nên biến thành tiêu chuẩn chung cho mọi ngành khoa học.

Kết quả cuối cùng trong GRADE gồm bốn mức. Bằng chứng chắc chắn cao cho phép đặt niềm tin lớn vào ước lượng; mức trung bình vẫn tương đối đáng tin nhưng kết quả thật có thể khác đáng kể; mức thấp có nhiều bất định; còn mức rất thấp cho thấy khả năng ước lượng hiện tại khác đáng kể với thực tế là rất lớn. Việc đánh giá được thực hiện riêng cho từng kết quả, không nhất thiết có một nhãn chung cho toàn bộ nghiên cứu hay toàn bộ chủ đề.

Điểm quan trọng nhất là các mức này thể hiện độ chắc chắn, không phải chân lý tuyệt đối. Chúng có thể thay đổi khi xuất hiện nghiên cứu mới, khi phát hiện sai lệch trước đây chưa nhận diện hoặc khi câu hỏi mục tiêu thay đổi.

Muốn đánh giá mức độ mạnh của bằng chứng khoa học, không nên dựa riêng vào việc nghiên cứu thuộc RCT, cohort hay meta-analysis, cũng không nên lấy p-value, cỡ mẫu hoặc việc được bình duyệt làm tiêu chí duy nhất. Cần đánh giá đồng thời độ phù hợp của thiết kế, nguy cơ sai lệch, độ chính xác, tính nhất quán, tính trực tiếp và khả năng thiếu bằng chứng, sau đó tổng hợp chúng thành một phán đoán minh bạch về mức độ chắc chắn.

Nói ngắn gọn, bằng chứng mạnh không đơn giản là bằng chứng “đứng cao trên tháp”. Đó là bằng chứng mà thiết kế phù hợp với câu hỏi, sai lệch được kiểm soát tốt, dữ liệu đủ chính xác, kết quả được củng cố bởi những nghiên cứu khác, áp dụng trực tiếp cho vấn đề cần trả lời và không có dấu hiệu đáng kể rằng một phần quan trọng của dữ liệu đang bị che khuất.