Những sai lầm khi lựa chọn thiết kế nghiên cứu

Vì vậy, lỗi quan trọng nhất khi lựa chọn thiết kế không phải là chọn một phương pháp “kém mạnh”, mà là chọn một thiết kế có khả năng suy luận không phù hợp với mục tiêu nghiên cứu. Từ sai lệch ban đầu này, nhiều vấn đề khác xuất hiện: không xác định được thứ tự thời gian, không kiểm soát được nhiễu, tuyển sai quần thể, đo kết cục không đúng thời điểm hoặc cuối cùng phải đưa ra kết luận mạnh hơn những gì dữ liệu thực sự hỗ trợ.

Chọn thiết kế theo thói quen thay vì bắt đầu từ câu hỏi nghiên cứu

Một trong những sai lầm thiết kế nghiên cứu phổ biến nhất là bắt đầu bằng câu: “Nghiên cứu này sẽ làm cắt ngang, cohort hay thử nghiệm?” trước khi xác định chính xác cần trả lời điều gì.

Trình tự hợp lý phải đi theo chiều ngược lại: câu hỏi → loại bằng chứng cần có → cấu trúc quan sát hoặc can thiệp → thiết kế phù hợp.

Ví dụ, ba câu hỏi sau cùng đề cập một yếu tố nguy cơ nhưng đòi hỏi ba dạng bằng chứng khác nhau:

·         Tỷ lệ người đang có yếu tố nguy cơ này là bao nhiêu?

·         Người có yếu tố nguy cơ có xuất hiện bệnh nhiều hơn người không có hay không?

·         Nếu chủ động loại bỏ yếu tố nguy cơ, nguy cơ mắc bệnh có giảm hay không?

Câu hỏi đầu chủ yếu cần đo một trạng thái hoặc phân bố trong quần thể. Câu hỏi thứ hai cần thiết lập quan hệ giữa phơi nhiễm và kết cục, thường kèm yêu cầu về thứ tự thời gian. Câu hỏi thứ ba tiến gần tới suy luận về hiệu quả can thiệp và nhân quả. Dùng cùng một thiết kế cho cả ba câu hỏi sẽ tạo ra những giới hạn bằng chứng hoàn toàn khác nhau.

Cơ chế gây sai ở đây khá đơn giản: thiết kế quyết định những so sánh nào tồn tại trong dữ liệu. Nếu không có nhóm so sánh phù hợp, không quan sát được thời điểm trước–sau hoặc không có cách kiểm soát các khác biệt quan trọng giữa các nhóm, phân tích thống kê sau đó không thể tự tạo ra những thông tin mà thiết kế chưa từng thu thập.

Vì vậy, không nên chọn thiết kế chỉ vì nhóm nghiên cứu đã quen thực hiện thiết kế đó, có sẵn một bộ dữ liệu tương ứng hoặc vì phương pháp đó thuận tiện. Sự thuận tiện là điều kiện thực thi; nó không phải bằng chứng rằng thiết kế phù hợp với câu hỏi.

Gán sai thiết kế cho câu hỏi mô tả, liên hệ, dự báo hoặc nhân quả

Các câu hỏi nghiên cứu có thể dùng cùng biến số nhưng khác hoàn toàn về mục tiêu suy luận. Đây là nguyên nhân khiến nhiều nghiên cứu sử dụng đúng kỹ thuật nhưng đưa ra sai loại kết luận.

Một nghiên cứu mô tả có thể cho biết điều gì đang xảy ra và ở mức độ nào. Một nghiên cứu về liên hệ xem xét các biến có biến thiên cùng nhau hay không. Một nghiên cứu dự báo quan tâm khả năng dự đoán kết cục ở cá thể hoặc quần thể. Trong khi đó, câu hỏi nhân quả muốn biết liệu thay đổi một yếu tố có dẫn đến thay đổi kết cục hay không.

Những mục tiêu này không thể tùy ý thay thế cho nhau.

Chẳng hạn, nếu khảo sát đồng thời mức độ ít vận động và đau lưng tại một thời điểm, nghiên cứu có thể phát hiện hai biến liên quan. Nhưng dữ liệu đó thường chưa đủ để xác định ít vận động xuất hiện trước đau lưng, hay chính đau lưng khiến người tham gia giảm vận động. Đây là vấn đề temporality — thứ tự thời gian giữa nguyên nhân giả định và kết quả.

Tương tự, một biến dự báo rất tốt chưa chắc là nguyên nhân của kết cục. Nó có thể chỉ là dấu hiệu đại diện cho một quá trình khác. Nếu mục tiêu thực sự là can thiệp lên biến đó để thay đổi kết cục, yêu cầu về bằng chứng sẽ cao hơn nhiều so với việc chứng minh khả năng dự báo.

Sai lầm thường xảy ra khi ngôn ngữ kết luận vượt quá năng lực của thiết kế: dữ liệu cho thấy “liên quan” nhưng kết luận thành “gây ra”; phát hiện một yếu tố “dự báo” rồi xem nó như một “đích can thiệp”; hoặc mô tả khác biệt giữa hai nhóm rồi suy ra tác động của phơi nhiễm.

Quy tắc thực tế là: trước khi chọn thiết kế, cần viết rõ động từ của câu hỏi nghiên cứu. “Mô tả”, “liên quan”, “dự báo”, “chẩn đoán”, “ước lượng hiệu quả” và “xác định tác động” hàm ý những yêu cầu bằng chứng khác nhau.

Mặc định thử nghiệm ngẫu nhiên luôn tốt nhất hoặc nghiên cứu quan sát luôn đủ dùng

Xếp các thiết kế thành một thang đơn giản từ “yếu” đến “mạnh” dễ dẫn đến lựa chọn sai.

Thử nghiệm ngẫu nhiên có lợi thế lớn khi mục tiêu là ước lượng tác động của một can thiệp có thể phân bổ cho người tham gia. Ngẫu nhiên hóa giúp các nhóm trở nên có khả năng so sánh tốt hơn về cả những yếu tố đã biết và chưa biết, nhờ đó giảm một nguồn nhiễu quan trọng.

Nhưng điều đó không có nghĩa thử nghiệm ngẫu nhiên là câu trả lời cho mọi câu hỏi.

Không thể hoặc không nên ngẫu nhiên hóa nhiều loại phơi nhiễm có khả năng gây hại. Một số câu hỏi liên quan đến nguyên nhân dài hạn, yếu tố môi trường, đặc điểm xã hội hoặc biến cố hiếm cũng có thể không thực tế để nghiên cứu bằng thử nghiệm. Trong những trường hợp đó, thiết kế quan sát không phải một phiên bản “kém hơn” của thử nghiệm; nó có thể là cấu trúc phù hợp với câu hỏi và giới hạn đạo đức.

Sai lầm ngược lại cũng xảy ra khi chọn nghiên cứu quan sát vì dễ thực hiện rồi kỳ vọng phân tích thống kê sẽ tạo ra bằng chứng tương đương với ngẫu nhiên hóa. Điều chỉnh hồi quy, matching, propensity score hoặc các kỹ thuật tương tự có thể xử lý những yếu tố nhiễu được đo lường đủ tốt và được mô hình hóa thích hợp, nhưng chúng không mặc nhiên loại bỏ nhiễu chưa đo, sai số đo lường hoặc sai lệch tuyển chọn.

Các khung đánh giá như Cochrane RoB 2 đối với thử nghiệm ngẫu nhiên và ROBINS-I đối với nghiên cứu can thiệp không ngẫu nhiên cũng phản ánh điểm này: nguy cơ sai lệch phụ thuộc vào cách nghiên cứu thực sự được thiết kế và tiến hành, chứ không chỉ vào tên gọi của thiết kế.

Vì thế, câu hỏi nên đặt ra không phải “thiết kế nào đứng cao nhất?”, mà là: với câu hỏi này, thiết kế nào tạo được phép so sánh cần thiết với ít giả định không kiểm chứng nhất trong những điều kiện đạo đức và khả thi hiện có?

Bỏ qua trục thời gian, tần suất biến cố và khả năng xác định trước–sau

Thời gian là một thành phần cấu trúc của thiết kế, không đơn thuần là thông tin về lịch thu thập dữ liệu.

Nếu câu hỏi cần biết phơi nhiễm có xuất hiện trước kết cục hay không, một thiết kế chỉ đo hai yếu tố cùng thời điểm thường có giới hạn rõ ràng. Nghiên cứu cắt ngang đặc biệt hữu ích cho việc mô tả hiện trạng hoặc ước lượng prevalence trong một khoảng thời gian xác định, nhưng quan hệ thời gian giữa nhiều phơi nhiễm và kết cục có thể không xác định được.

Cohort giải quyết một phần vấn đề bằng cách phân loại người tham gia theo phơi nhiễm hoặc đặc điểm ban đầu rồi xác định kết cục theo thời gian. Điều này giúp quan sát incidence và củng cố tính trước–sau. Tuy nhiên, có trình tự thời gian vẫn chưa đồng nghĩa với chứng minh nhân quả; nhiễu, sai lệch mất theo dõi và thay đổi phơi nhiễm theo thời gian vẫn có thể ảnh hưởng kết quả.

Với kết cục rất hiếm, theo dõi một quần thể lớn chỉ để chờ đủ số biến cố có thể không hiệu quả. Thiết kế bệnh–chứng bắt đầu từ trạng thái kết cục rồi so sánh lịch sử phơi nhiễm có thể phù hợp hơn. Đổi lại, người nghiên cứu phải xử lý nghiêm ngặt vấn đề lựa chọn nhóm chứng, hồi tưởng và cách xác định phơi nhiễm.

Một nhầm lẫn khác là coi “tiến cứu” và “hồi cứu” như những thiết kế độc lập. Hai thuật ngữ này chủ yếu mô tả quan hệ giữa thời điểm nghiên cứu và dữ liệu hoặc biến cố. Một cohort sử dụng hồ sơ đã có vẫn là cohort hồi cứu; việc gọi nó là “hồi cứu” không thay thế cho việc xác định cấu trúc thực sự của nghiên cứu.

Do đó, khi lựa chọn thiết kế cần hỏi ít nhất ba vấn đề về thời gian: phơi nhiễm được xác định lúc nào, kết cục hình thành lúc nào và cấu trúc nghiên cứu có cho phép chứng minh thứ tự cần thiết giữa hai yếu tố hay không.

Không đưa sai lệch và nhiễu vào quyết định thiết kế ngay từ đầu

Bias và confounding thường bị xem như những vấn đề sẽ xử lý ở giai đoạn phân tích. Đây là một sai lầm vì nhiều dạng sai lệch đã được hình thành trước khi bộ dữ liệu hoàn chỉnh tồn tại.

Selection bias có thể xuất hiện khi cách tuyển người tham gia hoặc duy trì họ trong nghiên cứu tạo ra các nhóm không còn đại diện cho phép so sánh cần thực hiện. Information bias xuất hiện khi phơi nhiễm, kết cục hoặc các biến quan trọng được đo khác nhau giữa các nhóm. Confounding xảy ra khi một yếu tố khác liên quan cả phơi nhiễm và kết cục tạo ra hoặc làm biến dạng mối liên hệ đang quan sát.

Những vấn đề này có quan hệ trực tiếp với thiết kế.

Nếu nghiên cứu bệnh–chứng chọn nhóm chứng từ một quần thể nguồn khác với nhóm bệnh, phép so sánh có thể sai ngay cả khi mô hình thống kê được xây dựng chính xác. Nếu cohort mất theo dõi có hệ thống ở nhóm nguy cơ cao, dữ liệu còn lại có thể cho một bức tranh khác với quần thể ban đầu. Nếu người đánh giá biết trạng thái can thiệp và kết cục có thành phần chủ quan, cách đo có thể bị ảnh hưởng.

Không phải sai lệch nào cũng có thể “điều chỉnh” về sau. Khi một nhóm đối tượng cần thiết không được tuyển, một biến nhiễu quan trọng không được đo hoặc kết cục được đo sai có hệ thống, dữ liệu có thể không chứa đủ thông tin để phục hồi phép so sánh mong muốn.

Vì vậy, khi cân nhắc một thiết kế, cần dự đoán trước: nguồn sai lệch chính sẽ phát sinh ở đâu, có thể phòng ngừa bằng cấu trúc nghiên cứu hay không, và phần còn lại sẽ yêu cầu những giả định nào khi phân tích. Đây là lý do thiết kế nghiên cứu và phân tích thống kê phải được suy nghĩ cùng nhau, nhưng không thể dùng phân tích để thay thế cho thiết kế.

Chọn thiết kế vượt quá khả năng tuyển mẫu, theo dõi và chất lượng dữ liệu

Một thiết kế có logic khoa học tốt nhưng không thể được thực hiện đúng cũng có thể tạo ra bằng chứng yếu.

Ví dụ, cohort dài hạn có thể phù hợp về mặt lý thuyết, nhưng nếu quần thể biến động mạnh và khả năng theo dõi thấp, mất theo dõi có thể làm suy giảm chính phép so sánh mà nghiên cứu cần. Một thử nghiệm có thể lý tưởng để đánh giá can thiệp nhưng thất bại nếu người tham gia không thể tuân thủ phân bổ hoặc có mức crossover lớn. Một nghiên cứu sử dụng dữ liệu sẵn có có thể rất thuận tiện nhưng vô ích nếu biến phơi nhiễm quan trọng chưa từng được đo với độ chính xác cần thiết.

Tính khả thi vì vậy không chỉ là vấn đề ngân sách hay tiến độ. Nó ảnh hưởng trực tiếp đến internal validity.

Cỡ mẫu cũng cần được nhìn theo cách này. Một mẫu lớn có thể giảm sai số ngẫu nhiên, nhưng không tự sửa được bias có hệ thống. Nếu cách tuyển mẫu sai, phép đo sai hoặc nhóm so sánh không thích hợp, tăng số lượng quan sát có thể chỉ làm cho một ước lượng sai trở nên chính xác hơn về mặt số học.

Trước khi chốt thiết kế, cần kiểm tra xem nghiên cứu có thực tế về:

·         Khả năng tiếp cận đúng quần thể cần nghiên cứu

·         Số lượng và tần suất của kết cục cần quan sát

·         Thời gian theo dõi cần thiết

·         Chất lượng dữ liệu phơi nhiễm, can thiệp và kết cục

·         Khả năng duy trì cùng một quy trình đo lường giữa các nhóm

·         Các giới hạn đạo đức đối với phân bổ can thiệp hoặc phơi nhiễm

Thiết kế phù hợp nhất là thiết kế vừa bảo vệ logic suy luận của câu hỏi vừa có khả năng được thực hiện đủ tốt để logic đó tồn tại trong dữ liệu thực tế.

Không kiểm tra sự nhất quán giữa quần thể, phơi nhiễm, kết cục và phép so sánh

Ngay cả khi tên thiết kế được chọn đúng, nghiên cứu vẫn có thể thất bại nếu các thành phần bên trong không tương thích với câu hỏi.

Giả sử mục tiêu là đánh giá tác động của một can thiệp lên một kết cục sau 12 tháng. Nếu quần thể được tuyển không phải nhóm mà quyết định can thiệp hướng tới, thời điểm đo kết cục chỉ sau vài tuần hoặc nhóm so sánh nhận một hình thức chăm sóc rất khác với bối cảnh thực tế, nghiên cứu có thể trả lời một câu hỏi khác với câu hỏi ban đầu.

Một cách kiểm tra hữu ích là tách câu hỏi thành các thành phần:

1.    Population: Bằng chứng cần áp dụng cho ai?

2.    Exposure/Intervention: Yếu tố nào thực sự đang được quan sát hoặc thay đổi?

3.    Comparator: So với trạng thái hoặc nhóm nào thì kết luận mới có ý nghĩa?

4.    Outcome: Kết quả nào phản ánh đúng vấn đề cần trả lời?

5.    Time: Bao lâu thì kết quả đó có thể hình thành và cần được đo?

Sau đó mới hỏi thiết kế dự kiến có tạo được đầy đủ các quan sát tương ứng hay không.

Cũng cần kiểm tra đơn vị phân bổ, đơn vị quan sát và đơn vị phân tích. Nếu can thiệp được áp dụng ở cấp trường học, bệnh viện hoặc cộng đồng nhưng phân tích coi từng cá nhân hoàn toàn độc lập, cấu trúc dữ liệu thực tế không còn khớp với mô hình suy luận. Đây không chỉ là vấn đề kỹ thuật thống kê; nó bắt nguồn từ cách nghiên cứu được tổ chức.

Trước khi thu thập dữ liệu, nhóm nghiên cứu nên thử viết một câu kết luận giả định mà họ muốn có sau nghiên cứu, rồi hỏi: “Thiết kế hiện tại thực sự cho phép chúng ta nói câu này đến mức nào?” Nếu phải thêm các từ như “gây ra”, “hiệu quả”, “làm giảm nguy cơ” hoặc “dự đoán” mà dữ liệu chưa tạo ra phép so sánh tương ứng, thiết kế cần được xem xét lại.

Sai lầm nghiêm trọng nhất khi lựa chọn thiết kế nghiên cứu là coi tên thiết kế như một lựa chọn phương pháp độc lập với câu hỏi. Trên thực tế, thiết kế là kiến trúc tạo ra bằng chứng: nó quyết định ai được quan sát, điều gì được so sánh, thứ tự thời gian nào được xác lập và những nguồn sai lệch nào có thể được kiểm soát.

Một thiết kế phù hợp không nhất thiết là thiết kế phức tạp nhất. Nó là thiết kế tạo được đúng phép so sánh, đúng thời gian, đúng quần thể và đúng mức suy luận mà câu hỏi nghiên cứu yêu cầu, trong giới hạn đạo đức và khả thi. Khi những yếu tố đó không khớp, cỡ mẫu lớn hơn hay phân tích tinh vi hơn thường không thể sửa chữa hoàn toàn vấn đề đã hình thành từ cấu trúc nghiên cứu ban đầu.