Cách đánh giá nguồn dữ liệu nghiên cứu

Vì vậy, mức độ phù hợp không phải thuộc tính tuyệt đối của nguồn dữ liệu. Nó là quan hệ giữa loại bằng chứng mà câu hỏi nghiên cứu yêu cầu và loại bằng chứng mà nguồn dữ liệu thực sự có thể cung cấp. Đánh giá nguồn dữ liệu nghiên cứu nên bắt đầu từ quan hệ này, sau đó mới kiểm tra chất lượng, nguồn gốc và các nguy cơ sai lệch.

Biến câu hỏi nghiên cứu thành tiêu chí dữ liệu

Trước khi xem một bộ dữ liệu có phù hợp hay không, cần phân rã câu hỏi nghiên cứu thành các yêu cầu có thể kiểm tra. Nếu chưa làm bước này, người nghiên cứu rất dễ đánh giá nguồn theo những đặc điểm hấp dẫn nhưng không quyết định khả năng trả lời câu hỏi, chẳng hạn số lượng quan sát lớn, dữ liệu mới, nguồn nổi tiếng hoặc nhiều biến.

Một câu hỏi nghiên cứu thường hàm chứa ít nhất các yêu cầu về đối tượng cần nghiên cứu, đơn vị phân tích, hiện tượng hoặc khái niệm cần đo, phạm vi thời gian, phạm vi không gian và loại quan hệ cần kiểm tra. Chẳng hạn, câu hỏi về “mối liên hệ giữa thời gian làm việc từ xa và năng suất của nhân viên” không chỉ yêu cầu dữ liệu về làm việc từ xa. Nguồn còn phải có thước đo năng suất thích hợp, quan sát ở cấp nhân viên nếu kết luận muốn áp dụng cho cá nhân và có cấu trúc dữ liệu phù hợp với loại quan hệ mà nghiên cứu muốn kiểm tra.

Cách làm hiệu quả là viết trước một “đặc tả dữ liệu tối thiểu” từ câu hỏi nghiên cứu. Đặc tả này xác định dữ liệu phải có gì để câu hỏi có thể được trả lời, thay vì bắt đầu bằng việc xem một nguồn đang có những biến gì rồi điều chỉnh câu hỏi theo nguồn.

Đây cũng là ranh giới đầu tiên giữa tiêu chí quan trọng và tiêu chí thứ yếu. Nếu nghiên cứu bắt buộc phải quan sát một biến, một nhóm đối tượng hoặc một giai đoạn cụ thể mà nguồn hoàn toàn không chứa thông tin đó, vấn đề không phải là dữ liệu “chưa hoàn hảo”; đó có thể là một bất tương thích về bản chất.

Đánh giá độ khớp giữa nguồn dữ liệu và câu hỏi

Độ khớp nên được kiểm tra theo nhiều chiều thay vì gộp thành nhận xét chung như “nguồn này khá phù hợp”. Một nguồn chỉ thật sự hữu ích khi những thành phần có ý nghĩa quyết định đối với câu hỏi đều được dữ liệu biểu diễn ở mức chấp nhận được.

Đối tượng, quần thể và đơn vị phân tích

Trước hết, cần hỏi dữ liệu đang mô tả ai hoặc cái gì và điều đó có trùng với đối tượng mà câu hỏi nghiên cứu hướng tới hay không. Dữ liệu về doanh nghiệp không tự động thích hợp cho một câu hỏi về người lao động; dữ liệu cấp tỉnh không tương đương dữ liệu cá nhân; dữ liệu về người sử dụng một dịch vụ cũng không đại diện mặc nhiên cho toàn bộ dân số mục tiêu.

Đơn vị phân tích đặc biệt quan trọng vì nó giới hạn loại kết luận có thể rút ra. Nếu nguồn chỉ cung cấp tỷ lệ thất nghiệp cấp tỉnh, nghiên cứu có thể so sánh các tỉnh nhưng không thể từ đó suy ra trực tiếp đặc điểm của từng cá nhân thất nghiệp. Việc có rất nhiều quan sát ở sai cấp độ không giải quyết được sự không tương thích này.

Cần kiểm tra thêm quần thể mà dữ liệu thực tế bao phủ. Một khảo sát trực tuyến tự nguyện, dữ liệu khách hàng của một nền tảng hoặc hồ sơ hành chính đều có thể chỉ phản ánh một phần của quần thể nghiên cứu. Khi nhóm bị bỏ sót có đặc điểm liên quan đến hiện tượng đang nghiên cứu, mức độ phù hợp giảm ngay cả khi các biến cần thiết vẫn xuất hiện trong dữ liệu.

Khái niệm và biến đo lường

Tên biến giống với từ khóa trong câu hỏi chưa đủ để chứng minh dữ liệu đo đúng khái niệm. Điều cần đánh giá là cách khái niệm được vận hành hóa thành quan sát cụ thể.

Ví dụ, “thu nhập”, “năng suất”, “mức độ hài lòng” hoặc “tiếp cận dịch vụ” có thể được định nghĩa theo nhiều cách. Thu nhập có thể là thu nhập cá nhân hoặc hộ gia đình, trước hoặc sau thuế, theo tháng hoặc năm. Năng suất có thể được đo bằng sản lượng, doanh thu, đánh giá của quản lý hoặc tự báo cáo. Hai nguồn cùng có một biến mang tên gần giống nhau nhưng có thể cung cấp bằng chứng rất khác nhau.

Do đó, nên đọc định nghĩa biến, bảng hỏi, codebook, data dictionary và quy tắc tính toán thay vì chỉ nhìn tên cột dữ liệu. Một biến chỉ nên được coi là phù hợp khi cách đo của nó thực sự đại diện cho khái niệm mà câu hỏi nghiên cứu cần kiểm tra.

Phạm vi thời gian và không gian

Thời gian và địa lý không phải các điều kiện phụ. Chúng có thể thay đổi ý nghĩa của bằng chứng.

Nếu câu hỏi nghiên cứu về hành vi tiêu dùng sau một thay đổi chính sách năm 2025, dữ liệu trước thay đổi đó không trực tiếp quan sát hiện tượng cần nghiên cứu. Tương tự, một nguồn dữ liệu cấp quốc gia có thể không đủ để trả lời câu hỏi giới hạn ở một địa phương nếu nguồn không cho phép xác định hoặc tách đúng địa bàn.

Mức độ nghiêm trọng của sai lệch thời gian hoặc không gian phụ thuộc câu hỏi. Với một đặc điểm tương đối ổn định, dữ liệu lệch một khoảng thời gian nhỏ có thể vẫn hữu ích. Với hiện tượng biến động nhanh hoặc chịu tác động của sự kiện cụ thể, cùng một độ lệch có thể khiến nguồn không còn thích hợp.

Độ chi tiết, tần suất và tính so sánh

Nguồn dữ liệu còn phải có độ phân giải tương ứng với câu hỏi. Một chuỗi số liệu hàng năm khó trả lời câu hỏi về biến động theo tuần; số liệu tổng hợp toàn ngành khó nhận diện khác biệt giữa các nhóm doanh nghiệp nếu không có phân tổ cần thiết.

Khi nghiên cứu sự thay đổi theo thời gian, cần kiểm tra liệu định nghĩa biến, cách thu thập và phạm vi bao phủ có được duy trì nhất quán hay không. Một chuỗi dài không nhất thiết có tính so sánh nếu giữa các năm đã thay bảng hỏi, thay tiêu chuẩn phân loại hoặc thay quy trình ghi nhận.

Điều quan trọng ở đây không phải luôn yêu cầu dữ liệu chi tiết nhất. Dữ liệu quá chi tiết cũng không tạo thêm giá trị nếu câu hỏi chỉ cần mức tổng hợp cao hơn. Tiêu chí đúng là độ chi tiết có đủ để phân biệt những khác biệt mà câu hỏi cần quan sát hay không.

Thiết kế dữ liệu và loại kết luận được phép

Một sai lầm phổ biến là nguồn có đủ biến nên được coi là đủ để trả lời mọi dạng câu hỏi về các biến đó. Trên thực tế, cấu trúc dữ liệu quyết định loại kết luận mà nghiên cứu có thể bảo vệ.

Dữ liệu cắt ngang có thể cho thấy hai đặc điểm cùng xuất hiện hoặc có liên hệ thống kê tại một thời điểm, nhưng thường không tự thiết lập được thứ tự thời gian cần thiết cho một kết luận nhân quả. Nếu câu hỏi yêu cầu nghiên cứu thay đổi của cùng đối tượng qua thời gian, dữ liệu theo dõi dọc có thể cần thiết hơn các mẫu độc lập ở từng thời điểm.

Do đó, khi đánh giá nguồn dữ liệu, không chỉ hỏi “có biến X và Y hay không” mà phải hỏi “thiết kế dữ liệu này cho phép đưa ra loại kết luận nào về X và Y”. Nếu nguồn chỉ hỗ trợ mô tả nhưng câu hỏi đòi hỏi giải thích một quan hệ nhân quả, đây là khoảng cách về mức độ phù hợp chứ không đơn thuần là vấn đề kỹ thuật phân tích.

Tách mức độ phù hợp khỏi chất lượng dữ liệu

Sau khi xác nhận nguồn có khả năng cung cấp đúng loại bằng chứng, bước tiếp theo mới là đánh giá chất lượng của bằng chứng đó. Hai lớp đánh giá này liên quan nhưng không thể thay thế nhau.

Một nguồn có thể phù hợp nhưng chất lượng chưa đủ: nó quan sát đúng quần thể, đúng biến và đúng thời gian nhưng có tỷ lệ thiếu dữ liệu lớn, cách đo không ổn định hoặc nhiều giá trị bất thường. Trong trường hợp này, nghiên cứu đang có đúng loại dữ liệu nhưng độ tin cậy của kết quả có thể bị suy giảm.

Ngược lại, nguồn có thể chất lượng cao nhưng không phù hợp. Một cơ sở dữ liệu được kiểm soát chặt chẽ, rất đầy đủ và có quy trình thu thập rõ ràng vẫn không trả lời được câu hỏi nếu nó đo sai khái niệm, sai quần thể hoặc sai đơn vị phân tích. Không có quy trình làm sạch nào có thể biến một biến không đo khái niệm cần nghiên cứu thành biến phù hợp chỉ bằng cách loại bỏ giá trị lỗi.

Vì vậy, sau kiểm tra độ khớp nên xem xét tính đầy đủ, tính nhất quán, mức độ thiếu dữ liệu, sự ổn định của phép đo và khả năng xác định nguồn gốc của các trường dữ liệu quan trọng. Không cần mọi cột đều đạt cùng mức chất lượng; ưu tiên phải dành cho những biến trực tiếp tham gia trả lời câu hỏi nghiên cứu.

Cũng cần phân biệt vấn đề có thể khắc phục với vấn đề không thể khắc phục. Một số giá trị thiếu có thể được xử lý hoặc giới hạn phạm vi phân tích. Nhưng nếu nguồn không đo biến kết quả cốt lõi, không bao phủ quần thể mục tiêu hoặc sử dụng một định nghĩa không tương thích với khái niệm nghiên cứu, các thao tác xử lý dữ liệu thường không giải quyết được vấn đề gốc.

Kiểm tra cách dữ liệu được tạo ra và các nguồn sai lệch

Một bộ dữ liệu không chỉ là bảng giá trị cuối cùng. Để biết nó phù hợp đến đâu, cần hiểu quá trình đã tạo ra các giá trị đó.

Với khảo sát, nên xem khung lấy mẫu, cách chọn đối tượng, phương thức liên hệ, bảng hỏi và mức độ không phản hồi. Với dữ liệu hành chính, cần hiểu dữ liệu được tạo ra để phục vụ quy trình quản lý nào, những ai có khả năng xuất hiện trong hệ thống và trường hợp nào không được ghi nhận. Với dữ liệu từ nền tảng số, phải xác định hành vi nào được ghi log, người dùng nào tạo ra dữ liệu và những thay đổi của hệ thống có thể làm thay đổi số liệu hay không.

Cơ chế tạo dữ liệu quan trọng vì sai lệch thường xuất hiện trước khi dữ liệu đến tay nhà nghiên cứu. Nếu một nhóm dân số ít có khả năng được ghi nhận, tăng kích thước mẫu trong chính hệ thống đó không tự động làm nhóm bị thiếu xuất hiện. Nếu câu hỏi trong khảo sát khiến người trả lời có xu hướng báo cáo khác với hành vi thực tế, việc thu thêm nhiều câu trả lời theo cùng cách đo cũng không loại bỏ vấn đề đo lường.

Tài liệu cần ưu tiên kiểm tra gồm metadata, codebook, bảng hỏi, tài liệu phương pháp lấy mẫu, quy trình thu thập, quy tắc làm sạch hoặc hiệu chỉnh, lịch sử thay đổi biến và mô tả phạm vi bao phủ. Những tài liệu này có giá trị hơn việc dựa vào danh tiếng của đơn vị cung cấp vì chúng cho biết chính xác nguồn dữ liệu được hình thành như thế nào.

Khi tài liệu phương pháp không đủ để xác định quá trình tạo dữ liệu, mức độ bất định của đánh giá phải được giữ lại thay vì mặc định cho rằng nguồn đáng tin. “Không phát hiện vấn đề” chỉ có ý nghĩa khi người nghiên cứu có đủ thông tin để kiểm tra vấn đề đó.

Dùng ma trận chấm điểm để so sánh các nguồn dữ liệu

Khi có nhiều nguồn tiềm năng, có thể chuyển các tiêu chí trên thành ma trận đánh giá. Cách chấm dưới đây là một khung thực hành, không phải tiêu chuẩn phổ quát; mục đích của nó là buộc quá trình lựa chọn nguồn trở nên minh bạch và nhất quán.

Không nên quyết định chỉ bằng tổng điểm. Trước khi chấm, cần xác định những tiêu chí nào là điều kiện bắt buộc đối với câu hỏi cụ thể. Nếu một tiêu chí bắt buộc bằng 0, tổng điểm cao ở các tiêu chí khác có thể không còn ý nghĩa.

Chẳng hạn, một nguồn có thể đạt điểm cao về thời gian, độ đầy đủ, tài liệu kỹ thuật và quy mô nhưng chỉ có dữ liệu cấp tỉnh, trong khi câu hỏi nghiên cứu yêu cầu kết luận ở cấp cá nhân. Vấn đề đơn vị phân tích là điều kiện cấu trúc; các ưu điểm khác không thể bù trừ hoàn toàn cho nó.

Nếu cần so sánh nhiều nguồn, có thể đặt trọng số lớn hơn cho những chiều gắn trực tiếp với kết luận chính. Trọng số nên được xác định từ câu hỏi nghiên cứu trước khi xem nguồn nào “thắng”, nếu không người đánh giá rất dễ điều chỉnh tiêu chí theo bộ dữ liệu mình đã muốn sử dụng.

Quyết định dùng, bổ sung hay loại nguồn dữ liệu

Kết quả cuối cùng của đánh giá không nhất thiết chỉ là “phù hợp” hoặc “không phù hợp”. Hữu ích hơn là xác định nguồn thuộc trường hợp có thể dùng trực tiếp, chỉ dùng với giới hạn, cần kết hợp thêm nguồn khác hay không nên dùng để trả lời kết luận chính.

Một nguồn có thể được sử dụng làm dữ liệu chính khi các tiêu chí bắt buộc đều khớp và những hạn chế còn lại không làm thay đổi bản chất câu hỏi. Nếu nguồn đo đúng đối tượng và biến cốt lõi nhưng thiếu một số thông tin bổ trợ, việc kết hợp nguồn khác có thể hợp lý. Ngược lại, khi sai lệch nằm ở khái niệm trung tâm, quần thể mục tiêu, đơn vị phân tích hoặc thiết kế cần thiết cho kết luận, nên xem đó là dấu hiệu phải đổi nguồn hoặc thu thập dữ liệu khác.

Giả sử nghiên cứu muốn xác định các yếu tố ở cấp học sinh liên quan đến nguy cơ bỏ học, nhưng nguồn hiện có chỉ cung cấp tổng số học sinh bỏ học của từng trường. Nguồn này có thể phù hợp để mô tả khác biệt giữa các trường, nhưng không trực tiếp quan sát đặc điểm của từng học sinh. Nếu mục tiêu cốt lõi vẫn là giải thích khác biệt cá nhân, việc nguồn đến từ hệ thống chính thức và có số liệu đầy đủ không xóa bỏ sự không tương thích về đơn vị phân tích.

Cách ra quyết định này cũng giúp ghi nhận giới hạn nghiên cứu minh bạch hơn. Thay vì viết chung rằng “dữ liệu có một số hạn chế”, người nghiên cứu có thể chỉ rõ giới hạn nằm ở đâu, nó ảnh hưởng đến loại kết luận nào và phần nào của câu hỏi vẫn được nguồn hỗ trợ.

Đánh giá nguồn dữ liệu nghiên cứu nên bắt đầu từ câu hỏi, không bắt đầu từ danh tiếng, kích thước hay mức độ thuận tiện của bộ dữ liệu. Trước hết cần xác định loại bằng chứng câu hỏi đòi hỏi, sau đó kiểm tra độ khớp về quần thể, đơn vị phân tích, khái niệm đo lường, thời gian, không gian, độ chi tiết và thiết kế dữ liệu.

Chỉ sau khi nguồn vượt qua lớp phù hợp về nội dung mới nên đánh giá sâu chất lượng, nguồn gốc và nguy cơ sai lệch. Một nguồn tốt là nguồn không chỉ “có dữ liệu”, mà có dữ liệu cho phép bảo vệ đúng loại kết luận mà câu hỏi nghiên cứu yêu cầu, với các giới hạn được nhận diện và trình bày rõ ràng.