Cách đánh giá độ chính xác công nghệ thu thập dữ liệu

Điểm quan trọng là “độ chính xác” không chỉ có một biểu hiện. Một hệ thống có thể lặp lại cùng một kết quả rất tốt nhưng kết quả đó luôn lệch khỏi giá trị thực. Ngược lại, sai số trung bình có thể gần bằng 0 vì sai số dương và âm triệt tiêu nhau, trong khi từng phép đo vẫn sai đáng kể. Vì vậy, đánh giá đúng phải kết hợp độ đúng, độ chụm, phân bố sai số, điều kiện thử nghiệm và yêu cầu của bài toán sử dụng.

Hiểu đúng độ chính xác trước khi tiến hành kiểm tra

Trong đo lường, cách tiếp cận của ISO 5725 phân biệt hai thành phần quan trọng liên quan đến accuracy: trueness, thể hiện mức độ gần giữa giá trị trung bình của nhiều phép đo với giá trị tham chiếu, và precision, thể hiện mức độ gần nhau giữa các kết quả đo lặp lại.

Hai yếu tố này không thể thay thế cho nhau.

Một thiết bị liên tục ghi 98 khi giá trị tham chiếu là 100 có độ chụm tốt vì kết quả ít dao động, nhưng tồn tại sai lệch hệ thống khoảng -2. Nếu sau hiệu chuẩn thiết bị cho các kết quả 99,8; 100,1; 100,0; 99,9 thì cả độ đúng và độ chụm đều tốt hơn.

Vì vậy, ít nhất ba câu hỏi cần được trả lời:

·         Kết quả thu được lệch bao nhiêu so với giá trị tham chiếu

·         Sai số có ổn định khi lặp lại phép thu thập hay không

·         Sai số có thay đổi theo thời gian, môi trường hoặc phạm vi đo hay không

Một nhầm lẫn phổ biến là sử dụng hệ số tương quan cao để khẳng định công nghệ chính xác. Hai hệ thống có thể tương quan gần như hoàn hảo nhưng một hệ thống luôn lớn hơn hệ thống còn lại 10 đơn vị. Tương quan phản ánh mối quan hệ biến thiên, không trực tiếp chứng minh hai giá trị giống nhau.

Đối chứng với giá trị tham chiếu là nền tảng của phép đánh giá

Để biết dữ liệu thu được sai bao nhiêu, trước tiên cần có một reference value hoặc phương pháp tham chiếu độc lập.

Giả sử một cảm biến báo nhiệt độ là 25,8°C. Con số này tự nó chưa cho biết cảm biến chính xác hay không. Nếu thiết bị tham chiếu xác định nhiệt độ là 25,0°C, sai số quan sát được là 0,8°C. Nếu giá trị tham chiếu là 25,7°C, kết luận lại hoàn toàn khác.

Giá trị tham chiếu có thể đến từ thiết bị chuẩn đã hiệu chuẩn, vật mẫu chuẩn, phương pháp phòng thí nghiệm có độ tin cậy cao hơn hoặc dữ liệu ground truth được xác nhận độc lập. Điều kiện quan trọng là độ không đảm bảo của phương pháp tham chiếu phải đủ nhỏ so với mức sai số đang cần đánh giá. Nếu chính reference có sai số lớn, không thể quy toàn bộ chênh lệch quan sát được cho công nghệ đang kiểm tra.

Phép thử cũng cần bao phủ toàn bộ miền vận hành quan trọng, thay vì chỉ kiểm tra tại một điểm thuận lợi. Một cảm biến có thể rất chính xác quanh giá trị giữa thang đo nhưng sai số tăng đáng kể tại hai đầu dải. Công nghệ nhận dạng có thể hoạt động tốt với dữ liệu rõ ràng nhưng giảm chất lượng khi độ sáng, góc quan sát hoặc nhiễu thay đổi.

Do đó, bộ kiểm tra nên có các trường hợp đại diện cho:

·         Giá trị thấp, trung bình và cao trong dải hoạt động

·         Điều kiện vận hành bình thường và các điều kiện biên có khả năng xuất hiện

·         Nhiều lần đo lặp trên cùng một giá trị

·         Các thời điểm khác nhau nếu hệ thống có nguy cơ drift

·         Các nhóm dữ liệu khác nhau khi đặc tính đối tượng có thể ảnh hưởng kết quả

Không nên hiệu chuẩn và đánh giá cuối cùng trên đúng cùng một tập dữ liệu. Hiệu chuẩn dùng để điều chỉnh hệ thống; validation phải kiểm tra liệu sau điều chỉnh hệ thống có còn đạt yêu cầu trên dữ liệu hoặc điều kiện độc lập hay không.

Các chỉ số nào phản ánh độ chính xác rõ nhất?

Với dữ liệu định lượng, điểm bắt đầu là sai số của từng quan sát:

eᵢ = xᵢ − rᵢ

Trong đó xᵢ là giá trị công nghệ thu thập được và rᵢ là giá trị tham chiếu tương ứng.

Từ các sai số riêng lẻ có thể tính nhiều chỉ số, mỗi chỉ số trả lời một câu hỏi khác nhau.

Bias cho biết hệ thống có lệch về một phía hay không

Bias trung bình được tính bằng:

Bias = Σeᵢ / n

Bias dương cho thấy công nghệ có xu hướng đo cao hơn reference; bias âm cho thấy xu hướng đo thấp hơn.

Tuy nhiên, bias nhỏ chưa đủ để kết luận chính xác. Ví dụ, với reference bằng 100 và năm kết quả 98, 101, 99, 102, 100, các sai số lần lượt là -2, 1, -1, 2 và 0. Bias bằng 0, nhưng bốn trong năm phép đo vẫn có sai số.

Đó là lý do cần kết hợp bias với các chỉ số về độ lớn của sai số.

MAE thể hiện mức sai số tuyệt đối trung bình

Mean Absolute Error được tính:

MAE = Σ|eᵢ| / n

Với ví dụ trên, MAE là 1,2 đơn vị. Chỉ số này khá trực quan vì cho biết một quan sát thường cách giá trị tham chiếu bao nhiêu, không cho sai số dương và âm triệt tiêu nhau.

RMSE nhạy hơn với những sai số lớn

Root Mean Squared Error được tính:

RMSE = √[Σ(eᵢ²)/n]

Trong ví dụ trên, RMSE xấp xỉ 1,41 đơn vị. Vì sai số được bình phương trước khi lấy trung bình, những sai số lớn bị phạt mạnh hơn. RMSE đặc biệt hữu ích khi một số lỗi lớn có hậu quả nghiêm trọng hơn nhiều lỗi nhỏ.

Sai số tương đối hữu ích khi thang giá trị thay đổi lớn

Sai số phần trăm của một quan sát có thể biểu diễn bằng:

Relative error = |x − r| / |r| × 100%

Cách biểu diễn này giúp so sánh sai số giữa các giá trị có quy mô khác nhau. Tuy nhiên, các chỉ số phần trăm như MAPE trở nên không ổn định khi reference bằng hoặc rất gần 0, vì mẫu số quá nhỏ.

Với dữ liệu phân loại hoặc nhận dạng thay vì dữ liệu đo liên tục, hệ chỉ số phải thay đổi. Khi đó có thể sử dụng tỷ lệ bản ghi đúng, confusion matrix và các chỉ số như precision, recall hoặc F1 tùy loại sai sót cần kiểm soát. Không nên áp một metric duy nhất cho mọi dạng công nghệ thu thập dữ liệu.

Độ lặp lại, khả năng tái lập và drift cho biết hệ thống có ổn định hay không

Một phép so sánh với reference tại một thời điểm chỉ tạo ra ảnh chụp tức thời. Công nghệ thu thập dữ liệu còn phải duy trì hiệu năng trong quá trình sử dụng.

Repeatability kiểm tra mức phân tán khi cùng phép đo được lặp lại trong các điều kiện gần như không đổi. Nếu một giá trị tham chiếu cố định nhưng hệ thống trả về 100,1; 99,9; 103,2; 97,5; 101,8 thì chỉ nhìn vào giá trị trung bình có thể che giấu sự bất ổn lớn.

Độ lệch chuẩn của các lần đo lặp là một cách định lượng độ chụm. Độ lệch chuẩn càng nhỏ so với tolerance cho phép thì khả năng lặp lại càng tốt.

Reproducibility mở rộng kiểm tra sang những thay đổi có ý nghĩa trong thực tế, chẳng hạn thiết bị khác, vị trí khác, người vận hành khác, lô sản phẩm khác hoặc điều kiện môi trường khác. Một công nghệ chỉ chính xác trong thiết lập phòng thử nhưng mất độ chính xác ở hiện trường chưa thể được xem là đã xác nhận cho điều kiện hiện trường.

Một yếu tố khác là drift. Cảm biến hoặc hệ thống có thể chính xác ngay sau khi hiệu chuẩn nhưng sai lệch tăng dần sau vài tuần hoặc vài tháng. Vì vậy, phép đánh giá nên lặp lại theo thời gian nếu bản chất công nghệ có nguy cơ trôi điểm zero, lão hóa linh kiện hoặc thay đổi đặc tính.

Với hệ thống cần so sánh trực tiếp hai phương pháp đo liên tục, phân tích chênh lệch giữa từng cặp quan sát còn hữu ích hơn chỉ tính correlation. Chẳng hạn, có thể xem bias của các chênh lệch và khoảng đồng thuận. Khi phân bố chênh lệch đủ phù hợp, cách tiếp cận Bland–Altman thường biểu diễn khoảng đồng thuận xấp xỉ bias ± 1,96 độ lệch chuẩn của chênh lệch. Điều cần quan tâm là khoảng này có nằm trong sai số mà nghiệp vụ chấp nhận được hay không.

Phải kiểm tra cả chuỗi thu thập dữ liệu, không chỉ thiết bị đầu vào

Trong nhiều hệ thống, dữ liệu cuối cùng trải qua nhiều bước: cảm biến hoặc nguồn đầu vào, lấy mẫu, chuyển đổi tín hiệu, truyền dữ liệu, đóng dấu thời gian, lưu trữ và đôi khi còn được làm sạch hoặc biến đổi trước khi người dùng nhận được kết quả.

Do đó, một cảm biến có thông số accuracy tốt chưa đảm bảo độ chính xác công nghệ thu thập dữ liệu ở cấp hệ thống.

Ví dụ, thiết bị có thể đo đúng nhưng:

·         Tần số lấy mẫu quá thấp làm mất các biến động ngắn

·         Timestamp lệch khiến bản ghi bị ghép với sai sự kiện

·         Quá trình truyền làm mất hoặc nhân đôi bản ghi

·         Làm tròn quá sớm làm giảm độ phân giải

·         Quy tắc chuyển đổi đơn vị được cấu hình sai

·         Tiền xử lý loại bỏ các giá trị thực nhưng bị coi nhầm là ngoại lệ

Các lỗi này có thể không xuất hiện khi chỉ đặt cảm biến cạnh một thiết bị chuẩn rồi so sánh hai con số.

Vì thế nên tiến hành hai tầng validation. Tầng thứ nhất kiểm tra measurement accuracy của nguồn thu. Tầng thứ hai so sánh dữ liệu cuối đường ống với ground truth để kiểm tra end-to-end accuracy. Cách này giúp xác định sai số phát sinh từ bản thân thiết bị hay từ hệ thống xử lý dữ liệu phía sau.

Các chỉ số về completeness, bản ghi trùng, độ trễ hoặc timestamp không phải là phép đo accuracy theo nghĩa hẹp, nhưng chúng cần được kiểm tra khi những lỗi đó có thể làm dữ liệu cuối cùng đại diện sai cho hiện tượng thực tế.

Ngưỡng chính xác phải được xác định từ mục đích sử dụng

Không tồn tại một con số như “95% chính xác” có thể dùng làm chuẩn chung cho mọi công nghệ thu thập dữ liệu.

Sai số 1°C có thể chấp nhận được trong một hệ thống giám sát môi trường thông thường nhưng không phù hợp với một quy trình có giới hạn nhiệt rất hẹp. Sai số vị trí một mét có thể đủ cho một ứng dụng nhưng hoàn toàn không đủ cho ứng dụng khác.

Vì vậy, thứ tự hợp lý không phải là đo xong rồi mới quyết định “kết quả có vẻ tốt hay không”. Acceptance criteria nên được xác định trước khi thử nghiệm dựa trên mức sai số tối đa mà quyết định nghiệp vụ có thể chịu được.

Giả sử một ứng dụng quy định tolerance là ±2 đơn vị. Nhóm triển khai có thể đặt trước tiêu chí validation của riêng dự án như:

·         Ít nhất 95% quan sát nằm trong ±2 đơn vị so với reference

·         Giá trị tuyệt đối của bias không vượt 0,5 đơn vị

·         RMSE không vượt 1,5 đơn vị

·         Không xuất hiện suy giảm vượt giới hạn trên các điều kiện vận hành đã xác định

Các con số trên chỉ là ví dụ về cách xây dựng tiêu chí, không phải benchmark chung cho mọi ngành. Nếu kết quả kiểm tra đạt 96,8% quan sát trong tolerance, bias 0,3 và RMSE 1,1 thì hệ thống đáp ứng bộ tiêu chí ví dụ trong điều kiện đã thử. Nhưng nếu tỷ lệ nằm trong tolerance giảm xuống 88% ở điều kiện nhiệt độ ngoài hiện trường, kết luận phải được giới hạn: công nghệ chưa đạt yêu cầu cho điều kiện đó.

Một quy trình đánh giá đầy đủ vì thế có thể thực hiện theo trình tự:

1.    Xác định đại lượng hoặc dữ liệu cần đánh giá và sai số tối đa chấp nhận được

2.    Chọn reference hoặc ground truth có độ tin cậy phù hợp

3.    Thiết kế tập thử bao phủ dải giá trị và điều kiện vận hành

4.    Thu thập dữ liệu theo cặp và lặp lại đủ để quan sát độ phân tán

5.    Tính bias, MAE, RMSE hoặc metric phù hợp với loại dữ liệu

6.    Kiểm tra repeatability, reproducibility, drift và sai số end-to-end

7.    So sánh kết quả với acceptance criteria đã định trước

8.    Ghi rõ điều kiện mà kết luận về độ chính xác còn hiệu lực

Cách tiếp cận này giúp chuyển đánh giá từ nhận xét “công nghệ có vẻ chính xác” thành một kết luận có thể kiểm chứng và tái lập.

Độ chính xác của công nghệ thu thập dữ liệu được kiểm tra đáng tin cậy nhất bằng cách đối chứng kết quả với giá trị tham chiếu, lượng hóa sai số và xác nhận độ ổn định trong các điều kiện sử dụng thực tế. Không nên dựa riêng vào một chỉ số, một lần đo hoặc thông số do nhà sản xuất công bố.

Một đánh giá tốt cần xem đồng thời bias, độ lớn của sai số, độ chụm, khả năng lặp lại, drift và sai số của toàn bộ chuỗi thu thập. Cuối cùng, công nghệ chỉ có thể được kết luận là “đủ chính xác” khi các kết quả đó nằm trong ngưỡng chấp nhận đã xác định từ yêu cầu sử dụng cụ thể, chứ không phải dựa trên một tỷ lệ accuracy chung cho mọi trường hợp.