Cách đánh giá giới hạn công nghệ phân tích nghiên cứu

Vì vậy, không có một ngưỡng giới hạn duy nhất áp dụng cho mọi công nghệ. Cần đánh giá đồng thời khả năng đo hoặc phân tích chính xác, mức bất định, tính ổn định, khả năng tái lập, độ nhạy với thay đổi dữ liệu, năng lực xử lý và điều kiện sử dụng. Cách tiếp cận này phù hợp với nguyên tắc đánh giá công nghệ dựa trên các thuộc tính chất lượng có thể đo được và các giới hạn chấp nhận theo bối cảnh.

Giới hạn được xác định từ khoảng cách giữa yêu cầu và hiệu năng thực tế

Bước đầu tiên không phải là hỏi công nghệ mạnh đến đâu, mà phải xác định công nghệ cần làm được gì trong nghiên cứu cụ thể. Một năng lực chỉ trở thành giới hạn khi nó được đặt cạnh một yêu cầu hoặc ngưỡng chấp nhận.

Có thể mô hình hóa nguyên tắc này như sau:

Yêu cầu nghiên cứu → chỉ số đánh giá → điều kiện thử nghiệm → hiệu năng thực tế → ngưỡng chấp nhận → giới hạn

Ví dụ, nếu công nghệ được sử dụng để phân loại dữ liệu, giới hạn có thể xuất hiện khi tỷ lệ sai vượt mức nghiên cứu cho phép. Nếu nhiệm vụ là xử lý tập dữ liệu lớn, giới hạn có thể nằm ở dung lượng đầu vào, thời gian xử lý hoặc bộ nhớ. Với hệ thống tạo ra kết quả định lượng, giới hạn có thể nằm ở sai số hoặc độ bất định.

Điểm quan trọng là phải định nghĩa ngưỡng trước khi kết luận công nghệ có đạt yêu cầu hay không. NIST, trong hướng dẫn đo lường hiệu năng AI, cũng đề xuất xác định các giới hạn hiệu năng chấp nhận được, chẳng hạn thông qua phân bố sai số, thay vì chỉ đánh giá hệ thống bằng những nhận định định tính như “tốt” hoặc “ổn định”.

Do đó, một kết quả đạt 90% không tự động là tốt hay xấu. Nó chỉ có ý nghĩa sau khi biết 90% đang đo đại lượng nào, trên bộ dữ liệu nào, trong điều kiện nào và yêu cầu tối thiểu của nghiên cứu là bao nhiêu.

Đánh giá độ chính xác, sai số và bất định của kết quả

Một công nghệ có thể tạo ra kết quả rất nhất quán nhưng vẫn sai so với giá trị tham chiếu. Vì vậy, độ chính xác và độ ổn định không được xem là cùng một thuộc tính.

Khi có giá trị chuẩn hoặc phương pháp tham chiếu, có thể đánh giá chênh lệch giữa kết quả do công nghệ tạo ra và giá trị tham chiếu. Tùy loại dữ liệu, các chỉ số có thể bao gồm sai lệch trung bình, sai số tuyệt đối, RMSE, tỷ lệ phân loại sai hoặc các đại lượng tương đương phù hợp với nhiệm vụ.

Đồng thời phải đánh giá độ bất định. NIST phân biệt các khái niệm như accuracy, precision và reproducibility, đồng thời xem uncertainty là thuộc tính cần được gắn với một kết quả đo cụ thể. Điều này có ý nghĩa trực tiếp đối với việc xác định giới hạn: một giá trị đầu ra không chỉ cần “gần đúng”, mà còn phải cho biết mức độ chắc chắn của kết quả đó trong điều kiện sử dụng cụ thể.

Một cách đánh giá thực tế là thử công nghệ trên nhiều mức độ khó của dữ liệu rồi quan sát điểm mà sai số hoặc bất định vượt ngưỡng cho phép. Điểm vượt ngưỡng đó mới là bằng chứng rõ ràng về giới hạn.

Chẳng hạn, nếu sai số duy trì dưới ngưỡng chấp nhận ở dữ liệu thông thường nhưng tăng mạnh khi tín hiệu yếu hoặc dữ liệu có nhiều nhiễu, giới hạn không nên được mô tả chung là “độ chính xác thấp”. Kết luận chính xác hơn là công nghệ mất khả năng đáp ứng yêu cầu khi chất lượng đầu vào giảm đến một điều kiện xác định.

Kiểm tra độ ổn định, khả năng tái lập và độ bền trước biến động

Một công nghệ phân tích nghiên cứu đáng tin cậy không chỉ cần đưa ra kết quả tốt trong một lần thử. Nó còn phải duy trì hiệu năng khi phép phân tích được lặp lại hoặc khi điều kiện đầu vào thay đổi trong phạm vi mà nghiên cứu có thể gặp.

Có ít nhất ba lớp kiểm tra khác nhau.

Repeatability xem xét mức biến động khi phép phân tích được lặp lại trong điều kiện gần như giống nhau. Reproducibility đặt yêu cầu cao hơn về khả năng thu được kết quả nhất quán khi quá trình phân tích được tái thực hiện. Với nghiên cứu tính toán, National Academies mô tả reproducibility theo hướng thu được kết quả tính toán nhất quán từ cùng dữ liệu đầu vào, các bước tính toán, phương pháp, mã và điều kiện phân tích.

Lớp tiếp theo là robustness: hiệu năng thay đổi bao nhiêu khi dữ liệu hoặc môi trường không còn giống điều kiện chuẩn. Có thể tạo các bài thử với dữ liệu nhiễu hơn, thiếu một phần thông tin, thay đổi phân bố, thay đổi cấu hình hoặc tăng quy mô đầu vào rồi đo mức suy giảm của chỉ số chính.

Giới hạn xuất hiện khi sự biến động làm chỉ số chất lượng vượt khỏi vùng chấp nhận.

Điều này cũng giải thích vì sao một lần benchmark đạt kết quả cao chưa đủ để chứng minh công nghệ không có giới hạn đáng kể. Đánh giá có giá trị hơn khi cho thấy cả hiệu năng cơ sở và mức suy giảm khi các điều kiện bị thay đổi. Trong lĩnh vực AI, NIST TEVV cũng nhấn mạnh rằng accuracy, reliability và robustness là những đặc tính cần các phép đo và đánh giá riêng, đồng thời bối cảnh sử dụng giữ vai trò thiết yếu.

Xác định giới hạn từ dữ liệu và phạm vi suy luận

Công nghệ phân tích chỉ có thể được đánh giá đúng trong phạm vi dữ liệu mà nó đã được kiểm thử. Đây là một trong những giới hạn dễ bị bỏ qua nhất.

Một kết quả tốt trên một bộ dữ liệu không chứng minh rằng công nghệ sẽ giữ nguyên chất lượng trên mọi tập dữ liệu khác. Cần xem xét ít nhất chất lượng dữ liệu, độ đầy đủ, phạm vi giá trị, mức độ đại diện và sự khác biệt giữa dữ liệu đánh giá với dữ liệu sẽ gặp trong thực tế.

Có thể kiểm tra giới hạn bằng cách chia dữ liệu thành các vùng điều kiện: dữ liệu chuẩn, dữ liệu biên, dữ liệu có nhiễu, dữ liệu thiếu, nhóm hiếm hoặc dữ liệu khác phân bố. Sau đó đo cùng một tập chỉ số trên từng vùng thay vì chỉ báo cáo một giá trị trung bình cho toàn bộ tập thử.

Cách làm này giúp phát hiện tình huống một chỉ số tổng thể có vẻ tốt nhưng che khuất các vùng mà công nghệ hoạt động kém.

Giới hạn suy luận cũng phải được tách khỏi giới hạn tính toán. Một hệ thống có thể xử lý được một tập dữ liệu về mặt kỹ thuật nhưng không đồng nghĩa với việc kết luận được tạo ra có đủ độ tin cậy cho đối tượng nằm ngoài phạm vi đã kiểm chứng. Đối với các hệ thống AI, NIST coi validity và reliability là những thuộc tính phải được đánh giá liên tục trong bối cảnh hệ thống thực sự được sử dụng.

Vì vậy, báo cáo giới hạn nên mô tả rõ “đã chứng minh được trong phạm vi nào” thay vì chuyển một kết quả thử nghiệm hữu hạn thành tuyên bố về năng lực tổng quát.

Đo giới hạn tài nguyên, tốc độ và khả năng mở rộng

Ngay cả khi chất lượng kết quả vẫn đạt yêu cầu, công nghệ vẫn có thể chạm giới hạn vận hành.

Các chỉ số cần theo dõi phụ thuộc loại công nghệ nhưng thường có thể bao gồm thời gian xử lý mỗi tác vụ, throughput, dung lượng bộ nhớ, mức sử dụng CPU/GPU, kích thước dữ liệu tối đa, số tác vụ đồng thời hoặc chi phí cho mỗi đơn vị phân tích.

Không nên chỉ đo một cấu hình duy nhất. Cần tăng dần quy mô dữ liệu hoặc khối lượng công việc và quan sát đường biến đổi của tài nguyên cùng thời gian xử lý. Nếu kích thước đầu vào tăng gấp đôi nhưng thời gian, bộ nhớ hoặc chi phí tăng nhanh hơn nhiều so với mức nghiên cứu có thể chấp nhận, công nghệ đang tiến tới một giới hạn khả năng mở rộng thực tế.

Đối với sản phẩm ICT và phần mềm, ISO/IEC 25010:2023 cung cấp mô hình chất lượng dùng để xác định, đo lường và đánh giá các thuộc tính chất lượng của sản phẩm. Đây là cơ sở hữu ích để tránh đánh giá công nghệ chỉ bằng một chỉ số duy nhất và thay vào đó xem xét nhiều đặc tính liên quan tới chất lượng vận hành.

Cần phân biệt hai trường hợp. Giới hạn cứng là điểm công nghệ không thể tiếp tục xử lý, chẳng hạn vượt dung lượng đầu vào hoặc tài nguyên khả dụng. Giới hạn thực dụng xuất hiện sớm hơn: hệ thống vẫn chạy nhưng thời gian, chi phí hoặc mức tiêu thụ tài nguyên đã vượt yêu cầu của nghiên cứu.

Trong nhiều dự án, giới hạn thực dụng mới là ranh giới có ý nghĩa quyết định.

Thiết lập ngưỡng chấp nhận để kết luận giới hạn

Cách đánh giá chặt chẽ nhất là xây dựng một ma trận giới hạn thay vì đưa ra kết luận chung như “công nghệ còn hạn chế”.

Mỗi năng lực cần gắn với một chỉ số, một điều kiện thử nghiệm và một ngưỡng chấp nhận. Ví dụ:

·         Độ chính xác được đối chiếu với sai số tối đa hoặc mức hiệu năng tối thiểu

·         Độ ổn định được kiểm tra qua biến thiên giữa các lần chạy

·         Khả năng tái lập được kiểm tra bằng cùng dữ liệu, phương pháp và điều kiện phân tích đã mô tả

·         Robustness được đo bằng mức suy giảm hiệu năng khi điều kiện đầu vào bị thay đổi

·         Khả năng mở rộng được đánh giá qua thời gian, bộ nhớ, throughput hoặc chi phí theo quy mô dữ liệu

·         Phạm vi áp dụng được giới hạn bởi các điều kiện và nhóm dữ liệu đã được kiểm chứng

Không nhất thiết tồn tại một benchmark số học chung cho các chỉ số này. Ngưỡng phải xuất phát từ mục tiêu nghiên cứu, mức rủi ro của quyết định và chất lượng tối thiểu mà kết quả cần đạt. NIST AI RMF cũng đặt việc đo lường trong bối cảnh cụ thể và yêu cầu xác định các giới hạn hiệu năng chấp nhận được thay vì giả định một tiêu chuẩn duy nhất phù hợp cho mọi hệ thống.

Sau khi có ngưỡng, quy trình đánh giá có thể thực hiện theo năm bước:

1.    Xác định nhiệm vụ và điều kiện sử dụng

2.    Chọn chỉ số có thể đo lường cho từng năng lực quan trọng

3.    Thiết kế thử nghiệm từ điều kiện chuẩn đến điều kiện biên

4.    Xác định điểm mà chỉ số vượt ngưỡng chấp nhận

5.    Ghi giới hạn kèm điều kiện, dữ liệu và cấu hình thử nghiệm

Cách báo cáo này có giá trị hơn việc nói công nghệ “chính xác”, “nhanh” hay “ổn định”, bởi người đọc có thể biết chính xác kết luận đúng trong điều kiện nào và khi nào không nên tiếp tục dựa vào công nghệ.

Giới hạn công nghệ phân tích nghiên cứu vì thế được xác định dựa trên mối quan hệ giữa yêu cầu nghiên cứu và hiệu năng đo được trong các điều kiện xác định, chứ không dựa vào một thông số đơn lẻ. Một đánh giá đầy đủ cần kiểm tra sai số và bất định, khả năng lặp lại và tái lập, độ bền trước biến động, phạm vi dữ liệu, năng lực xử lý và chi phí tài nguyên.

Điểm giới hạn là nơi một hoặc nhiều chỉ số quan trọng vượt khỏi ngưỡng chấp nhận đã thiết lập. Cách xác định này đồng thời cho biết công nghệ làm tốt đến đâu, trong phạm vi nào và dưới điều kiện nào kết quả không còn đủ cơ sở để sử dụng.