Khi cung cấp giải pháp cho khách hàng chúng tôi luôn nhận được câu hỏi: “độ chính xác là bao nhiêu phần trăm?”. Để có thể chứng minh thuyết phục cho con số của mình chúng tôi xin giới thiệu cách chúng tôi phân tích độ chính xác.

Chúng tôi cung cấp 2 giải pháp FaceMon lẫn FaceComp và cả 2 đều sử dụng chung 1 thuật toán. Bài test này test chung cho cả 2 giải pháp.

Để đánh giá chúng tôi đã thử nghiệm trên bộ ảnh 4000 ảnh khuôn mặt người ngẫu nhiên, mỗi người chỉ có 1 tấm hình duy nhất. Tất cả ảnh này được lấy ngẫu nhiên từ internet và bỏ chung vào 1 folder duy nhất để đánh giá.

Chúng tôi thực hiện nhiều bài test tự động để lấy số liệu đánh giá độ chính xác và tốc độ thực thi.

Bài test tìm landmark trong khuôn mặt và save thành file .bin

Bài test này nhằm mục đích rút trích đặc trưng của khuôn mặt và save thành file *.bin. Bài đánh giá này đánh giá khả năng tìm được bao nhiêu khuôn mặt trên tổng số 4000 ảnh. Kết quả test như sau:

• Tìm được 3980 khuôn mặt trên 4000 ảnh, độ chính xác là 99.5%
• Trong 20 ảnh không tìm ra khuôn mặt có 7 ảnh không hợp lệ (bị nhòe, không nhìn trực diện, bị che khuất) và 13 ảnh hợp lệ. Nếu loại bỏ ảnh không hợp lệ thì độ chính xác là 99.67%
• Tốc độ tìm landmark trong khuôn mặt trong 4000 ảnh và save vào HDD là 197 giây (3.2 phút). Trung bình mỗi lần tìm hết 40 mili giây, tốc độ này chỉ đạt được khi test trên phiên bản sử dụng CUDA

Các ảnh không tìm được khuôn mặt trong bài test này.

Bài test nhận diện khuôn mặt

Sau khi loại trừ 20 ảnh không tìm được khuôn mặt chúng tôi còn lại 3980 ảnh. Do mỗi người chỉ có 1 ảnh do đó tất cả ảnh trong folder không được giống nhau (tỉ lệ giống khi so sánh các ảnh phải dưới 60%).

Chúng tôi so sánh từng ảnh với tất cả ảnh còn lại, nghĩa là mỗi ảnh phải so sánh với 3979 ảnh. Tuy nhiên sẽ loại bỏ những cặp ảnh đã so sánh, như vậy sẽ phải so sánh (3980 * 3979)/2 = 7.918.210 lần.

• Tìm được 27 cặp ảnh bị giống nhau, như vậy tỉ lệ chính xác là 3980-(27*2)/3980 = 98.64%
• Kiểm tra trong 27 cặp bị trùng có 15 cặp trùng nhau thật, loại bỏ 15 cặp này thì tỉ lệ chính xác là 3980 -(12*2)/3980 = 99.39%
• Tốc độ so sánh 3980 ảnh với nhau (7.918.210 – gần 8 triệu lần so sánh) hết 1841 giây (khoảng 30 phút). Trung bình mỗi lần so sánh hết 0.23 mili giây, tốc độ này chỉ đạt được khi test trên phiên bản sử dụng CUDA

Danh sách những ảnh giống nhau:

Kết luận

Với 4000 ảnh ngẫu nhiên thu thập từ internet:

• Tỉ lệ chính xác của FaceMon và FaceComp khi phát hiện có khuôn mặt trong ảnh là 99.67%, mất 197 giây
• Tỉ lệ chính xác của FaceMon và FaceComp khi nhận diện khuôn mặt là 99.39%, mất 30 phút