Tách cắt cơ thể người tăng cường dựa trên các thành phần xuất hiện và giới hạn không gian

* Bài viết dựa trên sự tìm hiểu thông qua bài báo khoa học "Robust human body segmentation based on part appearance and spatial constraint" của các tác giả Lei Huang, Sheng Tang, Yongdong Zhang, Shiguo Lian và Shouxun Lin nhằm mục đích ghi chép lại những hiểu biết thô sơ, nhỏ bé từ đó để nắm được ý chính của phương pháp được giới thiệu trong bài báo. Chủ yếu là dịch ra tiếng việt phần system overview theo cách hiểu của mình chứ tôi cũng không biết gì nhiều. Trong bài có sử dụng hình ảnh của bài báo được nêu ở trên.

Mục đích của bài toán nghiên cứu là tách cắt hình ảnh cơ thể người ra khỏi ảnh.

Ý tưởng chính của phương pháp các tác giả đề xuất được mô tả thông qua hình trên. Nhìn chung, phương pháp này có 2 phần chính.  Phần trên của hình diễn tả phần xác định nhân vật thể ( cơ thể người) và nền của bức ảnh. Phần dưới của hình diển tả phần tách cắt bằng giới hạn không gian dựa trên phương pháp thành phần đồ thị (spatial constraint based graph cuts method - tôi nghi ngờ mình dịch sai vì mình chẳng biết gì về spatial constraint hay graph cuts method trong thị giác máy tính).

Ở phần đầu, các tác giả sử dụng mô hình cấu trúc ảnh ( pictorial structure model) để lấy tư thế của người. Để lấy toàn bộ các vùng của cơ thể người, các tác giả dùng superpixel (phương pháp gom nhóm các pixel có tính chất tương tự nhau lại với nhau thành một pixel lớn - superpixel). Các thành phần của cơ thể người được chỉ rõ thông qua việc kết hợp giữa pose image (có được từ pose estimation) với các nhãn superpixel. Ảnh tư thế (pose image) không được sử dụng trực tiếp để làm nhân vật thể do sự thiếu chính xác của phương pháp ước lượng tư thế (pose estimation). Do vậy, Part apearance map (PAM) sử dụng tri thức bổ sung được thực hiện. Sau đó, nhân vật thể và nền tăng cường cho tối ưu graph cuts ở phần 2 sẽ có được bằng cách kết hợp PAM và pose image.

Ở phần 2, một phương pháp giới hạn không gian graph cuts mới dựa trên graph cuts được đề xuất. Phương pháp graph cuts truyền thống không thể cho kết quả tốt với hình ảnh có nền phức tạp. Vì vậy, các tác giả đề xuất đặc tính cấu trúc mềm ( weak structure priperty). Kết quả ước lượng tư thế được dùng để lấy vị trí thân người. Với vị trí thân người, không gian giới hạn của các thành phần cơ thể khác có thể thu được thông qua đặc tính cấu trúc mềm. Giới hạn không gian dựa trên phương pháp graph cuts được thực hiện để lấy kết quả tách cắt cuối cùng bằng cách sử dụng nhân vật thể và nền có được từ phần 1 như đầu vào và thực hiện việc giới hạn không gian.

Chi tiết các bạn có thể tìm xem trên bài báo khoa học của các tác giả. :)