Đầu tiên

Bạn thường thấy những bức ảnh mờ, kém chất lượng, xấu. Bạn không biết phải làm thế nào. Bài viết này sẽ gợi ý cho bạn một vài kĩ thuật để tăng cường chất liệu cho từng pixel trong ảnh. Làm cải thiện và nâng cao chất lượng bức ảnh. Đây cũng là một vài kiến thức nhập môn khi tôi mới bước chân vào lab - task được giao là tìm hiểu các phương pháp để tăng cường ảnh.

Tăng cường hình ảnh là một trong những kỹ thuật cốt lõi trong xử lý ảnh, phản ánh bản chất đặc trưng của lĩnh vực này. Tùy thuộc vào mục tiêu cụ thể của từng bài toán, chúng ta áp dụng các phương pháp khác nhau, chẳng hạn như tăng cường hình ảnh trong y tế, xử lý ảnh vệ tinh, và nhiều lĩnh vực khác.

Hiểu một cách đơn giản, tăng cường hình ảnh là quá trình cải thiện chất lượng ảnh. Ví dụ, từ một ảnh có độ phân giải thấp (LR), ta có thể phóng đại và tái tạo thành ảnh có độ phân giải cao (HR). Thách thức nằm ở việc tái tạo ảnh HR từ một hoặc nhiều ảnh LR, trong đó ảnh được biểu diễn dưới dạng ma trận số. Chẳng hạn, một ma trận 3x3 có thể được nâng cấp thành ma trận 12x12, đặt câu hỏi: Làm thế nào để tạo ra các giá trị pixel mới?

Để giải quyết vấn đề này, các kỹ thuật tăng độ phân giải ảnh đã ra đời và không ngừng phát triển. Chúng được phân loại thành các giai đoạn sau:

Xử lý ảnh truyền thống: sử dụng phương pháp nội suy để cải thiện độ phân giải.
Mạng tích chập (Convolutional Neural Networks - CNN): áp dụng học sâu để nâng cao chất lượng ảnh.
Transformer: một bước tiến hiện đại hơn, mở ra khả năng tăng cường hình ảnh với hiệu quả và độ chính xác cao hơn.
Mỗi phương pháp đều mang lại những lợi ích riêng, phù hợp với từng bài toán và yêu cầu cụ thể.

Về ảnh

Phương pháp tăng cường ảnh truyền thống

một vài các phương pháp truyền thống phổ biến để tăng cường hình ảnh :

giảm nhiễu hình ảnh phơi sáng nhiều lần
khử mờ từng khung hình
sub-pixel image localization:

ngoại suy:

Ngoại suy tuyến tính: cách sử dụng phương pháp hồi quy tuyến tính hoặc phương pháp của bình phương tối thiểu để xác định các hệ số tương ứng với một hàm tuyến tính, và sau đó sử dụng hàm này để dự đoán giá trị cho các điểm mới.
Ngoại suy đa giác: mối quan hệ giữa các điểm dữ liệu được xấp xỉ bằng các đa giác. Các phương pháp ngoại suy đa giác bao gồm đa giác Lagrange, đa giác Newton và đa giác spline. Các đa giác này được sử dụng để tạo ra các đa giác “khớp” với dữ liệu và sau đó được sử dụng để dự đoán giá trị cho các điểm mới.

Interpolation (Nội suy)

Sử dụng các phương pháp nội suy như nội suy tuyến tính, nội suy đa giác, hoặc nội suy spline để ước lượng giá trị pixel mới dựa trên các giá trị pixel có sẵn trong ảnh LR.

& 1 số phương pháp nội suy tìm hiểu được:

Nội suy láng giềng gần

Lấy giá trị của pixel gần nhất cho pixel mới.
Đơn giản và nhanh chóng, nhưng có thể tạo ra các đường viền “khô cứng”.

Nội suy song tuyến tính

Lần lượt duyệt và tính toán trung bình 4 pixel xung quanh pixel hiện tại.
Mượt mà hơn so với nội suy láng giềng gần nhất, nhưng có thể làm mờ các chi tiết nhỏ.

Nội suy xoắn 3

Sử dụng 16 pixel xung quanh để tính toán giá trị cho pixel mới.
Cho kết quả mịn màng và chi tiết hơn so với hai phương pháp trên, nhưng cũng phức tạp và tốn thời gian hơn.

Phương pháp nội suy phù hợp phụ thuộc vào mục đích sử dụng ảnh và độ phân giải mong muốn.

Ảnh cần độ phân giải cao và chi tiết sắc nét: Sử dụng nội suy xoắn bậc ba.
Ảnh cần độ phân giải cao nhưng tốc độ xử lý nhanh: Sử dụng nội suy song tuyến tính.
Ảnh cần độ phân giải cao nhưng đơn giản: Sử dụng nội suy láng giềng gần nhất

Lưu ý:

• Nội suy không thể tạo ra chi tiết mới, chỉ có thể làm rõ ràng các chi tiết hiện có.
• Chất lượng ảnh sau nội suy cũng phụ thuộc vào chất lượng ảnh gốc.

Ví dụ thực tế:

Phóng to ảnh để xem chi tiết rõ ràng hơn.
Nâng cấp ảnh cũ có độ phân giải thấp lên độ phân giải cao.
Xử lý ảnh bị mờ hoặc nhiễu.

Transfomer

Trong lĩnh vực tăng cường ảnh, Transformer đã mở ra một hướng đi mới, mang lại hiệu quả vượt trội nhờ khả năng xử lý thông tin từ xa và song song hiệu quả. Để hiểu rõ hơn, ta có thể so sánh với các phương pháp trước đây như CNN và RNN:

Hạn chế của CNN và RNN trong tăng cường ảnh

CNN (Convolutional Neural Networks):

Hoạt động nối tiếp: CNN xử lý thông tin từng phần và ghép nối, làm hạn chế khả năng nắm bắt mối quan hệ dài hạn giữa các vùng trong ảnh.
Thiếu sự tương quan toàn cục: Mặc dù mạnh trong việc nhận diện đặc trưng cục bộ, CNN không thể nắm bắt hiệu quả mối liên hệ giữa các vùng cách xa nhau trong ảnh.

RNN (Recurrent Neural Networks):

Hạn chế tốc độ: RNN có thể nắm bắt mối liên hệ xa, nhưng do tính chất xử lý nối tiếp của nó, tốc độ xử lý bị hạn chế khi áp dụng cho ảnh có kích thước lớn.

Transformer: Đột phá trong tăng cường ảnh

Transformer khắc phục các hạn chế trên bằng cách sử dụng cơ chế Self-Attention, cho phép:
Nắm bắt thông tin toàn cục: Mỗi vùng trong ảnh có thể liên kết và tham chiếu đến bất kỳ vùng nào khác, giúp cải thiện khả năng tái tạo chi tiết.
Xử lý song song: Giảm thời gian xử lý, ngay cả với ảnh có độ phân giải cao.
Tích hợp linh hoạt: Tích hợp tốt với các phương pháp khác để cải thiện chất lượng ảnh đầu ra.

Cấu trúc Transformer trong tăng cường ảnh

Encoder:

Đầu vào nối tiếp – đầu ra nối tiếp: Các ma trận ảnh đầu vào được mã hóa thành biểu diễn đặc trưng, giúp mô hình hiểu rõ các chi tiết và tương quan toàn cục.
Decoder:
Đầu vào song song – đầu ra nối tiếp: Sử dụng thông tin từ encoder để tái tạo ảnh độ phân giải cao từ ảnh đầu vào độ phân giải thấp.

Ưu điểm của Transformer trong tăng cường ảnh

Khả năng tái tạo chi tiết chính xác hơn, ngay cả trong các vùng phức tạp của ảnh.
Hiệu quả xử lý với ảnh kích thước lớn, nhờ tính chất song song của Transformer.
Linh hoạt và dễ mở rộng, phù hợp với các ứng dụng phức tạp như ảnh y tế, ảnh vệ tinh, hoặc ảnh nghệ thuật.
Với những đặc điểm trên, Transformer đã trở thành một công cụ mạnh mẽ và được áp dụng rộng rãi trong các bài toán tăng cường ảnh hiện đại.