Trong lĩnh vực tạo hình ảnh từ văn bản, việc cá nhân hóa hình ảnh đã trở thành một ứng dụng quan trọng, cho phép tạo ra những bức ảnh độc đáo với các chủ đề cụ thể trong nhiều bối cảnh khác nhau. Mặc dù các mô hình khuếch tán đã thống trị lĩnh vực này, nhưng mô hình auto-regressive với kiến trúc thống nhất cho cả văn bản và hình ảnh vẫn chưa được khám phá đầy đủ.
Nghiên cứu mới đây từ nhóm tác giả Kaiyue Sun, Xian Liu, Yao Teng và Xihui Liu đã đi sâu vào tiềm năng của các mô hình auto-regressive trong việc tạo hình ảnh cá nhân hóa. Bằng cách tận dụng khả năng đa phương thức vốn có, nhóm nghiên cứu đề xuất một chiến lược huấn luyện hai giai đoạn, kết hợp tối ưu hóa nhúng văn bản và tinh chỉnh các lớp transformer.
Kết quả thực nghiệm cho thấy phương pháp này đạt được độ trung thực về chủ đề và khả năng tuân thủ prompt tương đương với các phương pháp dựa trên khuếch tán hàng đầu. Những phát hiện này không chỉ khẳng định hiệu quả của mô hình auto-regressive trong tạo hình ảnh cá nhân hóa mà còn mở ra hướng nghiên cứu mới cho lĩnh vực này.
Nếu bạn quan tâm đến dự án này, hãy truy cập trang web chính thức để tìm hiểu thêm chi tiết. Nghiên cứu đã được đăng tải trên arXiv và nhận được sự hỗ trợ từ Quỹ Simons cùng các tổ chức thành viên.
Với những bước tiến đáng kể, mô hình auto-regressive hứa hẹn sẽ trở thành công cụ mạnh mẽ trong tương lai của công nghệ tạo hình ảnh cá nhân hóa, mang đến những ứng dụng thực tiễn và sáng tạo hơn nữa.
