AI Lab, bài báo được chấp nhận tại hội nghị hàng đầu trong lĩnh vực thị giác máy kèo bóng đá trực tiếp hôm nay "ICCV 2023"
-Đề xuất phương pháp trao đổi khuôn mặt mạnh mẽ-
Quảng cáo|
CyberAgent Co, Ltd (Trụ sở chính: Shibuya-ku, Tokyo, Giám đốc điều hành: Susumu Fujita, TSE Prime Market: Mã chứng khoán: 4751) vừa thông báo rằng tổ chức nghiên cứu và phát triển công nghệ AI, AI Lab, sẽ trình bày một bài báo của Kaede Shiobara (nghiên cứu tiến sĩ tại Đại học Tokyo), người đang tham gia thực tập nghiên cứu và các nhà nghiên cứu AI Lab Yang Xingchao và Takashi Taketomi, tại hội nghị quốc tế về lĩnh vực thị giác máy kèo bóng đá trực tiếp hôm nay, ICCV 2023 (Hội nghị quốc tế về thị giác máy kèo bóng đá trực tiếp hôm nay)”※1
"ICCV" là hội nghị quốc tế về lĩnh vực thị giác máy kèo bóng đá trực tiếp hôm nay và nhận dạng hình ảnh được tổ chức hai năm một lần, "CVPR"※2"ECCV"※3, đây là một trong những hiệp hội học thuật uy tín nhất trong lĩnh vực nàyBài viết được chấp nhận sẽ được trình bày tại "ICCV 2023" được tổ chức tại Paris, Pháp vào tháng 10 năm 2023
■NềnVới sự phát triển nhanh chóng của thị trường quảng cáo trên Internet trong những năm gần đây, việc sử dụng công nghệ AI để hợp lý hóa quá trình sản xuất và vận hành sáng tạo đang thu hút sự chú ý nhằm tối đa hóa hiệu quả quảng cáoCông nghệ đồ họa máy kèo bóng đá trực tiếp hôm nay (CG) nói riêng cho phép thực hiện nhiều cách thể hiện sáng tạo khác nhau, vì vậy nhóm nghiên cứu CG tại Phòng thí nghiệm AI đang tiến hành nghiên cứu và phát triển công nghệ hỗ trợ sản xuất sáng tạo sử dụng công nghệ CG
Đặc biệt, chúng tôi đang tích cực triển khai xã hội, chẳng hạn như thúc đẩy ứng dụng công nghệ trong các dịch vụ thực tế như ``Digital Twin Label'', một dịch vụ tạo ra và tạo ra cặp song sinh kỹ thuật số chính thức của những người nổi tiếng
■Tóm tắt bài viết được chấp nhậnCông nghệ AI thay thế các bộ phận khuôn mặt người trong video đang thu hút sự chú ý vì dự kiến sẽ được áp dụng trong nhiều lĩnh vực khác nhau như sản xuất video Nó đôi khi được sử dụng trong các địa điểm sản xuất CG như một phương pháp để cải thiện kết cấu của khuôn mặt, đặc biệt là khi tạo ra con người kỹ thuật số quang học
Trong công nghệ trao đổi khuôn mặt như vậy, cần phải duy trì các đặc điểm của hình ảnh của người mục tiêu (biểu cảm, hướng khuôn mặt, kiểu tóc, lý lịch, vv) và thay thế bằng các đặc điểm của hình ảnh khuôn mặt (hình ảnh nguồn) của người được trao đổi và với sự phát triển gần đây của học sâu, việc trao đổi khuôn mặt chất lượng cao đang trở thành hiện thựcTuy nhiên, như trong Hình 1, vấn đề với các phương pháp hiện tại là bộ mã hóa nhận dạng được sử dụng để xác định xem các đặc điểm khuôn mặt của hình ảnh nguồn có giống với các đặc điểm của hình ảnh khuôn mặt sau khi hoán đổi khuôn mặt hay không cũng ghi lại các thuộc kèo bóng đá trực tiếp hôm nay khác ngoài đặc điểm khuôn mặt (kiểu tóc, hình dạng khuôn mặt, vv) làm đặc điểm khuôn mặt riêng lẻ, dẫn đến giảm chất lượng của hình ảnh được tạo ra
Bài viết được chấp nhận gần đâyTrongBộ mã hóa nhận dạng được thiết kế lại BlendFace cho các tác vụ hoán đổi khuôn mặt, chúng tôi đã chỉ ra rằng có thể trao đổi khuôn mặt trong khi ngăn chặn việc phiên âm các thuộc kèo bóng đá trực tiếp hôm nay không phải khuôn mặt
Hình 1 So sánh phương pháp hiện có (ArcFace) và phương pháp đề xuất (BlendFace)
Ý tưởng của nghiên cứu này là thiết kế lại bộ mã hóa danh kèo bóng đá trực tiếp hôm nay để có thể xác định đó là cùng một người ngay cả khi thông tin thuộc kèo bóng đá trực tiếp hôm nay của hình ảnh khuôn mặt bị hoán đổi
Phía bên trái của Hình 2 thể hiện sự phân bố mức độ giống nhau giữa các cá thể (màu đỏ), giữa các cá thể (màu đỏ), giữa cá thể với người khác (màu xanh) và giữa các cá nhân và hình ảnh trao đổi khuôn mặt với thông tin thuộc kèo bóng đá trực tiếp hôm nay được hoán đổi (màu vàng) bằng ArcFace, một bộ mã hóa nhận dạng thường được sử dụng trong nghiên cứu thông thường Đối với các ảnh hoán đổi khuôn mặt, có thể thấy mức độ giống nhau đã giảm đi dù chỉ có thông tin thuộc kèo bóng đá trực tiếp hôm nay là thay đổi cơ bản
Mặt khác, bằng cách huấn luyện bộ mã hóa danh kèo bóng đá trực tiếp hôm nay bằng cách đưa hình ảnh khuôn mặt với thông tin thuộc kèo bóng đá trực tiếp hôm nay giả thay thế, có thể thu được kết quả kèo bóng đá trực tiếp hôm nay toán độ tương tự giống như khi so sánh hình ảnh của cùng một người, ngay cả khi thông tin thuộc kèo bóng đá trực tiếp hôm nay bị thay đổi như hiển thị ở bên phải của Hình 2
Vì nghiên cứu này sử dụng xử lý hòa trộn trong xử lý ảnh khi thay thế thông tin thuộc kèo bóng đá trực tiếp hôm nay theo cách giả,Bộ mã hóa nhận dạng được thiết kế lại BlendFace
Hình 2 Sự khác biệt trong kết quả kèo bóng đá trực tiếp hôm nay toán độ tương tự giữa các hình ảnh khuôn mặt của ArcFace và BlendFace
Sự tương đồng giữa các cá thể (màu đỏ), sự tương đồng giữa cá thể với cá thể khác (màu xanh) và sự tương đồng giữa các cá thể và hình ảnh trao đổi khuôn mặt (màu vàng) Mức độ giống nhau tăng lên khi bạn di chuyển sang phải
Hình 3 hiển thị kết quả so sánh giữa các phương pháp trao đổi khuôn mặt hiện có và BlendFace
Các phương pháp hiện tại có xu hướng có độ chính xác thấp khi kiểu tóc hoặc hình dạng đầu khác biệt đáng kể giữa ảnh nguồn và ảnh đích, trong khi phương pháp được đề xuất có thể thu được kết quả trao đổi khuôn mặt có độ chính xác cao trong khi vẫn duy trì nét mặt, hướng khuôn mặt, đường ngắm, vv
Hình 3 Kết quả so sánh với các phương pháp trao đổi khuôn mặt hiện có
■Tương laiKết quả của nghiên cứu này có thể được kỳ vọng sẽ dẫn đến những cải tiến về hiệu quả của môi trường sản xuất đối với nội dung liên quan như một công nghệ chất lượng dành cho ``con người kỹ thuật số được sử dụng trong quảng cáo'' mà chúng tôi đang nghiên cứu"Phòng thí nghiệm AI" sẽ tiếp tục thúc đẩy hoạt động sản xuất, nghiên cứu và phát triển sáng tạo bằng cách sử dụng công nghệ AI và CG, đồng thời thách thức việc thể hiện và tạo ra giá trị chỉ có thể được tạo ra trong không gian kỹ thuật số
※1
※2
※3