AI Lab, bài báo hàng đầu được chấp nhận tại SCA2022, hội nghị hàng đầu trong lĩnh vực hoạt hình máy tính - Đề xuất phương pháp kèo bóng đá đức đổi phong cách cử chỉ của con người kỹ thuật số -

CyberAgent Co, Ltd (Trụ sở chính: Shibuya-ku, Tokyo, Giám đốc đại diện: Susumu Fujita, TSE Prime Market: Stock Code 4751) có hệ thống bổ nhiệm chéo tại AI Lab, một tổ chức nghiên cứu và phát triển công nghệ AI※1Bài viết chính của Shigeru Kuriyama (Giáo sư tại Đại học Công nghệ Toyohashi), đồng thời là nhà nghiên cứu, đã được trình bày tại hội nghị quốc tế trong lĩnh vực hoạt hình máy tính "SCA 2022 (ACM SIGGRAPH/ Eurographics Symposium on Computer Animation 2022)"※2Bài viết này là kết quả chung của các nhà nghiên cứu Takashi Taketomi và Tomoyuki Mugasa của AI Lab và Phó giáo sư Tomohiko Mukai của Đại học Tokyo Metropolitan

``SCA'' là hội thảo quốc tế uy tín nhất trong lĩnh vực công nghệ hoạt hình đồ họa máy tính, được tổ chức hàng năm bởi các nhà nghiên cứu trên khắp thế giới Bài báo được chấp nhận gần đây này sẽ được trình bày miệng tại Đại học Durham ở Vương quốc Anh vào tháng 9 năm 2022 và cũng sẽ được xuất bản trên tạp chí học thuật uy tín "Diễn đàn đồ họa máy tính"※3


■Nền
Trong những năm gần đây, với sự phát triển nhanh chóng của thị trường quảng cáo trên Internet, việc sử dụng công nghệ AI để hợp lý hóa quá trình sản xuất và vận hành sáng tạo đang thu hút sự chú ý với mục đích tối đa hóa hiệu quả quảng cáo Tại AI Lab, chúng tôi đang tập trung vào nghiên cứu và phát triển trong nhiều lĩnh vực kỹ thuật bằng cách tăng cường hợp tác giữa ngành và học viện với các trường đại học và tổ chức học thuật, đồng thời sử dụng hệ thống bổ nhiệm chéo để giải quyết các vấn đề kỹ thuật khác nhau trong lĩnh vực sáng tạo

Trong số đó, các nhóm nghiên cứu trong lĩnh vực đồ họa máy tínhTrung tâm nghiên cứu con người kỹ thuật số" để tăng cường nghiên cứu CG, chúng tôi cũng đã ra mắt "Nhãn đôi kỹ thuật số"

"kèo bóng đá đức kiểu cử chỉ được mã hoá dựa trên ngữ cảnh"
Shigeru Kuriyama, Tomohiko Mukai, Takafumi Taketomi, Tomoyuki Mukasa
Tác giả: Shigeru Kuriyama (CyberAgent/Đại học Công nghệ Toyohashi), Tomohiko Mukai (Đại học Tokyo Metropolitan), Takashi Taketomi (CyberAgent), Tomoyuki Mukasa (CyberAgent)

Nghiên cứu này nhằm mục đích làm phong phú thêm tính biểu đạt trong hành vi của người ảo được gọi là hình đại diện trong không gian ảo như Metaverse và cung cấp phương tiện giao tiếp trong không gian ảo có hiệu quả cao trong nhiều ngành khác nhau

Khi giao tiếp trong Metaverse thông qua hình đại diện, người dùng sử dụng bảng điều khiển trò chơi hoặc thiết bị đầu vào 3D đặc biệt để tạo cử chỉ, nhưng do thiết bị đầu vào thiếu độ chính xác và tự do nên không thể thể hiện cử chỉ tinh tế và cử chỉ tay truyền tải chính xác ý định và cảm xúc Hơn nữa, mặc dù điểm hấp dẫn lớn nhất của Metaverse là khả năng tương tác với các cảm giác khác nhau bằng cách sử dụng "hóa thân" khác với hình dạng của chính mình, nhưng cũng cần có công nghệ cung cấp sức mạnh biểu đạt tương tự cho các kèo bóng đá đức động cơ thể

Tuy nhiên, mặc dù các phương pháp thông thường để tạo ra kèo bóng đá đức động của con người ảo bằng cách sử dụng mạng thần kinh có thể tạo ra kèo bóng đá đức động một cách ổn định nhưng vẫn có những giới hạn trong việc thể hiện chính xác các đặc điểm (kiểu dáng) riêng lẻ của họ

Dựa trên nền tảng này, trong nghiên cứu này, chúng tôi đã áp dụng phương pháp kèo bóng đá đức kiểu xử lý hình ảnh theo ngôn ngữ đối với kèo bóng đá đức động cử chỉ, thay vì mô hình tự hồi quy được sử dụng trong các phương pháp thông thường, để phát triển một kỹ thuật ``kèo bóng đá đức các đặc điểm độc đáo của cử chỉ sang kèo bóng đá đức động bình thường'', điều mà cho đến nay vẫn còn khó khăn
Công nghệ này áp dụng dữ liệu kèo bóng đá đức động (tài liệu kiểu) cho một lần hóa thân do diễn viên chuyên nghiệp thực hiện từng phần trong thời gian thực theo bối cảnh kèo bóng đá đức động của người dùng (nội dung) Với công nghệ này,Nó sẽ làm phong phú thêm sức mạnh biểu đạt của giao tiếp trong không gian siêu vũ trụ và tăng sức hấp dẫn của quảng cáo。


■Giải thích phương pháp
Video bên dưới hiển thị ví dụ về việc kèo bóng đá đức các đặc điểm kiểu cử chỉ bằng phương pháp này
Bằng cách tham chiếu đến dữ liệu cử chỉ (nội dung) bao gồm kèo bóng đá đức động mà người dùng muốn truyền tải đến dữ liệu cử chỉ (nội dung kiểu) bao gồm các đặc điểm kèo bóng đá đức động độc đáo, nó được cơ cấu lại để không làm mất đi ý nghĩa và nội dung Video dưới đây cho thấy kết quả

＜Video ví dụ 1＞

Trong video này, kèo bóng đá đức động của chất liệu phong cách được tái tạo bằng cách tham khảo ``nội dung (kèo bóng đá đức động cung cấp lời giải thích)'' với ``chất liệu phong cách (các kèo bóng đá đức động lớn cung cấp lời giải thích khi đi bộ)'' Ở đây, cả hai tài liệu đều được thực hiện theo đúng lời thoại (lời thoại trong video)

＜Video ví dụ 2＞

Trong video này, như trong ví dụ video 1, "tài liệu phong cách" tham chiếu đến "nội dung (kèo bóng đá đức động để giải thích)" và kèo bóng đá đức động của chất liệu phong cách được tái tạo lại
Tại thời điểm này, kèo bóng đá đức động của chất liệu phong cách rất bạo lực và không được tạo ra từ lời nói, nhưng kèo bóng đá đức đổi ổn định cho thấy mọi sự kết hợp đều có thể thực hiện được

*Trái ngược với video này, bạn cũng có thể tái tạo lại các kèo bóng đá đức động khiêm tốn (đảo ngược mối quan hệ và kèo bóng đá đức các kèo bóng đá đức động độc đáo thành các kèo bóng đá đức động bình thường) bằng cách tham khảo ``nội dung tạo ra các kèo bóng đá đức động bạo lực'' bằng ``chất liệu phong cách ít kèo bóng đá đức động''

＜Video ví dụ 3＞

Video này trình bày ví dụ về cách "nội dung (kèo bóng đá đức động để giải thích)" được tham chiếu bởi "tài liệu phong cách (kèo bóng đá đức động hoạt động như robot)" và được kèo bóng đá đức đổi thành cử chỉ phù hợp với hình thức bên ngoài Có thể biến đổi kèo bóng đá đức động của hình đại diện trong không gian Metaverse theo thời gian thực để phù hợp với diện mạo của nó

Các điểm hấp dẫn của phương pháp đề xuất này có thể được tóm tắt như sau

●Giới thiệu các mô hình deep learning được phát triển trong lĩnh vực ngôn ngữ tự nhiên để kèo bóng đá đức giao phong cách kèo bóng đá đức động ・Đạt được kèo bóng đá đức động kèo bóng đá đức động độc đáo mà trước đây rất khó ・Cũng có thể xử lý các cử chỉ phức tạp và thay đổi linh hoạt ●Học lại dữ liệu bạn muốn kèo bóng đá đức đổi và không cần phải có các thông tin như phân loại văn phong và cách phát âm ・Tương đương với "học không cần giám sát" trong thuật ngữ học thuật ・Có thể kết hợp bất kỳ vật liệu cử chỉ nào được sử dụng để kèo bóng đá đức ●Tìm hiểu và kèo bóng đá đức đổi với dữ liệu nhẹ và thời gian tính toán ・GPU không cần thiết cho việc học và phù hợp để kèo bóng đá đức đổi theo thời gian thực

Lưu ý:
・Dữ liệu hình dạng ký tự sử dụng vật liệu không chứa mixamo (wwwmixamocom)
・Sử dụng Threejs (bajsorg) để tạo hoạt ảnh CG
・Sử dụng bộ sưu tập mẫu giọng nói (sound-emotionjp/voice/voice-sample) cho nội dung giọng nói để lồng tiếng
・Chỉnh sửa nội dung tài liệu mẫu (shopjapantestshop-projp) cho nội dung phát âm của giọng nói tổng hợp
・Ghi âm lồng tiếng sau khi kèo bóng đá đức kiểu trong video ví dụ 2 và 3 được kèo bóng đá đức đổi bằng WavePad


■Tương lai
Kết quả của nghiên cứu này có thể được kỳ vọng sẽ mang lại môi trường sản xuất hiệu quả hơn cho nội dung liên quan dưới dạng công nghệ sản xuất cho ''con người kỹ thuật số được sử dụng trong quảng cáo'' mà công ty chúng tôi đang nghiên cứu
"AI Lab" sẽ tiếp tục thúc đẩy hoạt động sản xuất, nghiên cứu và phát triển sáng tạo bằng công nghệ AI/CG, đồng thời có thế mạnh về sản xuất CG như công nghệ đo ảnh và con người kỹ thuật số” và “CyberMetaverse Productions Co, Ltd'' và những người khác, chúng tôi sẽ đảm nhận thử thách tạo ra sự thể hiện và giá trị chỉ có thể được tạo ra trong không gian kỹ thuật số

* Nghiên cứu này được hỗ trợ bởi Quỹ nghiên cứu khoa học JSPS JP19H04231


※1
※2
※3