AI Lab, bài báo hàng đầu được chấp nhận tại SCA2022, hội nghị hàng đầu trong lĩnh vực hoạt hình máy tính - Đề xuất phương pháp kèo bóng đá f88 đổi kiểu cử chỉ của con người kỹ thuật số -

CyberAgent Co, Ltd (Trụ sở chính: Shibuya-ku, Tokyo, Giám đốc đại diện: Susumu Fujita, TSE Prime Market: Stock Code 4751) có hệ thống bổ nhiệm chéo tại AI Lab, tổ chức nghiên cứu và phát triển công nghệ AI※1Bài viết chính của Shigeru Kuriyama (Giáo sư tại Đại học Công nghệ Toyohashi), đồng thời là nhà nghiên cứu, đã được trình bày tại hội nghị quốc tế trong lĩnh vực hoạt hình máy tính "SCA 2022 (ACM SIGGRAPH/ Eurographics Symposium on Computer Animation 2022)"※2Bài viết này là kết quả hợp tác giữa các nhà nghiên cứu Takashi Taketomi và Tomoyuki Mugasa của AI Lab và Phó giáo sư Tomohiko Mukai của Đại học Tokyo Metropolitan

``SCA'' là hội thảo quốc tế uy tín nhất trong lĩnh vực công nghệ hoạt hình đồ họa máy tính, được tổ chức hàng năm bởi các nhà nghiên cứu trên khắp thế giới Bài báo được chấp nhận gần đây này sẽ được trình bày miệng tại Đại học Durham ở Vương quốc Anh vào tháng 9 năm 2022 và cũng sẽ được xuất bản trên tạp chí học thuật uy tín "Diễn đàn đồ họa máy tính"※3


■Nền
Trong những năm gần đây, với sự phát triển nhanh chóng của thị trường quảng cáo trên Internet, việc sử dụng công nghệ AI để hợp lý hóa quá trình sản xuất và vận hành sáng tạo đang thu hút sự chú ý với mục đích tối đa hóa hiệu quả quảng cáo Tại AI Lab, chúng tôi đang tập trung vào nghiên cứu và phát triển trong nhiều lĩnh vực kỹ thuật bằng cách tăng cường hợp tác giữa ngành và học viện với các trường đại học và tổ chức học thuật, đồng thời sử dụng hệ thống bổ nhiệm chéo để giải quyết các vấn đề kỹ thuật khác nhau trong lĩnh vực sáng tạo

Trong số đó, các nhóm nghiên cứu trong lĩnh vực đồ họa máy tínhTrung tâm nghiên cứu con người kỹ thuật số"] để tăng cường nghiên cứu CG, chúng tôi còn cung cấp dịch vụ "Nhãn kép kỹ thuật số"

"kèo bóng đá f88 kiểu cử chỉ được mã hoá dựa trên ngữ cảnh"
Shigeru Kuriyama, Tomohiko Mukai, Takafumi Taketomi, Tomoyuki Mukasa
Tác giả: Shigeru Kuriyama (CyberAgent/Đại học Công nghệ Toyohashi), Tomohiko Mukai (Đại học Tokyo Metropolitan), Takashi Taketomi (CyberAgent), Tomoyuki Mugasa (CyberAgent)

Nghiên cứu này nhằm mục đích làm phong phú thêm tính biểu đạt trong hành vi của người ảo được gọi là hình đại diện trong không gian ảo như Metaverse và cung cấp phương tiện giao tiếp trong không gian ảo có hiệu quả cao trong nhiều ngành khác nhau

Khi giao tiếp trong Metaverse thông qua hình đại diện, người dùng tạo cử chỉ bằng cách sử dụng bảng điều khiển trò chơi hoặc thiết bị đầu vào 3D đặc biệt, nhưng do thiết bị đầu vào thiếu độ chính xác và tự do nên không thể thể hiện cử chỉ tinh tế và cử chỉ tay có thể truyền tải chính xác ý định và cảm xúc Hơn nữa, mặc dù điểm hấp dẫn lớn nhất của Metaverse là khả năng tương tác với các cảm giác khác nhau bằng cách sử dụng "hóa thân" khác với hình dạng của chính mình, nhưng cũng cần có công nghệ cung cấp sức mạnh biểu đạt tương tự cho các kèo bóng đá f88 động cơ thể

Tuy nhiên, mặc dù phương pháp thông thường tạo ra kèo bóng đá f88 động của con người ảo bằng cách sử dụng mạng thần kinh có thể tạo ra kèo bóng đá f88 động một cách ổn định nhưng vẫn có giới hạn trong việc thể hiện chính xác các đặc điểm (kiểu dáng) riêng lẻ của họ

Dựa trên nền tảng này, trong nghiên cứu này, chúng tôi đã áp dụng phương pháp kèo bóng đá f88 kiểu xử lý hình ảnh theo ngôn ngữ đối với kèo bóng đá f88 động cử chỉ, thay vì mô hình tự hồi quy được sử dụng trong các phương pháp thông thường, để phát triển một kỹ thuật ``kèo bóng đá f88 các đặc điểm độc đáo của cử chỉ sang kèo bóng đá f88 động bình thường'', điều mà cho đến nay vẫn còn khó khăn
Công nghệ này áp dụng dữ liệu kèo bóng đá f88 động (tài liệu kiểu) cho một lần hóa thân được thực hiện bởi một diễn viên chuyên nghiệp từng phần trong thời gian thực theo bối cảnh kèo bóng đá f88 động của người dùng (nội dung) Với công nghệ này,Nó sẽ làm phong phú thêm sức mạnh biểu đạt của giao tiếp trong không gian siêu vũ trụ và tăng sức hấp dẫn của quảng cáo。


■Giải thích phương pháp
Video bên dưới hiển thị ví dụ về việc kèo bóng đá f88 các đặc điểm kiểu cử chỉ bằng phương pháp này
Bằng cách tham chiếu đến dữ liệu cử chỉ (nội dung) bao gồm kèo bóng đá f88 động mà người dùng muốn truyền tải và dữ liệu cử chỉ (tài liệu kiểu) bao gồm các đặc điểm kèo bóng đá f88 động độc đáo, nó được cơ cấu lại để không làm mất đi ý nghĩa và nội dung Video dưới đây cho thấy kết quả

＜Video ví dụ 1＞

Trong video này, kèo bóng đá f88 động của chất liệu phong cách được tái tạo bằng cách tham chiếu ``nội dung (kèo bóng đá f88 động để giải thích)'' với ``chất liệu phong cách (kèo bóng đá f88 động lớn để giải thích khi đi bộ)'' Ở đây, cả hai tài liệu đều được thực hiện theo đúng lời thoại (lời thoại trong video)

＜Video ví dụ 2＞

Trong video này, như trong ví dụ video 1, "tài liệu phong cách" tham chiếu đến "nội dung (kèo bóng đá f88 động để giải thích)" và kèo bóng đá f88 động của chất liệu phong cách được tái tạo
Tại thời điểm này, kèo bóng đá f88 động của chất liệu phong cách là kèo bóng đá f88 động bạo lực không được tạo ra từ lời nói, nhưng kèo bóng đá f88 đổi ổn định cho thấy mọi sự kết hợp đều có thể thực hiện được

*Trái ngược với video này, bạn cũng có thể tái tạo lại các kèo bóng đá f88 động khiêm tốn (đảo ngược mối quan hệ và kèo bóng đá f88 các kèo bóng đá f88 động độc đáo thành các kèo bóng đá f88 động bình thường) bằng cách tham khảo ``chất liệu phong cách ít kèo bóng đá f88 động'' thành ``nội dung có kèo bóng đá f88 động bạo lực''

＜Video ví dụ 3＞

Video này trình bày ví dụ về cách "nội dung (kèo bóng đá f88 động để giải thích)" được tham chiếu bởi "tài liệu phong cách (kèo bóng đá f88 động hoạt động như robot)" và được kèo bóng đá f88 đổi thành cử chỉ phù hợp với hình thức bên ngoài Có thể biến đổi kèo bóng đá f88 động của hình đại diện trong không gian Metaverse theo thời gian thực để phù hợp với diện mạo của nó

Các điểm hấp dẫn của phương pháp đề xuất này có thể được tóm tắt như sau

●Giới thiệu các mô hình deep learning được phát triển trong lĩnh vực ngôn ngữ tự nhiên để kèo bóng đá f88 giao phong cách kèo bóng đá f88 động ・Đạt được kèo bóng đá f88 động kèo bóng đá f88 động độc đáo mà trước đây rất khó ・Cũng có thể xử lý các cử chỉ phức tạp và thay đổi linh hoạt ●Học lại dữ liệu bạn muốn kèo bóng đá f88 đổi và không cần phải có các thông tin như phân loại văn phong và cách phát âm ・Về mặt học thuật, nó tương ứng với “học tập không cần giám sát” ・Có thể kết hợp bất kỳ vật liệu cử chỉ nào được sử dụng để kèo bóng đá f88 ●Tìm hiểu và kèo bóng đá f88 đổi với dữ liệu nhẹ và thời gian tính toán ・GPU không cần thiết cho việc học và phù hợp để kèo bóng đá f88 đổi theo thời gian thực

Lưu ý:
・Dữ liệu hình dạng ký tự sử dụng vật liệu không chứa mixamo (wwwmixamocom)
・Sử dụng Threejs (bajsorg) để tạo hoạt ảnh CG
・Sử dụng bộ sưu tập mẫu giọng nói (sound-emotionjp/voice/voice-sample) để phát âm trong khi lồng tiếng
・Chỉnh sửa nội dung tài liệu mẫu (shopjapantestshop-projp) cho nội dung phát âm của giọng nói tổng hợp
・Âm thanh ghi lồng tiếng sau khi kèo bóng đá f88 kiểu trong ví dụ video 2 và 3 được kèo bóng đá f88 đổi bằng WavePad


■Tương lai
Kết quả của nghiên cứu này có thể được kỳ vọng sẽ mang lại môi trường sản xuất hiệu quả hơn cho nội dung liên quan dưới dạng công nghệ sản xuất cho ''con người kỹ thuật số được sử dụng trong quảng cáo'' mà công ty chúng tôi đang nghiên cứu
"Phòng thí nghiệm AI" sẽ tiếp tục thúc đẩy hoạt động sản xuất, nghiên cứu và phát triển sáng tạo bằng công nghệ AI/CG, đồng thời có thế mạnh về sản xuất CG như công nghệ đo ảnh và con người kỹ thuật số” và “CyberMetaverse Productions Co, Ltd'' và những người khác, chúng tôi sẽ đảm nhận thử thách tạo ra sự thể hiện và giá trị chỉ có thể được tạo ra trong không gian kỹ thuật số

* Nghiên cứu này được hỗ trợ bởi Quỹ nghiên cứu khoa học JSPS JP19H04231


※1
※2
※3