AI Lab, 4 bài báo được chấp nhận tại LREC-COLING 2024, hội nghị quốc tế về lĩnh vực xem kèo bóng đá

Trong những năm gần đây, với sự phát triển nhanh chóng của thị trường quảng cáo trên Internet, việc sử dụng công nghệ AI để hợp lý hóa quá trình sản xuất và vận hành sáng tạo đang thu hút sự chú ý với mục đích tối đa hóa hiệu quả quảng cáo Tại Phòng thí nghiệm AI, chúng tôi đang tập trung vào nghiên cứu và phát triển nhiều loại công nghệ AI, đồng thời tăng cường hợp tác giữa ngành-học viện với các trường đại học và tổ chức học thuật để giải quyết các vấn đề kỹ thuật khác nhau trong lĩnh vực sáng tạo
Đặc biệt, nhóm nghiên cứu của chúng tôi trong lĩnh vực xem kèo bóng đá đang nghiên cứu về ``công nghệ tạo tự động cho văn bản quảng cáo'' và ``hiểu các cách diễn đạt quảng cáo'' cũng như dự đoán và tự động tạo văn bản quảng cáo hiệu quả bằng cách sử dụng AI do công ty chúng tôi cung cấpTD dự đoán cực'' và mô hình ngôn ngữ quy mô lớn (LLM) chuyên về tiếng Nhật, ``CyberAgentLM''



「」
Tác giả: Sho Hoshino (CyberAgent AI Lab), Akihiko Kato (CyberAgent AI Lab), Soichiro Murakami (CyberAgent AI Lab), Zhang Peina (CyberAgent AI Lab)

xem kèo bóng đá là một lĩnh vực nghiên cứu liên quan đến việc hiểu và tạo văn bản Một trong những công nghệ cơ bản để hiểu văn bản là "vectơ câu", chuyển đổi văn bản thành các giá trị số để dễ xử lý hơn trên máy tính Vectơ câu cũng được sử dụng trong lĩnh vực quảng cáo và gần đây đã được áp dụng để tạo hỗ trợ tìm kiếm (RAG) của các mô hình ngôn ngữ quy mô lớn (LLM) Tuy nhiên, vectơ câu có vấn đề với việc hỗ trợ đa ngôn ngữ; ví dụ, thiếu dữ liệu học tập tiếng Nhật so với tiếng Anh Trong nghiên cứu này, chúng tôi đã kiểm tra chi tiết dữ liệu huấn luyện và phương pháp tạo nhằm mục đích cải thiện hiệu suất của vectơ câu đa ngôn ngữ Cụ thể, chúng tôi đã nghiên cứu hai phương pháp tăng dữ liệu sau đây - (a) Chuyển giao song ngữ: Đào tạo bổ sung mô hình đa ngôn ngữ sử dụng dữ liệu đào tạo tiếng Anh - (b) Dịch máy: Học bổ sung các mô hình đa ngôn ngữ sử dụng dữ liệu giả được chuyển đổi từ tiếng Anh sang các ngôn ngữ khác Chúng tôi đã kết hợp và so sánh các phương pháp này với hai loại dữ liệu học tập thường được sử dụng (NLI tiếng Anh và Wikipedia tiếng Anh) Kết quả là, việc chuyển đổi ngôn ngữ chéo của dữ liệu Wikipedia tiếng Anh đã cho thấy hiệu suất tuyệt vời trong thử nghiệm điểm chuẩn về nhiệm vụ tương tự ngữ nghĩa (STS) bằng tiếng Nhật và tiếng Hàn Dựa trên kiến ​​thức này, chúng tôi cũng đã cố gắng đào tạo thêm một mô hình đa ngôn ngữ bằng cách sử dụng dữ liệu Wikipedia tiếng Nhật và nó cho thấy hiệu suất tốt nhất, thậm chí vượt xa khả năng chuyển giao giữa các ngôn ngữ Từ những kết quả thử nghiệm này,Khả năng mới là dữ liệu Wikipedia của từng ngôn ngữ phù hợp cho việc học vectơ câuđược đề xuất Kết quả của nghiên cứu này có thể được áp dụng cho các sản phẩm như "Polar Prediction TD", sản phẩm tự động xem kèo bóng đá văn bản quảng cáo và dự đoán trước tính hiệu quả của nó

「」
Tác giả: Tsuyoshi Inoue (Đại học Trí tuệ nhân xem kèo bóng đá Mohamed bin Zayed), Akihiko Kato (Phòng thí nghiệm AI của CyberAgent), Masato Mita (Phòng thí nghiệm về CyberAgent AI), Ukyo Honda (Phòng thí nghiệm về CyberAgent AI), Zhang Peixan (Phòng thí nghiệm về CyberAgent AI)

xem kèo bóng đá văn bản quảng cáo là tác vụ tự động xem kèo bóng đá văn bản quảng cáo từ nội dung quảng cáo bao gồm thông tin sản phẩm và dịch vụ Một trong những điểm quan trọng trong việc tối đa hóa hiệu quả quảng cáo là "xem kèo bóng đá ra các văn bản quảng cáo đa dạng" Ví dụ: ngay cả khi quảng cáo dành cho cùng một sản phẩm, văn bản quảng cáo khác nhau có thể được xem kèo bóng đá tùy thuộc vào việc quảng cáo tập trung vào chất lượng sản phẩm hay một chiến dịch hạn chế Để phát triển mô hình xem kèo bóng đá bản sao quảng cáo có thể kiểm soát các khía cạnh này, cần có một tập dữ liệu được chú thích bằng các loại kháng cáo và văn bản quảng cáo tương ứng Tuy nhiên, việc thiếu các bộ dữ liệu có chú thích như vậy khiến việc đánh giá định lượng mô hình trở nên khó khăn Trong nghiên cứu này, chúng tôi đã đề xuất một nhiệm vụ xem kèo bóng đá văn bản quảng cáo có thể kiểm soát mới và xây dựng một tập dữ liệu có tên ``CAMERA3'' chứa khoảng 4000 văn bản quảng cáo để đánh giá nhiệm vụ Tập dữ liệu này bao gồm chú thích về các loại kháng nghị cho nội dung quảng cáo cũng như văn bản quảng cáo được xem kèo bóng đá riêng lẻ theo các loại kháng nghị được chỉ định Bằng cách sử dụng tập dữ liệu này,Có thể đánh giá định lượng mô hình xem kèo bóng đá văn bản quảng cáo có thể kiểm soát, chẳng hạn như xem kèo bóng đá văn bản quảng cáo bao gồm loại khiếu nại do nhà quảng cáo chỉ địnhĐiều này dự kiến ​​sẽ dẫn đến sự phát triển của các mô hình xem kèo bóng đá văn bản quảng cáo thực tế hơn Kết quả của nghiên cứu này dự kiến sẽ góp phần đánh giá các mô hình ngôn ngữ quy mô lớn (LLM) và phát triển các mô hình xem kèo bóng đá văn bản quảng cáo hiệu quả hơn bằng cách sử dụng chúng

「」
Tác giả: Kinkisan (Đại học Tokyo Metropolitan), Shodai Sasaki (CyberAgent AI Lab), Sho Hoshino (CyberAgent AI Lab), Ukyo Honda (CyberAgent AI Lab)

Mô hình ngôn ngữ quy mô lớn (LLM) bao gồm một số lượng lớn các tham số và việc tinh chỉnh tất cả các tham số cần có nhiều máy tính Để giải quyết vấn đề này, các phương pháp như Thích ứng Xếp hạng Thấp (LoRA) đã được đề xuất chỉ tinh chỉnh một số lượng nhỏ các tham số bổ sung Tuy nhiên, khi số lượng lớp của LLM mục tiêu tăng lên, số lượng tham số LoRA cần học cũng tăng lên Trong nghiên cứu này, trước tiên chúng tôi phân tích điểm chung của các ma trận cấp thấp của mỗi lớp đã học bằng LoRA Dựa trên kết quả phân tích này, chúng tôi đã đề xuất LoRA tham số hóa có điều kiện (CondLoRA), ước tính ma trận xếp hạng thấp cho tất cả các lớp LLM bằng cách sử dụng mạng thần kinh đơn giảnSố lượng tham số học với CondLoRA là không đổi bất kể số lớp LLM nên số lượng tham số học giảm so với LoRABạn có thể Ngoài ra, CondLoRA còn đạt được hiệu suất tương đương với LoRA trong nhiệm vụ hiểu ngôn ngữ GLUE Kết quả của nghiên cứu này dự kiến sẽ dẫn đến việc xem kèo bóng đá ra một phương pháp hiệu quả hơn để tìm hiểu thêm về CyberAgentLM, LLM do công ty chúng tôi phát triển

「」
Tác giả: Feng Xianxian (Viện Khoa học và Công nghệ Nara), Akifumi Yoshimoto (Phòng thí nghiệm AI của CyberAgent)

Công nghệ chuyển văn bản thành giọng nói (sau đây gọi tắt là TTS) xem kèo bóng đá ra lời nói từ văn bản đã đạt được độ tự nhiên và chất lượng âm thanh tương đương với lời nói của con người trong các thông báo và một số giọng nói giàu cảm xúc Tuy nhiên, khi sử dụng trong quảng cáo, cần phải có khả năng biểu đạt chi tiết và phạm vi rộng hơn, do đó, việc lựa chọn và chỉnh sửa biểu thức theo cách thủ công có thể là cần thiết Vì vậy, điều quan trọng là giảm nỗ lực này bằng cách tự động thu được các biểu thức phù hợp hơn tùy thuộc vào ngữ cảnh Trước đây, một phương pháp đã được đề xuất trong đó mô hình ngôn ngữ quy mô tương đối nhỏ không dành cho việc xem kèo bóng đá câu được điều chỉnh cho lời nói để học các cách diễn đạt phù hợp với ngữ cảnh, nhưng việc áp dụng mô hình ngôn ngữ quy mô lớn (LLM) vẫn chưa được xác minh đầy đủ Trong nghiên cứu này, chúng tôi đã đề xuất một phương pháp có tên Llama-VITS, sử dụng Llama2, LLM, để xem kèo bóng đá biểu thức giọng nói theo nhiều cách và tích hợp chúng vào VITS, TTS Phương pháp đề xuất đã xác nhận hiệu suất sau trong mỗi chỉ mục - Hiệu suất bằng hoặc tốt hơn mức cơ sở trong các chỉ số đánh giá tự động - Cải thiện đáng kể các chỉ số thể hiện cảm xúc thủ công so với việc sử dụng mô hình ngôn ngữ không nhằm mục đích xem kèo bóng đá câu LLM được cho là có nhiều kiến thức theo ngữ cảnh hơn và nhiều kỹ thuật đã được đề xuất để kiểm soát những gì nó xem kèo bóng đá ra Việc tích hợp LLM vào TTS cũng mở ra khả năng thu được những lợi ích này khi nói đến điều khiển bằng giọng nói Kết quả của nghiên cứu này có thể dự kiến sẽ được áp dụng cho các sản phẩm như "nhãn kép kỹ thuật số" trong đó việc thể hiện cảm xúc tinh tế hơn là quan trọng

Kết quả của những nghiên cứu này dự kiến sẽ được sử dụng trong ``công nghệ xem kèo bóng đá văn bản quảng cáo'' và ``hiểu cách diễn đạt quảng cáo'' của công ty chúng tôi, ngoài việc sản xuất văn bản quảng cáo theo cách thủ công Trong tương lai, "AI Lab" sẽ tiếp tục nỗ lực nghiên cứu và phát triển với mục tiêu sản xuất và vận hành những quảng cáo hiệu quả hơn




※1 Thuộc Đại học Trí tuệ nhân xem kèo bóng đá Mohamed bin Zayed / Tham gia “Thực tập nghiên cứu trong phòng thí nghiệm AI” từ ngày 06/01/2023
※2 Thuộc Đại học Tokyo Metropolitan / Tham gia “Thực tập nghiên cứu trong phòng thí nghiệm AI” từ ngày 09/01/2023
※3 Liên kết với Viện Khoa học và Công nghệ Nara / Tham gia “Thực tập nghiên cứu trong phòng thí nghiệm AI” từ 2023/08/01
※4「」