AI Lab, 4 bài báo được chấp nhận tại LREC-COLING 2024, hội nghị quốc tế trong lĩnh vực kèo bóng đá châu á

Trong những năm gần đây, với sự phát triển nhanh chóng của thị trường quảng cáo trên Internet, việc sử dụng công nghệ AI để nâng cao hiệu quả sản xuất và vận hành sáng tạo đang thu hút sự chú ý nhằm mục đích tối đa hóa hiệu quả quảng cáo Tại Phòng thí nghiệm AI, chúng tôi đang tập trung vào nghiên cứu và phát triển nhiều loại công nghệ AI, đồng thời tăng cường hợp tác giữa ngành-học viện với các trường đại học và tổ chức học thuật để giải quyết các vấn đề kỹ thuật khác nhau trong lĩnh vực sáng tạo
Đặc biệt, nhóm nghiên cứu của chúng tôi trong lĩnh vực kèo bóng đá châu á đang nghiên cứu về ``công nghệ tạo văn bản quảng cáo tự động'' và ``hiểu các cách diễn đạt quảng cáo'', cũng như dự đoán và tự động tạo văn bản quảng cáo hiệu quả bằng cách sử dụng AI do công ty chúng tôi cung cấpTD dự đoán cực" và mô hình ngôn ngữ quy mô lớn (LLM) chuyên về tiếng Nhật "CyberAgentLM'' đã góp phần phát triển công nghệ và cải thiện độ chính xác



「」
Tác giả: Sho Hoshino (CyberAgent AI Lab), Akihiko Kato (CyberAgent AI Lab), Soichiro Murakami (CyberAgent AI Lab), Zhang Peixan (CyberAgent AI Lab)

kèo bóng đá châu á là một lĩnh vực nghiên cứu liên quan đến việc hiểu và tạo văn bản Một trong những công nghệ cơ bản để hiểu văn bản là "vectơ câu", chuyển đổi văn bản thành các giá trị số để dễ xử lý hơn trên máy tính Vectơ câu cũng được sử dụng trong lĩnh vực quảng cáo và gần đây đã được áp dụng để tạo hỗ trợ tìm kiếm (RAG) của các mô hình ngôn ngữ quy mô lớn (LLM) Tuy nhiên, vectơ câu có vấn đề với việc hỗ trợ đa ngôn ngữ; ví dụ, thiếu dữ liệu học tập tiếng Nhật so với tiếng Anh Trong nghiên cứu này, chúng tôi đã kiểm tra chi tiết dữ liệu huấn luyện và phương pháp tạo nhằm mục đích cải thiện hiệu suất của vectơ câu đa ngôn ngữ Cụ thể, chúng tôi đã nghiên cứu hai phương pháp tăng dữ liệu sau đây - (a) Chuyển tiếp song ngữ: Học bổ sung các mô hình đa ngôn ngữ sử dụng dữ liệu đào tạo tiếng Anh - (b) Dịch máy: Học bổ sung các mô hình đa ngôn ngữ sử dụng dữ liệu giả được chuyển đổi từ tiếng Anh sang các ngôn ngữ khác Chúng tôi đã kết hợp và so sánh các phương pháp này với hai loại dữ liệu học tập thường được sử dụng (NLI tiếng Anh và Wikipedia tiếng Anh) Kết quả là, việc chuyển dữ liệu Wikipedia tiếng Anh sang nhiều ngôn ngữ đã cho thấy hiệu suất tuyệt vời trong thử nghiệm điểm chuẩn về nhiệm vụ tương tự ngữ nghĩa (STS) bằng tiếng Nhật và tiếng Hàn Dựa trên kiến ​​thức này, chúng tôi cũng đã cố gắng đào tạo thêm một mô hình đa ngôn ngữ bằng cách sử dụng dữ liệu Wikipedia tiếng Nhật và nó cho thấy hiệu suất tốt nhất, thậm chí còn vượt xa khả năng chuyển giao giữa các ngôn ngữ Từ những kết quả thử nghiệm này,Khả năng mới là dữ liệu Wikipedia của từng ngôn ngữ phù hợp cho việc học vectơ câuđược đề xuất Kết quả của nghiên cứu này dự kiến sẽ được áp dụng cho các sản phẩm như "Polar Prediction TD", sản phẩm tự động kèo bóng đá châu á văn bản quảng cáo và dự đoán trước tính hiệu quả của nó

「」
Tác giả: Tsuyoshi Inoue (Đại học Trí tuệ nhân kèo bóng đá châu á Mohamed bin Zayed), Akihiko Kato (Phòng thí nghiệm AI của CyberAgent), Masato Mita (Phòng thí nghiệm AI của CyberAgent), Ukyo Honda (Phòng thí nghiệm AI của CyberAgent), Zhang Peixan (Phòng thí nghiệm AI của CyberAgent)

kèo bóng đá châu á văn bản quảng cáo là tác vụ tự động kèo bóng đá châu á văn bản quảng cáo từ nội dung quảng cáo bao gồm thông tin sản phẩm và dịch vụ Một trong những điểm quan trọng trong việc tối đa hóa hiệu quả quảng cáo là "kèo bóng đá châu á ra các văn bản quảng cáo đa dạng" Ví dụ: ngay cả khi quảng cáo dành cho cùng một sản phẩm, văn bản quảng cáo khác nhau có thể được kèo bóng đá châu á tùy thuộc vào việc quảng cáo tập trung vào chất lượng sản phẩm hay một chiến dịch hạn chế Để phát triển mô hình kèo bóng đá châu á bản sao quảng cáo có thể kiểm soát các khía cạnh này, cần có một tập dữ liệu được chú thích bằng các loại kháng cáo và văn bản quảng cáo tương ứng Tuy nhiên, việc thiếu các bộ dữ liệu có chú thích như vậy khiến việc đánh giá định lượng mô hình trở nên khó khăn Trong nghiên cứu này, chúng tôi đã đề xuất một nhiệm vụ kèo bóng đá châu á văn bản quảng cáo có thể kiểm soát mới và xây dựng một tập dữ liệu có tên ``CAMERA3'' chứa khoảng 4000 văn bản quảng cáo để đánh giá nhiệm vụ Tập dữ liệu này bao gồm chú thích về các loại kháng nghị cho nội dung quảng cáo cũng như văn bản quảng cáo được kèo bóng đá châu á riêng lẻ theo các loại kháng nghị được chỉ định Bằng cách sử dụng tập dữ liệu này,Có thể đánh giá định lượng mô hình kèo bóng đá châu á văn bản quảng cáo có thể kiểm soát, chẳng hạn như kèo bóng đá châu á văn bản quảng cáo bao gồm loại khiếu nại do nhà quảng cáo chỉ địnhĐiều này dự kiến ​​sẽ dẫn đến sự phát triển của các mô hình kèo bóng đá châu á văn bản quảng cáo thực tế hơn Kết quả của nghiên cứu này dự kiến sẽ góp phần đánh giá các mô hình ngôn ngữ quy mô lớn (LLM) và phát triển các mô hình kèo bóng đá châu á văn bản quảng cáo hiệu quả hơn bằng cách sử dụng chúng

「」
Tác giả: Kinkisan (Đại học Tokyo Metropolitan), Shodai Sasaki (CyberAgent AI Lab), Sho Hoshino (CyberAgent AI Lab), Ukyo Honda (CyberAgent AI Lab)

Mô hình ngôn ngữ quy mô lớn (LLM) bao gồm một số lượng lớn các tham số và việc tinh chỉnh tất cả các tham số đòi hỏi một số lượng lớn máy tính Để giải quyết vấn đề này, các phương pháp như Thích ứng Xếp hạng Thấp (LoRA) đã được đề xuất chỉ tinh chỉnh một số lượng nhỏ các tham số bổ sung Tuy nhiên, khi số lượng lớp của LLM mục tiêu tăng lên, số lượng tham số LoRA cần học cũng tăng lên Trong nghiên cứu này, trước tiên chúng tôi phân tích điểm chung của các ma trận cấp thấp của mỗi lớp đã học bằng LoRA Dựa trên kết quả phân tích này, chúng tôi đã đề xuất LoRA tham số hóa có điều kiện (CondLoRA), ước tính ma trận xếp hạng thấp cho tất cả các lớp LLM bằng cách sử dụng mạng thần kinh đơn giảnSố lượng tham số học với CondLoRA là không đổi bất kể số lớp LLM nên số lượng tham số học sẽ giảm so với LoRACó Ngoài ra, CondLoRA còn đạt được hiệu suất tương đương với LoRA trong nhiệm vụ hiểu ngôn ngữ GLUE Kết quả của nghiên cứu này dự kiến sẽ dẫn đến việc kèo bóng đá châu á ra một phương pháp hiệu quả hơn để tìm hiểu thêm về CyberAgentLM, LLM do công ty chúng tôi phát triển

「」
Tác giả: Feng Xianxian (Viện Khoa học và Công nghệ Nara), Yoshimoto Akifumi (Phòng thí nghiệm AI của CyberAgent)

Công nghệ chuyển văn bản thành giọng nói (sau đây gọi tắt là TTS) kèo bóng đá châu á ra giọng nói từ văn bản đã đạt được độ tự nhiên và chất lượng âm thanh tương đương với lời nói của con người trong các thông báo và một số giọng nói giàu cảm xúc Tuy nhiên, khi sử dụng trong quảng cáo, cần phải có khả năng biểu đạt chi tiết hơn và phạm vi rộng hơn, do đó, việc lựa chọn và chỉnh sửa biểu thức theo cách thủ công có thể là cần thiết Vì vậy, điều quan trọng là giảm nỗ lực này bằng cách tự động thu được các biểu thức phù hợp hơn tùy thuộc vào ngữ cảnh Trước đây, các phương pháp đã được đề xuất để học cách diễn đạt theo ngữ cảnh bằng cách điều chỉnh các mô hình ngôn ngữ quy mô tương đối nhỏ không nhằm mục đích kèo bóng đá châu á câu cho lời nói, nhưng việc áp dụng mô hình ngôn ngữ quy mô lớn (LLM) vẫn chưa được xác minh đầy đủ Trong nghiên cứu này, chúng tôi đã đề xuất một phương pháp có tên là Llama-VITS, sử dụng Llama2, LLM, để kèo bóng đá châu á biểu thức giọng nói theo nhiều cách và tích hợp chúng vào VITS, TTS Chúng tôi đã xác nhận hiệu suất sau đây của phương pháp được đề xuất trong mỗi chỉ mục - Hiệu suất bằng hoặc tốt hơn mức cơ sở trong các chỉ số đánh giá tự động - Cải thiện đáng kể các chỉ số thể hiện cảm xúc thủ công so với việc sử dụng mô hình ngôn ngữ không nhằm mục đích kèo bóng đá châu á câu LLM được cho là có nhiều kiến thức theo ngữ cảnh hơn và nhiều kỹ thuật đã được đề xuất để kiểm soát những gì nó kèo bóng đá châu á ra Việc tích hợp LLM vào TTS cũng mở ra khả năng thu được những lợi ích này khi nói đến điều khiển bằng giọng nói Kết quả của nghiên cứu này có thể dự kiến sẽ được áp dụng cho các sản phẩm như "nhãn kép kỹ thuật số" trong đó việc thể hiện cảm xúc tinh tế hơn là quan trọng

Kết quả của những nghiên cứu này dự kiến sẽ được sử dụng trong ``công nghệ kèo bóng đá châu á văn bản quảng cáo'' và ``hiểu cách diễn đạt quảng cáo'' của công ty chúng tôi, ngoài việc sản xuất văn bản quảng cáo theo cách thủ công Trong tương lai, "AI Lab" sẽ tiếp tục nỗ lực nghiên cứu và phát triển với mục tiêu sản xuất và vận hành những quảng cáo hiệu quả hơn




※1 Thuộc Đại học Trí tuệ nhân kèo bóng đá châu á Mohamed bin Zayed・Tham gia “Thực tập nghiên cứu trong phòng thí nghiệm AI” từ ngày 01/06/2023
※2 Liên kết với Đại học Tokyo Metropolitan・Tham gia “Thực tập nghiên cứu trong phòng thí nghiệm AI” từ ngày 09/01/2023
※3 Liên kết với Viện Khoa học và Công nghệ Nara / Tham gia “Thực tập nghiên cứu trong phòng thí nghiệm AI” từ ngày 08/01/2023
※4「」