AI Lab chọn ra 5 bài báo tại ACL 2025, hội nghị hàng đầu kèo bóng đá số lĩnh vực xử lý ngôn ngữ tự nhiên

kèo bóng đá số những năm gần đây, với sự phát triển nhanh chóng của thị trường quảng cáo trên Internet, người ta tập trung chú ý vào việc nâng cao hiệu quả sản xuất và vận hành sáng tạo bằng công nghệ AI để tối đa hóa hiệu quả quảng cáo Tại Phòng thí nghiệm AI, chúng tôi đang tăng cường hợp tác giữa ngành và học viện với các trường đại học và tổ chức học thuật để giải quyết các vấn đề kỹ thuật khác nhau kèo bóng đá số lĩnh vực sáng tạo, đồng thời đang tập trung vào nghiên cứu và phát triển nhiều loại công nghệ AI

Đặc biệt, nhóm nghiên cứu của chúng tôi kèo bóng đá số lĩnh vực xử lý ngôn ngữ tự nhiên đang tiến hành nghiên cứu cơ bản về ``tạo văn bản quảng cáo tự động'' và ``hiểu cách diễn đạt quảng cáo'' cũng như nghiên cứu triển khai trên mạng xã hội bằng cách giới thiệu công nghệ và kiến thức vào ``Extreme Prediction TD'' sử dụng AI do công ty chúng tôi cung cấp để dự đoán và tự động tạo văn bản quảng cáo hiệu quả Ngoài ra, chủ đề nghiên cứu của nhóm học tăng cường là RLHF※4và cũng đang tiến hành nghiên cứu liên ngành

※4 Học tăng cường từ phản hồi của con người, một phương pháp học máy để tối ưu hóa hiệu suất thông qua học tăng cường sử dụng phản hồi của con người

●Phiên họp toàn thể
「」
Tác giả: Yuki Ichihara (Viện Khoa học và Công nghệ Nara), Tasuku Jinnai, Kaito Ario, Tetsuro Morimura (Phòng thí nghiệm CyberAgent AI), Eiji Uchi (Viện Nghiên cứu Viễn thông Quốc tế)

Thực nghiệm đã biết rằng phương pháp được gọi là Giải mã rủi ro Bayes tối thiểu (MBR) có hiệu quả như một phương pháp tạo câu từ các mô hình ngôn ngữ quy mô lớn Tuy nhiên, vẫn chưa rõ tại sao đây là một phương pháp hiệu quả kèo bóng đá số nghiên cứu này, chúng tôi đã phân tích Giải mã MBR và làm rõ việc đảm bảo hiệu suất về mặt lý thuyết của nó Chúng tôi cũng cho thấy rằng có thể mong đợi độ chính xác cao hơn các phương pháp khác (lấy mẫu ngẫu nhiên) kèo bóng đá số các điều kiện sau,Chúng tôi đã giải thích cơ sở lý thuyết tại sao Giải mã MBR là một phương pháp tuyệt vời

「」
Tác giả: Yu Jinnai (Phòng thí nghiệm AI của CyberAgent)

Giải mã rủi ro Bayes tối thiểu (MBR) là phương pháp tạo ra các câu có chất lượng cao bằng cách "ước tính mức độ giống nhau giữa hai câu" Việc ước lượng độ giống nhau của các câu thì dễ đối với các câu ngắn, nhưng người ta biết rằng việc ước lượng độ giống nhau giữa các câu dài rất khó Do đó, khi cố gắng tạo các câu dài bằng Giải mã MBR, độ chính xác có xu hướng giảm kèo bóng đá số nghiên cứu này, chúng tôi đã sử dụng mô hình vận chuyển tối ưu và giới thiệu một phương pháp Giải mã MBR `` ước tính độ giống nhau giữa hai câu dài '' bằng cách `` ước tính độ giống nhau giữa hai câu ngắn''Điều này cho phép tạo văn bản dài chất lượng cao

「」
Tác giả: Ukyo Honda (Phòng thí nghiệm AI của CyberAgent), Tatsushi Oka (Đại học Keio)

Khi giải quyết một nhiệm vụ cụ thể bằng mô hình ngôn ngữ quy mô lớn, phương pháp đưa ra dự đoán dựa trên một số ví dụ (học tập kèo bóng đá số ngữ cảnh) thường được sử dụng Tuy nhiên, các mẫu khác với ví dụ có xu hướng dẫn đến dự đoán không chính xác, gây ra vấn đề về độ tin cậy của dự đoán kèo bóng đá số nghiên cứu này, chúng tôi khuyến khích mô hình ngôn ngữ suy nghĩ rộng rãi về cơ sở cho những dự đoán của nó bằng cách thêm các giải thích từ nhiều góc độ vào các ví dụ được trình bày Chúng tôi đã xác nhận rằng điều này cho phép chúng tôi đưa ra dự đoán ổn định và chính xác ngay cả đối với các trường hợp khác biệt đáng kể so với các ví dụ được trình bày Thông qua kết quả nghiên cứu này,Dự kiến nỗ lực cần thiết để lựa chọn và cải thiện các ví dụ sẽ giảm bớt, giúp việc sử dụng các mô hình ngôn ngữ quy mô lớn trở nên dễ dàng hơn

●Kết quả
「」
Tác giả: Ayato Tsutsumi (Đại học Tokyo Metropolitan), Yu Jinnai (CyberAgent AI Lab)

“Mô hình ngôn ngữ quy mô lớn biết được bao nhiêu về Nhật Bản?” , chúng tôi đã tạo ra một tập dữ liệu hỏi về kiến thức về yêu quái Nhật Bản Yōkai là biểu tượng của văn hóa, lịch sử Nhật Bản và xuất hiện kèo bóng đá số nhiều tác phẩm nghệ thuật, giải trí Kiến thức về yokai không thể ước tính đầy đủ nếu chỉ dựa vào kiến ​​thức khoa học tự nhiên, đồng thời việc tìm hiểu về yokai bằng các ngôn ngữ khác ngoài tiếng Nhật cũng rất khó khăn Hơn nữa, người ta cho rằng hầu như không có mô hình ngôn ngữ nào được đào tạo riêng cho yokai nên phù hợp làm thước đo để đo lường mức độ hiểu biết về văn hóa Nhật Bản Kết quả là so với mô hình được đào tạo chủ yếu bằng tiếng Anh và tiếng Trung, sau đó tinh chỉnh bằng tiếng NhậtChúng tôi nhận thấy những người mẫu được đào tạo tiếng Nhật từ khóa đào tạo sơ bộ có nhiều kiến thức hơn về yokai Kết quả này cho thấy rằng những mô hình có đủ dữ liệu học tập và được đào tạo trước bằng tiếng Nhật có thể hiểu sâu sắc về kiến thức và văn hóa độc đáo của Nhật Bản

「」
Tác giả: Soichiro Murakami, Pei-Nan Zhang (CyberAgent AI Lab), Hidetoshi Uegakigato (Viện Khoa học và Công nghệ Nara/Đại học Khoa học Tokyo), Daiya Takamura (Đại học Khoa học Tokyo), Manabu Okumura (Đại học Khoa học Tokyo)

kèo bóng đá số nghiên cứu này, chúng tôi đã đề xuất tập dữ liệu diễn giải quảng cáo ``AdParaphrase v20'' với dữ liệu đánh giá sở thích nhằm mục đích làm rõ các cách diễn đạt quảng cáo mà mọi người thấy hấp dẫn Tập dữ liệu này làPhiên bản trước “AdParaphrase” được công bố tại NAACL 2025 AdParaphrase v20 bao gồm các cặp văn bản quảng cáo được diễn giải với các cụm từ khác nhau và mỗi cặp được cung cấp dữ liệu đánh giá tùy chọn phản ánh tùy chọn của nhiều người đánh giá kèo bóng đá số phiên bản này, kích thước của tập dữ liệu đã được mở rộng đáng kể lên 16460 cặp, gấp 20 lần kích thước của phiên bản trước Điều này giúp có thể tiến hành các phân tích đáng tin cậy hơn nhắm vào nhiều cách diễn đạt ngôn ngữ khác nhau kèo bóng đá số thử nghiệm, chúng tôi đã phân tích mối quan hệ giữa các đặc điểm ngôn ngữ của văn bản quảng cáo và dữ liệu đánh giá sở thíchChúng tôi đã tiết lộ những tính năng hấp dẫn của văn bản quảng cáo mà phiên bản trước chưa cóHơn nữa, chúng tôi đã sử dụng những phát hiện này và các bộ dữ liệu được đề xuất để so sánh và đánh giá nhiều phương pháp nhằm tạo ra văn bản quảng cáo hấp dẫn Bộ dữ liệu:

Kết quả của những nghiên cứu này sẽ được sử dụng kèo bóng đá số loạt bài Kiwami của chúng tôi “Công nghệ tạo văn bản quảng cáo tự động”ỪAI phán đoán``tự động xem xét quảng cáo'' và mô hình ngôn ngữ quy mô lớn (LLM) chuyên về tiếng Nhật, ``CyberAgentLM'' kèo bóng đá số tương lai, "AI Lab" sẽ tiếp tục theo đuổi nghiên cứu và phát triển trên nhiều lĩnh vực nhằm phát triển LLM có độ chính xác cao, nhằm mục đích sản xuất và vận hành quảng cáo hiệu quả hơn



※1 Liên kết với Viện Khoa học và Công nghệ Nara Đã tham gia thực tập nghiên cứu từ ngày 01/04/2024
※2 Thuộc Đại học Tokyo Metropolitan Tham gia thực tập nghiên cứu từ ngày 14/11/2024
※3