Phỏng vấn Giáo sư Intuitive Okazaki, Trường Khoa học và Công nghệ Thông tin, Đại học Khoa học Tokyo, về cách các công ty nên tận dụng soi kèo bóng đá trực tuyến và phát triển nguồn nhân lực soi kèo bóng đá trực tuyến

Tomomatsu: Phòng thí nghiệm của Giáo sư Okazaki đang hợp tác với nhóm nghiên cứu của Giáo sư Rio Yokota và Viện Khoa học và Công nghệ Công nghiệp Tiên tiến Quốc gia (AIST) để phát triển một mô hình ngôn ngữ quy mô lớn (LLM) có tên ``Swallow'' mạnh mẽ trong tiếng Nhật Tôi cảm thấy rằng việc một phòng thí nghiệm nghiên cứu của trường đại học phát triển LLM một cách độc lập là cực kỳ hiếm

Ông Okazaki: Tôi đã nghiên cứu về xử lý ngôn ngữ tự nhiên trong một thời gian dài và trước đây từng tham gia nghiên cứu tóm tắt tự độngTôi đã làm vậy Mặc dù dự án này đã được bắt đầu cách đây hơn 5 năm nhưng hiện tại nó đã đạt được mức độ chính xác có thể thực sự được sử dụng trên thực tế

Sau này, khi LLM ra mắt, tôi cảm thấy rằng trừ khi chúng tôi thực sự tự tạo ra nó, nếu không chúng tôi sẽ tiến hành nghiên cứu mà không hiểu những phần cốt lõi của việc hiện thực hóa trí tuệ nhân tạo thông minh Điều này là do chúng tôi nghĩ rằng trong quá trình phát triển, chúng tôi sẽ có thể tìm hiểu công thức cần thiết để tạo ra trí tuệ nhân tạo thông minh Trong thời gian này, Giáo sư Yokota đã tiếp cận tôi và tôi được phân công làm việc tại phòng thí nghiệm Yokota về điện toán hiệu năng cao (HPC), trong khi phòng thí nghiệm Okazaki chịu trách nhiệm chính trong việc chuẩn bị dữ liệu đào tạo và đánh giá các mô hình Ngoài ra, chúng tôi đã phát triển "Swallow" dựa trên Llama 2 bằng cách sử dụng môi trường điện toán (ABCI) do AIST cung cấp

Không có ví dụ nào khác về việc các phòng thí nghiệm của trường đại học hợp tác chặt chẽ để phát triển LLM Tôi cảm thấy rằng việc phát triển với một hệ thống nhỏ gọn như Swallow mang lại sự linh hoạt và lợi thế là có thể biến ý tưởng thành hành động ngay lập tức

Ông Okazaki: Trong bài giảng này với tựa đề "Hiện trạng và triển vọng của các mô hình ngôn ngữ quy mô lớn và Swallow", tôi đã nói về cách thức hoạt động của nó, những điều tôi cần cẩn thận khi phát triển nó và tầm quan trọng của việc phát triển LLM mạnh bằng tiếng Nhật Có nhiều LLM khác nhau, nhưng tôi hy vọng rằng bài giảng này sẽ giúp bạn hiểu lý do tại sao việc bạn tự đánh giá và xác minh cũng như xem xét sâu hơn về trí thông minh của trí tuệ nhân tạo lại quan trọng

Tomomatsu: Tôi rất biết ơn Giáo sư Okazaki, người thực sự đang phát triển LLM, đã chia sẻ những kiến thức mà chỉ có thể hiểu đượcLLM tiếng Nhật dành riêng cho CyberAgent, nhưng hiếm có nhiều kỹ sư có cơ hội tìm hiểu chi tiết về kiến thức của họ, vì vậy tôi nghĩ đây là một cơ hội ý nghĩa để nhiều kỹ sư có thể trực tiếp tìm hiểu về những khó khăn trong quá trình phát triển LLM
Ngoài công ty chúng tôi, ngày càng có nhiều công ty phát triển LLM mạnh về tiếng Nhật, nhưng bạn nghĩ cần những gì?

Mr Okazaki: LLM có nhiều kích cỡ khác nhau và các mô hình do các công ty lớn trên toàn cầu phát triển có thể có hơn 100 tỷ mô hình đang hoạt động Có người cho rằng một mô hình có thể xử lý được ngôn ngữ, hiện tượng của tất cả các quốc gia, nhưng trên thực tế, quy mô LLM dùng trong kinh doanh nhiều nhất là 10 tỷ, dễ sử dụng nhất có lẽ là hàng tỷ tham số Trong trường hợp đó, việc đưa kiến ​​thức về tất cả các ngôn ngữ và quốc gia vào một LLM là không thực tế Nếu bạn muốn sử dụng nó cho tiếng Nhật, tôi nghĩ một LLM đã được tăng cường cho tiếng Nhật hoặc một mô hình chuyên về ứng dụng sẽ có hiệu suất chi phí tốt hơn Tầm quan trọng của việc phát triển LLM với kỹ năng tiếng Nhật vững vàng ở Nhật Bản là có thể phản ứng phù hợp sau khi hiểu được ngôn ngữ, văn hóa và thông tin có giá trị ở Nhật Bản

Tôi nghĩ thật tuyệt vời khi công ty của bạn đang phát triển LLM của riêng mình Phát triển LLM không phải là điều có thể được thực hiện đơn giản bằng cách có dữ liệu và tài nguyên tính toán Ví dụ: một mô hình cơ sở có thể được tạo bằng cách học dự đoán từ tiếp theo bằng cách sử dụng một lượng lớn dữ liệu văn bản và tài nguyên tính toán, nhưng chỉ riêng mô hình cơ sở thì không thể tương tác được Một mô hình có thể tương tác lần đầu tiên có thể được tạo thông qua điều chỉnh lệnh, nhưng không rõ loại dữ liệu đào tạo nào cần được chuẩn bị để điều chỉnh lệnh hoặc loại dữ liệu nào cần được tạo và đánh giá để phát triển trí tuệ nhân tạo cho mục đích chung Tôi nghĩ sẽ tạo ra sự khác biệt lớn cho dù bạn có kinh nghiệm tự phát triển LLM hay không Nếu bạn có kinh nghiệm phát triển, bạn sẽ hiểu các đặc điểm của LLM, do đó bạn sẽ biết những điểm chính của việc sử dụng LLM và bạn cũng sẽ có bí quyết để chọn mô hình tốt nhất cho ứng dụng của mình trong số các mô hình mở và hiệu suất cao

Tomomatsu: Trong một hoặc hai năm qua, nhiều LLM khác nhau đã xuất hiện và tôi luôn cảm thấy rằng vị trí mà các nhà khoa học dữ liệu có thể chứng minh giá trị của chúng đã thay đổi Nếu bạn chỉ đơn giản đi theo xu hướng công nghệ của các công ty lớn toàn cầu, cuối cùng bạn có thể bị ảnh hưởng bởi sự thay đổi nhanh chóng Tôi nghĩ điều quan trọng là phải kết hợp những thế mạnh độc đáo của chúng ta

Tomomatsu: Generative soi kèo bóng đá trực tuyến đã mang lại những thay đổi lớn cho toàn xã hội, nhưng vị trí của Generative soi kèo bóng đá trực tuyến trong số các nhà nghiên cứu xử lý ngôn ngữ tự nhiên, trong đó có Giáo sư Okazaki, là gì?

Mr Okazaki: Xét về xu hướng soi kèo bóng đá trực tuyến, đã có sự bùng nổ về deep learning vào những năm 2010 trước soi kèo bóng đá trực tuyến tổng quát Có sự bùng nổ trong xử lý âm thanh và xử lý hình ảnh, cuối cùng cũng chuyển sang xử lý ngôn ngữ tự nhiên Sau đó, nghiên cứu về các mô hình dịch máy trong xử lý ngôn ngữ tự nhiên được tiến hành và Transformer (một mô hình deep learning được các nhà nghiên cứu của Google và những người khác công bố) ra đời Cùng lúc đó, các mạng đối thủ tổng quát (GAN) xuất hiện trong lĩnh vực xử lý hình ảnh, khiến việc tạo hình ảnh và chuyển đổi kiểu trở nên thiết thực Bằng cách này, vào giữa những năm 2010, soi kèo bóng đá trực tuyến đã có động lực ngày càng tăng trong việc vẽ hình ảnh và hình minh họa

Một mô hình có quy mô tương tự như LLM hiện tại xuất hiện vào khoảng năm 2020 và mặc dù LLM vào thời điểm đó là một mô hình ngôn ngữ lỗi thời dùng để dự đoán từ tiếp theo, nhưng nó cho thấy tính linh hoạt và có thể thực hiện một số điều thú vị Sau đó, các mô hình khuếch tán ra đời và trong lĩnh vực xử lý hình ảnh, khả năng soi kèo bóng đá trực tuyến có thể vẽ những hình minh họa với chất lượng vượt trội hơn con người cuối cùng đã tăng lên Sau đó, với sự ra đời của ChatGPT, tôi nghĩ soi kèo bóng đá trực tuyến sáng tạo giờ đây có thể được sử dụng một cách nghiêm túc trong lĩnh vực ngôn ngữ tự nhiên

Tomomatsu: Tôi tham gia phát triển chatbot từ năm 2017 và rất sốc trước công nghệ xử lý ngôn ngữ tự nhiên có sẵn vào thời điểm đó có thể thực hiện các thao tác giữa các từ
Tôi rất ngạc nhiên khi chúng tôi đã thực hiện những thay đổi như vậy trong vòng chưa đầy 10 năm

Mặt khác, mặc dù có nhiều kỳ vọng dành cho soi kèo bóng đá trực tuyến sáng tạo nhưng tôi cho rằng khoảng cách về kỳ vọng đang dần xuất hiện Giáo sư Okazaki cũng đề cập đến điều này trong bài giảng đặc biệt, có tin đồn rằng soi kèo bóng đá trực tuyến sáng tạo đang bước vào thời kỳ vỡ mộng Tôi nghĩ vẫn còn những vấn đề cần giải quyết khi triển khai soi kèo bóng đá trực tuyến tạo ra xã hội và tôi nghĩ sẽ là một vấn đề khó khăn để tìm ra cách các công ty nên đào tạo lại nhân viên của mình trước những tiến bộ công nghệ khác nhau trong vòng 5 đến 10 năm tới

Nhiều công ty khác nhau đang thúc đẩy phát triển nguồn nhân lực soi kèo bóng đá trực tuyến, bao gồm cả dự án "Đào tạo lại kỹ năng để hiểu rõ về soi kèo bóng đá trực tuyến sáng tạo" mà công ty chúng tôi hiện đang thực hiện Bạn nghĩ gì về vấn đề này? Ngoài ra, tôi muốn biết liệu có điểm nào không nên bỏ qua khi tập luyện hay không