kèo bóng đá châu á Kỹ sư đám mây riêng hỗ trợ nền tảng “Generative AI x CyberAgent”

── Vui lòng cho kèo bóng đá châu á biết lý lịch kỹ sư của bạn

Urushida:kèo bóng đá châu áhỗ trợ toàn bộ cơ sở hạ tầng của xem kèo bóng đá

Chúng tôi chủ yếu vận hành đám mây riêng "Cycloud" và cung cấp nhiều dịch vụ khác nhau như OpenStack dưới dạng IaaS và AKE dưới dạng KaaS Tôi cũng chịu trách nhiệm hỗ trợ các bộ phận kinh doanh sử dụng đám mây công cộng và cơ sở hạ tầng studio, bao gồm cả phân phối video, đồng thời tham gia vào nhiều hoạt động tập trung vào cơ sở hạ tầng, đó là thế mạnh của tôi

Takahashi: CyberAgent có lịch sử vận hành nội bộ các trung tâm dữ liệu trong hơn 15 năm và CIU nổi bật nhờ việc tập hợp nguồn nhân lực có thể xử lý nhiều nhiệm vụ từ phần cứng đến phần mềm Đặc biệt gần đây, các đám mây riêng ngày càng thu hút sự chú ý về mặt AI, bảo mật và chi phí, do đó yêu cầu và nhu cầu của các doanh nghiệp ngày càng tăng

CIU có lợi thế là có thể dễ dàng giới thiệu thiết bị máy chủ GPU tiên tiến từ khâu mua sắm đến lắp đặt với chi phí thấp và tốc độ nhanh chóng Các máy chủ GPU do CIU xây dựng cũng được sử dụng trong môi trường kết xuất dành cho AI và 3DCG tổng hợp

Ngoài ra, điểm độc đáo của CIU là kèo bóng đá châu á không chỉ cung cấp máy chủ GPU mà còn phát triển các dịch vụ tương thích với Nền tảng AI trên đám mây công cộng để xây dựng quy trình ML và có các kỹ sư hiểu rõ về đám mây công cộng cũng như quen thuộc với các ngôn ngữ phát triển và vùng chứa
 

── Hãy kể cho kèo bóng đá châu á nghe về một dự án đặc biệt ấn tượng mà hai bạn đã tham gia hoặc bạn đã thực hiện một cách thận trọng

Urushida：Vào tháng 1 năm nay, CyberAgent đã tích cực đầu tư vào công nghệ sẽ tăng đáng kể quy mô của các mô hình học máy vốn là cốt lõi trong hoạt động kinh doanh AI của kèo bóng đá châu á“NVIDIA DGX H100” lần đầu tiên được giới thiệu tại Nhật Bảnkèo bóng đá châu á đã thông báo rằng kèo bóng đá châu á sẽ tăng cường đáng kể môi trường phát triển AI bằng cách sử dụng 80 GPU NVIDIA H100 Tensor Core

Đó là một khoảng thời gian đầu tư vốn và dự án quy mô lớn và đó cũng là một dự án khó quên đối với tôi

Bằng cách giới thiệu "GPU NVIDIA H100", tài nguyên tính toán cho AI và mô hình học máy được sử dụng trong "AI dự đoán cực", vv sẽ được tăng cường và khả năng tạo hình ảnh và văn bản tự động sẽ được cải thiện Điều này sẽ cho phép các dịch vụ sử dụng AI và học máy trở nên phức tạp hơn nữa, cho phép các biểu thức đa dạng và cải thiện độ chính xác (※)

Trụ sở kinh doanh AI khoảng 2 năm trướcRyosuke Ishigami của Phòng thí nghiệm AI, mô hình nền tảng (CyberAgentLM hiện tại) đã bắt đầu Tại CIU, kèo bóng đá châu á dành toàn bộ năm 2022 để thiết kế phần cứng và từ năm 2023, kèo bóng đá châu á tập trung vào phát triển phần mềm Nó được phát hành vào tháng 5 năm 2023 nhưng vẫn đang tiếp tục phát triển để nâng cấp phiên bản tiếp theo

※ Đã triển khai chức năng tạo bản sao quảng cáo tự động sử dụng AI dự đoán cực và mô hình ngôn ngữ quy mô lớn - Việc sử dụng công nghệ LLM nội bộ và ChatGPT cho phép tạo bản sao có tính đến hình ảnh và mục tiêu

── Hãy cho kèo bóng đá châu á biết vai trò của bạn trong dự án này

Urushida: Tôi phụ trách phát triển phần mềm để xây dựng cơ sở hạ tầng máy học kèo bóng đá châu á đã phát triển "Phân phối", một dịch vụ mới để xây dựng mạng cụm GPU (GPUaaS) cho NVIDIA H100 và thực hiện các công việc học tập phân tán "Phân phối" là dịch vụ thực thi công việc học tập phân tán chạy trên GPUaaS và đã giảm chi phí đáng kể so với hoạt động GPU trên đám mây công cộng

Takahashi: Tôi phụ trách thiết kế phần cứng NVIDIA, đối tác hợp tác và phát triển GPU NVIDIA H100, đã thiết lập các yêu cầu phần cứng để phát triển mô hình cơ bản và, kèo bóng đá châu á đã xem xét và thiết kế cấu hình cũng như giá thành thiết bị

Quá trình tính toán LLM rất lớn và giả sử nó được thực thi trên một máy tính thì việc tính toán có thể không được hoàn thành ngay cả sau vài năm Vì vậy, về mặt lý thuyết là song song hóa máy tính để quá trình tính toán có thể được thực hiện trong vài ngày đến vài tuần Khi thực hiện các phép tính song song, mỗi máy tính phải chia sẻ, đồng bộ tiến độ và kết quả tính toán của mình Vì vậy, cần phải thiết kế các mạng có tính đến sự song song hiệu quả hơn
 

── Bạn tập trung vào điều gì khi phát triển đội ngũ cho dự án này?

Urushida: Với tư cách là một nhóm, kèo bóng đá châu á có mục tiêu ``tối đa hóa hiệu suất phát triển AI mà CyberAgent đang thực hiện'' và trong khi kèo bóng đá châu á quyết định các vai trò dựa trên lĩnh vực chuyên môn của mình, chẳng hạn như công việc của Takahashi về phần cứng và của tôi về phần mềm, thì cả nhóm đã cố gắng không tạo ra ranh giới giữa các công việc

Lý do là để tận dụng tối đa hiệu suất của phần cứng hiệu suất cao "NVIDIA DGX H100", nhân viên phần mềm cũng cần hiểu rõ đặc điểm và thông số kỹ thuật của phần cứng Tương tự, các nhà quản lý phần cứng cần hiểu cách sử dụng LLM và khung mà các kỹ sư ML sử dụng cũng như loại hiệu suất mà họ đang tìm kiếm từ phần cứng

Takahashi: Sự hiểu biết lẫn nhau về loại công việc và vai trò là điều cần thiết cho dự án này, phải không?

Trong trường hợp xử lý yêu cầu hiệu suất máy, chẳng hạn như LLM, khi có sự kết hợp giống như bánh răng giữa phần cứng và phần mềm, có thể đạt được hiệu suất tối đa và xử lý dữ liệu hiệu quả cũng như hiệu suất cao

Đối với ``NVIDIA H100 GPU'', ngay cả những thay đổi nhỏ đối với phiên bản trình điều khiển hoặc phiên bản khung máy học cũng khiến hiệu suất máy giảm vài phần trăm trong một số trường hợp nhất định Tuy nhiên, tùy thuộc vào phiên bản trình điều khiển, có thể có những khác biệt nhỏ về hiệu suất và nếu những khác biệt này không khớp với sự ăn khớp của các bánh răng thì có thể xảy ra hiện tượng suy giảm hiệu suất không mong muốn kèo bóng đá châu á luôn cố gắng đáp ứng các tiêu chuẩn chất lượng để các kỹ sư ML sử dụng dịch vụ của kèo bóng đá châu á không cảm thấy rằng kết quả xác minh hơi khác so với ngày hôm qua và hôm nay

Urushida: Ngay cả khi cập nhật trình điều khiển, kết quả vẫn khác vì trình điều khiển được xác minh và cập nhật một cách máy móc, đồng thời được xác minh và cập nhật sau khi biết loại hiệu suất mà kỹ sư ML đang tìm kiếm Nhờ không có ranh giới giữa các loại công việc, nên có cảm giác đoàn kết trong nhóm và kèo bóng đá châu á thường tránh được việc bỏ qua những rủi ro như vậy

Ví dụ: nó giống như một nhóm thợ cơ khí chế tạo máy đua trong các môn thể thao mô tô như F1 và nhằm mục đích cải thiện tốc độ thêm 1/10 giây

Takahashi: kèo bóng đá châu á chính xác là một đội như vậy (haha) Tôi có thể làm điều này khi thường xuyên trò chuyện với các kỹ sư ML Đó thực sự là một đội không có ranh giới