Gửi bình luận
Huawei vừa công bố mã nguồn mở hai mô hình AI trong dòng Pangu, cùng với một số công nghệ suy luận mô hình nhất định.
Thông báo này được đưa ra vào ngày 30.6 nằm trong nỗ lực của công ty nhằm củng cố chiến lược AI trong bối cảnh Mỹ áp đặt các hạn chế xuất khẩu chip tiên tiến sang Trung Quốc.
Sáng kiến này tương tự như hành động của các công ty công nghệ Trung Quốc khác, chẳng hạn như Baidu, khi cũng công bố mã nguồn mở dòng mô hình ngôn ngữ lớn Ernie vào cùng ngày. Việc mã nguồn mở cho phép các nhà phát triển và doanh nghiệp thử nghiệm và điều chỉnh các mô hình cho phù hợp với nhu cầu cụ thể của họ.
Huawei cho biết sáng kiến này là một phần trong “chiến lược hệ sinh thái Ascend”, tập trung vào dòng chip AI Ascend do hãng tự phát triển. Các con chip này được coi là đối thủ chính của các sản phẩm do Nvidia sản xuất, vốn đang chịu kiểm soát xuất khẩu từ Mỹ.
Huawei đã mời các nhà phát triển, nhà nghiên cứu và đối tác toàn cầu tải về và phản hồi về các sản phẩm mã nguồn mở của mình.
Tích hợp phần cứng - phần mềm nổi lên như một lợi thế chiến lược trong cuộc đua AI
Việc Huawei mã nguồn mở các mô hình AI Pangu thể hiện một bước đi chiến lược, phản ánh cách tiếp cận phần cứng - phần mềm tích hợp mà nhiều ông lớn công nghệ đã thành công.
Bằng cách kết hợp các mô hình mã nguồn mở với dòng chip AI Ascend, Huawei đang xây dựng một hệ sinh thái tương tự như chiến lược của Google — hãng phát triển cả chip AI lẫn các mô hình như Gemma 1 mã nguồn mở.
Cách tích hợp dọc này cho phép Huawei tối ưu hóa các giải pháp AI cho những lĩnh vực cụ thể như chính phủ, tài chính và sản xuất. Mục đích cuối là tạo nên sự khác biệt so với các đối thủ như Baidu vốn tập trung vào năng lực AI đa dụng hơn.
Chiến lược này nhằm giải quyết một thách thức kinh doanh quan trọng: trong khi các hạn chế từ Mỹ giới hạn quyền tiếp cận của Huawei với công nghệ chip tiên tiến, thì mã nguồn mở tạo ra con đường thay thế để mở rộng thị trường bằng cách khuyến khích các nhà phát triển xây dựng trên nền tảng của Huawei.
Đáng chú ý, chip Ascend 910C của Huawei đã thu về hơn 2 tỉ USD đơn đặt hàng trước, cho thấy nhu cầu thị trường mạnh mẽ đối với các phần cứng AI nội địa tại Trung Quốc.
Việc tích hợp mô hình mã nguồn mở với phần cứng độc quyền đã từng chứng minh hiệu quả trong quá khứ như trường hợp của Google với TensorFlow (2015) và PyTorch (2016), vốn đã thúc đẩy mạnh mẽ việc ứng dụng AI nhờ tạo ra mối liên kết tối ưu giữa phần mềm và khả năng tăng tốc phần cứng.
Hai mô hình Pangu được công bố mã nguồn
1. Pangu 7B (mô hình ngôn ngữ lớn "Dense")
Đặc điểm: Đây là một mô hình ngôn ngữ lớn (LLM) "dense" với 7 tỉ tham số.
Ứng dụng: Pangu 7B được sử dụng rộng rãi trong các ứng dụng doanh nghiệp, ứng dụng tiêu dùng và nghiên cứu học thuật.
Cải tiến gần đây: Mô hình này đã được nâng cấp để giải quyết các vấn đề như xử lý ngữ cảnh dài (long-context) và giảm thiểu "ảo giác" (hallucination - việc mô hình tạo ra thông tin không chính xác). Huawei cho biết họ đã giải quyết vấn đề ngữ cảnh dài bằng công nghệ SWA và ESA thích ứng, giúp giảm đáng kể lượng tính toán và bộ nhớ đệm cho các chuỗi dài, đồng thời giảm "ảo giác" bằng cách thêm tính năng phát hiện ranh giới kiến thức và xác minh suy luận có cấu trúc. Điều này cho thấy một mô hình nhỏ hơn vẫn có thể đạt được hiệu suất cao.
2. Mô hình Mixture of Experts (MoE) với 72 tỉ tham số
Đặc điểm: Đây là một mô hình sử dụng kiến trúc Mixture of Experts (MoE), với tổng cộng 72 tỉ tham số.
Kiến trúc MoE: Kiến trúc MoE cho phép mô hình có số lượng tham số rất lớn nhưng chỉ kích hoạt một phần nhỏ các "chuyên gia" (experts) cụ thể cho mỗi truy vấn, giúp tăng hiệu quả tính toán so với các mô hình "dense" cùng kích thước.
Cải tiến: Mô hình MoE này được mô tả là một mô hình suy luận sâu (deep thinking model) với 718 tỉ tham số, được cải thiện về khả năng suy luận kiến thức, gọi công cụ và toán học.
