AI trên thiết bị: Apple đang nghiên cứu về việc chạy các mô hình AI tổng hợp trên iPhone. Công ty đã phát triển một giải pháp cho phép chạy các mô hình ngôn ngữ lớn (LLM) trên các thiết bị có RAM hạn chế.
Tối ưu hóa RAM: Apple có thể lưu trữ “các thông số mô hình” và chỉ đưa một phần của chúng vào RAM khi cần, thay vì tải toàn bộ mô hình vào RAM.
Hiệu suất: Phương pháp này cho phép chạy các mô hình có kích thước gấp đôi DRAM hiện có, với tốc độ suy luận tăng gấp 4-5 lần và 20-25 lần so với các phương pháp tải đơn giản trong CPU và GPU.
Ứng dụng: Giải pháp này cho phép iPhone cũ và mới cung cấp các tính năng AI tổng hợp trên thiết bị, mặc dù thiết bị của Apple thường cung cấp ít RAM hơn nhiều điện thoại Android cao cấp.