Tạp Chí Mobile
  • Home
  • Iphone
  • Windows
  • Android
  • Tech
  • Security
  • Mẹo
  • Hướng Dẫn
  • Entertainment
No Result
View All Result
SUBSCRIBE
Tạp Chí Mobile
  • Home
  • Iphone
  • Windows
  • Android
  • Tech
  • Security
  • Mẹo
  • Hướng Dẫn
  • Entertainment
No Result
View All Result
Tạp Chí Mobile
No Result
View All Result
Home Tech

Cách Cài Đặt và Sử Dụng Llama 2 Trên Máy Tính Cá Nhân

admin by admin
May 12, 2025
in Tech
0
Cài đặt phát triển máy tính để bàn với C++

Cài đặt phát triển máy tính để bàn với C++

74
SHARES
1.2k
VIEWS
Share on FacebookShare on Twitter

You might also like

ChatGPT Jailbreaks: Tại Sao Chúng Đã Biến Mất?

Những Lỗ Hổng Phần Mềm Nguy Hiểm Nhất

Đánh Giá RTX 4090: Hiệu Suất Cao Nhưng Tiêu Thụ Năng Lượng Lớn

Contents

  • Lý Do Cài Đặt Llama 2 Trên Máy Tính Cá Nhân
  • Bước 1: Cài Đặt Visual Studio 2019 Build Tool
  • Bước 2: Cài Đặt Text-Generation-WebUI
  • Bước 3: Tải Xuống Mô Hình Llama 2
  • Bước 4: Cấu Hình Text-Generation-WebUI
  • Thử Nghiệm Các Mô Hình Ngôn Ngữ Lớn Khác

Trong mùa hè năm 2023, Meta đã phát hành Llama 2, phiên bản mới của mô hình Llama với số lượng token được tinh chỉnh tăng thêm 40% so với phiên bản gốc, gấp đôi độ dài ngữ cảnh và vượt trội hơn hẳn so với các mô hình mã nguồn mở khác. Cách nhanh nhất và dễ dàng nhất để truy cập Llama 2 là thông qua API trên nền tảng trực tuyến. Tuy nhiên, nếu bạn muốn có trải nghiệm tốt nhất, việc cài đặt và tải Llama 2 trực tiếp trên máy tính của bạn là lựa chọn tối ưu.

Lý Do Cài Đặt Llama 2 Trên Máy Tính Cá Nhân

Có nhiều lý do khiến mọi người chọn chạy Llama 2 trực tiếp trên máy tính của mình. Một số người làm điều này vì lý do bảo mật, một số khác vì muốn tùy chỉnh, và một số khác thì cần khả năng hoạt động offline. Nếu bạn đang nghiên cứu, tinh chỉnh hoặc tích hợp Llama 2 cho các dự án của mình, thì việc truy cập Llama 2 qua API có thể không phù hợp. Việc chạy một mô hình ngôn ngữ lớn (LLM) trực tiếp trên máy tính cá nhân giúp giảm sự phụ thuộc vào các công cụ AI của bên thứ ba và sử dụng AI bất cứ lúc nào, bất cứ nơi đâu mà không lo lắng về việc rò rỉ dữ liệu nhạy cảm cho các công ty và tổ chức khác.

Dưới đây là hướng dẫn chi tiết cách sử dụng Text-Generation-WebUI để tải Llama 2 LLM đã được lượng tử hóa lên máy tính cá nhân của bạn.

Bước 1: Cài Đặt Visual Studio 2019 Build Tool

Để đơn giản hóa, chúng ta sẽ sử dụng trình cài đặt một cú nhấp chuột cho Text-Generation-WebUI (chương trình được sử dụng để tải Llama 2 với giao diện đồ họa). Tuy nhiên, để trình cài đặt này hoạt động, bạn cần tải xuống và cài đặt Visual Studio 2019 Build Tool cùng với các tài nguyên cần thiết.

Tải xuống: Visual Studio 2019 (Miễn phí)

  1. Hãy tải xuống phiên bản cộng đồng của phần mềm.
  2. Sau đó, cài đặt Visual Studio 2019, sau đó mở phần mềm. Khi mở, hãy chọn ô Phát triển máy tính để bàn với C++ và nhấn cài đặt.
Read more: Cải Thiện Giao Diện Người Dùng của ChatGPT: Những Đề Xuất Quan Trọng

Cài đặt phát triển máy tính để bàn với C++Cài đặt phát triển máy tính để bàn với C++

Khi bạn đã cài đặt Phát triển máy tính để bàn với C++, đã đến lúc tải xuống trình cài đặt một cú nhấp chuột của Text-Generation-WebUI.

Bước 2: Cài Đặt Text-Generation-WebUI

Trình cài đặt một cú nhấp chuột của Text-Generation-WebUI là một kịch bản tự động tạo các thư mục cần thiết và thiết lập môi trường Conda cùng tất cả các yêu cầu cần thiết để chạy một mô hình AI.

Để cài đặt kịch bản này, hãy tải xuống trình cài đặt một cú nhấp chuột bằng cách nhấp vào Code > Tải xuống ZIP.

Tải xuống: Trình cài đặt Text-Generation-WebUI (Miễn phí)

Read more: Bạn Có Thể Yêu Cầu Chuyến Đi Với Thú Cưng Trên Lyft Ngay Bây Giờ
  1. Sau khi tải xuống, giải nén tệp ZIP vào vị trí bạn muốn, sau đó mở thư mục đã giải nén.
  2. Trong thư mục, cuộn xuống và tìm chương trình khởi động phù hợp với hệ điều hành của bạn. Chạy các chương trình bằng cách nhấp đúp vào kịch bản phù hợp.
    • Nếu bạn đang sử dụng Windows, chọn tệp batch start_windows
    • Đối với MacOS, chọn kịch bản shell start_macos
    • Đối với Linux, kịch bản shell start_linux.
  3. Phần mềm diệt virus của bạn có thể tạo ra một cảnh báo; điều này không sao. Đây chỉ là một cảnh báo sai của phần mềm diệt virus khi chạy tệp batch hoặc kịch bản. Nhấp vào Chạy dù sao.
  4. Một cửa sổ terminal sẽ mở ra và bắt đầu cài đặt. Sớm thôi, cài đặt sẽ tạm dừng và hỏi bạn đang sử dụng GPU nào. Chọn loại GPU phù hợp đã được cài đặt trên máy tính của bạn và nhấn enter. Đối với những người không có card đồ họa chuyên dụng, chọn None (Tôi muốn chạy mô hình ở chế độ CPU). Lưu ý rằng việc chạy ở chế độ CPU sẽ chậm hơn nhiều so với việc chạy mô hình với một GPU chuyên dụng.

Chọn phần cứng GPU đã cài đặtChọn phần cứng GPU đã cài đặt

  1. Khi cài đặt hoàn tất, bạn có thể khởi chạy Text-Generation-WebUI trên máy tính cá nhân của mình. Bạn có thể làm điều này bằng cách mở trình duyệt web ưa thích của bạn và nhập địa chỉ IP được cung cấp trên URL.

Cách khởi chạy Text-Generation-WebUICách khởi chạy Text-Generation-WebUI

  1. Giao diện WebUI đã sẵn sàng để sử dụng.
Read more: Cách Nhận Biết Lừa Đảo Thanh Toán Phí Cầu Đường

Tuy nhiên, chương trình này chỉ là một trình tải mô hình. Hãy tải xuống Llama 2 để trình tải mô hình có thể khởi chạy.

Bước 3: Tải Xuống Mô Hình Llama 2

Có khá nhiều điều cần xem xét khi quyết định phiên bản nào của Llama 2 bạn cần. Những điều này bao gồm thông số, lượng tử hóa, tối ưu hóa phần cứng, kích thước và mục đích sử dụng. Tất cả thông tin này sẽ được ghi rõ trong tên mô hình.

  • Thông số: Số lượng thông số được sử dụng để huấn luyện mô hình. Thông số lớn hơn tạo ra mô hình có khả năng cao hơn nhưng với chi phí hiệu suất.
  • Mục đích sử dụng: Có thể là tiêu chuẩn hoặc chat. Mô hình chat được tối ưu hóa để sử dụng như một chatbot như ChatGPT, trong khi mô hình tiêu chuẩn là mô hình mặc định.
  • Tối ưu hóa phần cứng: Đề cập đến phần cứng nào chạy mô hình tốt nhất. GPTQ có nghĩa là mô hình được tối ưu hóa để chạy trên GPU chuyên dụng, trong khi GGML được tối ưu hóa để chạy trên CPU.
  • Lượng tử hóa: Chỉ ra độ chính xác của trọng số và kích hoạt trong một mô hình. Đối với việc suy luận, độ chính xác q4 là tối ưu.
  • Kích thước: Đề cập đến kích thước của mô hình cụ thể.

Lưu ý rằng một số mô hình có thể được sắp xếp khác nhau và thậm chí có thể không có cùng loại thông tin được hiển thị. Tuy nhiên, loại quy ước đặt tên này khá phổ biến trong thư viện mô hình của HuggingFace, vì vậy vẫn đáng để hiểu.

Quy ước đặt tên mô hình của HuggingFaceQuy ước đặt tên mô hình của HuggingFace

Read more: Tối Ưu Bảo Mật Trình Duyệt: Bí Quyết Bảo Vệ Quyền Riêng Tư Trực Tuyến

Trong ví dụ này, mô hình có thể được xác định là một mô hình Llama 2 kích thước trung bình được huấn luyện trên 13 tỷ thông số, được tối ưu hóa cho việc suy luận chat sử dụng CPU chuyên dụng.

Đối với những người sử dụng GPU chuyên dụng, hãy chọn mô hình GPTQ, trong khi đối với những người sử dụng CPU, hãy chọn GGML. Nếu bạn muốn trò chuyện với mô hình như bạn đã làm với ChatGPT, hãy chọn chat, nhưng nếu bạn muốn thử nghiệm với mô hình với toàn bộ khả năng của nó, hãy sử dụng mô hình tiêu chuẩn. Về thông số, hãy biết rằng việc sử dụng các mô hình lớn hơn sẽ cung cấp kết quả tốt hơn với chi phí hiệu suất. Tôi cá nhân khuyên bạn nên bắt đầu với mô hình 7B. Về lượng tử hóa, hãy sử dụng q4, vì nó chỉ dành cho việc suy luận.

Tải xuống: GGML (Miễn phí)

Tải xuống: GPTQ (Miễn phí)

Bây giờ bạn đã biết phiên bản nào của Llama 2 bạn cần, hãy tiến hành tải xuống mô hình bạn muốn.

Read more: ChatGPT Beta: Cách Thiết Lập ChatGPT Làm Trợ Lý Kỹ Thuật Số Mặc Định Trên Điện Thoại Android

Trong trường hợp của tôi, vì tôi đang chạy trên một ultrabook, tôi sẽ sử dụng một mô hình GGML được tinh chỉnh cho chat, llama-2-7b-chat-ggmlv3.q4_K_S.bin.

Sau khi tải xuống hoàn tất, hãy đặt mô hình vào text-generation-webui-main > models.

Đặt mô hình Llama 2 vào thư mục mô hìnhĐặt mô hình Llama 2 vào thư mục mô hình

Bây giờ bạn đã tải xuống mô hình và đặt nó vào thư mục mô hình, đã đến lúc cấu hình trình tải mô hình.

Bước 4: Cấu Hình Text-Generation-WebUI

Bây giờ, hãy bắt đầu giai đoạn cấu hình.

Read more: Những Lỗ Hổng Phần Mềm Nguy Hiểm Nhất
  1. Một lần nữa, mở Text-Generation-WebUI bằng cách chạy tệp start_(hệ điều hành của bạn) (xem các bước trước đây).
  2. Trên các tab nằm phía trên giao diện đồ họa, nhấp vào Model. Nhấp vào nút làm mới ở menu thả xuống mô hình và chọn mô hình của bạn.
  3. Bây giờ nhấp vào menu thả xuống của Trình tải mô hình và chọn AutoGPTQ cho những người sử dụng mô hình GTPQ và ctransformers cho những người sử dụng mô hình GGML. Cuối cùng, nhấp vào Load để tải mô hình của bạn.
  4. Để sử dụng mô hình, mở tab Chat và bắt đầu thử nghiệm mô hình.

Thử nghiệm Llama 2 trên máy tính cá nhânThử nghiệm Llama 2 trên máy tính cá nhân

Chúc mừng, bạn đã thành công trong việc tải Llama 2 lên máy tính cá nhân của mình!

1. Tại sao tôi nên cài đặt Llama 2 trên máy tính cá nhân thay vì sử dụng API?
Cài đặt Llama 2 trên máy tính cá nhân giúp bảo mật dữ liệu tốt hơn, cho phép tùy chỉnh và khả năng hoạt động offline, giảm sự phụ thuộc vào các công cụ AI của bên thứ ba.

Read more: Lợi Ích Của USB Live Linux: Giải Pháp Tối Ưu Cho Người Dùng

2. Tôi cần cài đặt gì để chạy Text-Generation-WebUI?
Bạn cần cài đặt Visual Studio 2019 Build Tool và tải xuống trình cài đặt một cú nhấp chuột của Text-Generation-WebUI.

3. Làm thế nào để chọn phiên bản Llama 2 phù hợp?
Bạn cần xem xét các yếu tố như thông số, mục đích sử dụng, tối ưu hóa phần cứng, lượng tử hóa và kích thước của mô hình.

4. Tôi có thể chạy Llama 2 trên CPU không?
Có, bạn có thể chạy Llama 2 trên CPU bằng cách sử dụng mô hình GGML, tuy nhiên hiệu suất sẽ chậm hơn so với việc sử dụng GPU.

5. Làm thế nào để bắt đầu sử dụng mô hình sau khi cài đặt?
Sau khi cài đặt và cấu hình, bạn có thể mở tab Chat trong Text-Generation-WebUI và bắt đầu thử nghiệm mô hình.

6. Tôi có thể tải xuống và sử dụng các mô hình khác ngoài Llama 2 không?
Có, bạn có thể tải xuống và sử dụng các mô hình ngôn ngữ lớn khác từ thư viện mô hình của HuggingFace, chỉ cần đảm bảo rằng chúng đã được lượng tử hóa.

7. Tại sao tôi nên sử dụng độ chính xác q4 cho việc suy luận?
Độ chính xác q4 là tối ưu cho việc suy luận vì nó cung cấp sự cân bằng tốt giữa hiệu suất và độ chính xác.

Tạp Chí Mobile

Tech

Thử Nghiệm Các Mô Hình Ngôn Ngữ Lớn Khác

Bây giờ bạn đã biết cách chạy Llama 2 trực tiếp trên máy tính của mình bằng cách sử dụng Text-Generation-WebUI, bạn cũng nên có thể chạy các mô hình ngôn ngữ lớn khác ngoài Llama. Chỉ cần nhớ các quy ước đặt tên của mô hình và rằng chỉ có các phiên bản mô hình đã được lượng tử hóa (thường là độ chính xác q4) mới có thể được tải lên các máy tính thông thường. Nhiều mô hình LLM đã được lượng tử hóa có sẵn trên HuggingFace. Nếu bạn muốn khám phá các mô hình khác, hãy tìm TheBloke trong thư viện mô hình của HuggingFace, và bạn sẽ tìm thấy nhiều mô hình có sẵn.

Share30Tweet19
admin

admin

Chuyên trang tin tức review về điện thoại di động, các sản phẩm công nghệ, game và thủ thuật.

Recommended For You

ChatGPT Jailbreaks: Tại Sao Chúng Đã Biến Mất?

by admin
July 10, 2025
0
Người đàn ông đang gõ máy tính xách tay

Trong thời gian đầu ra mắt, người dùng ChatGPT đã nỗ lực phá vỡ giới hạn của nó qua việc "jailbreaking". Những nỗ lực này đã mang lại...

Read moreDetails

Những Lỗ Hổng Phần Mềm Nguy Hiểm Nhất

by admin
July 10, 2025
0
Hình ảnh về màu xanh đậm

Trong thế giới công nghệ, mọi chương trình máy tính đều dựa vào mã nguồn để hoạt động. Tuy nhiên, những lỗi trong mã nguồn có thể dẫn...

Read moreDetails

Đánh Giá RTX 4090: Hiệu Suất Cao Nhưng Tiêu Thụ Năng Lượng Lớn

by admin
July 10, 2025
0
Hình ảnh hiển thị thống kê RTSS OSD trong Valorant

Trong bài viết này, chúng tôi sẽ cùng bạn khám phá những ưu và nhược điểm của card đồ họa RTX 4090, đặc biệt là về mặt hiệu...

Read moreDetails

Cải Thiện Giao Diện Người Dùng của ChatGPT: Những Đề Xuất Quan Trọng

by admin
July 10, 2025
0
Lồng ghép trong Backend của Blog WordPress

ChatGPT đã trở thành một công cụ không thể thiếu trong cuộc sống hàng ngày của nhiều người, từ việc lên kế hoạch tập luyện đến tìm kiếm...

Read moreDetails

Ví Ethereum: Hướng Dẫn Chi Tiết Cách Tạo Và Sử Dụng

by admin
July 10, 2025
0
Ví Brave trong trình duyệt

Việc lưu trữ Ethereum (ETH) một cách an toàn là điều cần thiết đối với bất kỳ ai tham gia vào thị trường tiền điện tử. Để chọn...

Read moreDetails
Next Post
Tạo máy ảo

Cách Cài Đặt và Sử Dụng Ứng Dụng Linux Trên Windows

Leave a Reply

Your email address will not be published. Required fields are marked *

Related News

Cài đặt Keyboard Manager trong PowerToys

Tăng Tốc Độ Gõ Phím Trên Windows Với Microsoft PowerToys

May 8, 2025
iPhone 16e mặt trước và mặt sau

Đánh Giá iPhone 16e: Tuyệt Vời Trên Giấy Nhưng Liệu Có Đáng Mua?

June 22, 2025
Tùy chọn Chèn Bảng trong Word

Hướng Dẫn Tạo và Tùy Chỉnh Bảng Trong Microsoft Word

July 4, 2025

Browse by Category

  • Android
  • Hướng Dẫn
  • Iphone
  • Mẹo
  • News
  • Security
  • Tech
  • Windows
Tạp Chí Mobile

Tạp Chí Mobile

Chuyên trang tin tức review về điện thoại di động, các sản phẩm công nghệ, game và thủ thuật.

CATEGORIES

  • Android
  • Hướng Dẫn
  • Iphone
  • Mẹo
  • News
  • Security
  • Tech
  • Windows

© 2025 Tapchimobile.org Chuyên trang thông tin công nghệ.

No Result
View All Result
  • Home
  • Iphone
  • Windows
  • Android
  • Tech
  • Security
  • Mẹo
  • Hướng Dẫn
  • Entertainment

© 2025 Tapchimobile.org Chuyên trang thông tin công nghệ.