Nanbeige4.3-33B: mô hình mở trọng số với ngữ cảnh 512K cho agent lập trình và công việc văn phòng

Nanbeige4.3-33B tập trung vào quy trình agent phải suy luận qua nhiều lượt, gọi công cụ và hoàn thành sản phẩm. Điểm số do nhà phát triển công bố ở tác vụ terminal, lập trình và tự động hóa văn phòng đáng chú ý, nhưng không có nghĩa mô hình dẫn đầu mọi mục hoặc dễ dàng chạy hết ngữ cảnh 512K trên GPU phổ thông.

Bài viết dựa trên thẻ mô hình và cấu hình chính thức có thể kiểm tra ngày 26/10/2026. Tất cả điểm dưới đây do nhà phát triển báo cáo, không phải phép thử độc lập của TboxIO. Các con số bộ nhớ là ước tính lý thuyết, không phải kết quả đo phần cứng.

Xây mô hình giáo viên trước, chưng cất sang mô hình nhỏ sau

Nanbeige4.3-33B là mô hình giáo viên chủ lực của dòng Nanbeige4.3. Hướng đi là xây năng lực agent lập trình và cộng tác chuyên môn mạnh trong nhóm khoảng 30B tham số, rồi chưng cất sang mô hình nhỏ hơn. Tài liệu nhắc tới Nanbeige4.3-3B trong tương lai; không nên hiểu rằng bản 3B đã được phát hành cùng đợt hoặc sẽ có điểm bằng bản 33B.

Trọng tâm vượt ra ngoài hỏi đáp: hiểu yêu cầu, xử lý kho mã, chạy công cụ, đọc phản hồi rồi chỉnh giải pháp. Đây là ứng viên cho nhóm muốn tự triển khai trợ lý lập trình hay văn phòng.

Hạng mục	Thông tin chính thức và cách hiểu
Mô hình	Nanbeige4.3-33B
Quy mô và cấu trúc	Khoảng 33B tham số, cấu hình dense LlamaForCausalLM
Ngữ cảnh tối đa	524,288 tokens, tức 512K
Trọng số công bố	BF16
Giấy phép	Apache 2.0
Trọng tâm	Agent lập trình, dùng công cụ, cộng tác chuyên môn
Ví dụ chạy chính thức	Transformers, SGLang, vLLM
Chế độ suy luận	Bật mặc định, có thể chỉnh qua mẫu hội thoại

Chi phí của mô hình dense 33B khác với MoE chỉ kích hoạt một phần chuyên gia ở mỗi token. Không nên ước lượng chúng như nhau. Giới hạn 512K nói về sức chứa ngữ cảnh, không bảo đảm chất lượng và tốc độ giữ nguyên ở mọi độ dài, tác vụ và phần cứng.

Điểm chuẩn: mạnh về agent nhưng có ngoại lệ rõ ràng

Nhà phát triển so sánh với Qwen3.8-27B, Muse-Glimmer-30B và Gemma4-31B. Theo thẻ mô hình, tất cả được chạy ở mức suy luận cao nhất; trong từng bài chuẩn dùng cùng siêu tham số suy luận và harness. Dưới đây là các điểm gốc tiêu biểu.

Bài chuẩn	Nanbeige4.3-33B	Qwen3.8-27B	Muse-Glimmer-30B	Gemma4-31B
Terminal-Bench 2.1	80.9	73.0	61.8	47.2
Terminal-Bench 4.0	23.8	6.3	1.6	0.0
DeepSWE	65.5	42.5	4.4	2.7
SWE-Bench Pro	60.3	61.7	36.9	51.2
SWE-Atlas-QnA	50.8	41.9	17.7	3.3
NL2Repo	53.0	48.3	27.4	33.8
SkillsBench	61.1	56.4	39.7	28.9
Automation Bench	54.2	38.3	15.2	9.7
JobBench	44.8	34.5	16.6	9.0
GDPval	84.8	86.4	75.8	71.4
Claw-Eval pass^3	78.3	75.2	57.3	44.2
Toolathlon-Verified	70.4	68.5	47.2	27.8
GPQA Diamond	89.5	89.2	83.5	91.3
AIME 2026	95.2	94.5	94.7	89.2
AA-LCR	84.0	82.0	83.3	72.0

• Terminal và lập trình nổi bật: cao hơn Qwen 7.9 điểm ở Terminal-Bench 2.1 và 23.0 ở DeepSWE. Tuy vậy, 23.8 ở Terminal-Bench 4.0 cũng cho thấy tác vụ khó vẫn còn nhiều khả năng thất bại.
• Tác vụ văn phòng đáng xem xét: chênh lệch là 15.9 điểm ở Automation Bench và 10.3 ở JobBench. Đây là kết quả trong quy trình đánh giá cụ thể, không phải tỷ lệ tự động hóa thành công của doanh nghiệp ngoài thực tế.
• Qwen vẫn dẫn ở một số mục: SWE-Bench Pro của Nanbeige là 60.3 so với 61.7; GDPval là 84.8 so với 86.4.
• Suy luận tổng quát không thắng toàn diện: GPQA Diamond đạt 89.5, nhỉnh hơn Qwen 89.2 nhưng thấp hơn Gemma4-31B 91.3. Chênh lệch 0.3 điểm không đủ để khẳng định lợi thế tổng thể ổn định.

Đây là chênh lệch trong cùng bảng, không phải tỷ lệ cải thiện so với Nanbeige đời trước. Thẻ được dẫn không có đối chiếu đầy đủ với thế hệ cũ dưới cùng điều kiện. Khi so với các bài DeepSeek, MiniMax, Kimi hoặc Raon của TboxIO, cũng phải khớp phiên bản bài chuẩn, harness agent và ngân sách suy luận.

Cần đọc điều kiện thử nghiệm cùng điểm số

Kết quả agent phụ thuộc cả công cụ, môi trường chạy, cách quản lý ngữ cảnh và số lần thử lại. Những chú thích chính thức quan trọng gồm:

1. Nanbeige được đánh giá với preserve_thinking=true. Nếu hệ thống tích hợp xóa suy luận của lượt trước, hành vi nhiều lượt có thể khác.
2. Terminal-Bench 2.1 dùng Terminus 2; Terminal-Bench 4 và DeepSWE dùng mini-swe-agent v2.4.6. Không gộp điểm khác phiên bản thành một bảng xếp hạng xuyên bài viết.
3. SWE-Atlas-QnA dùng mini-swe-agent v2.4.6, được GPT-6 Sol ở medium reasoning effort chấm theo 1,304 tiêu chí riêng cho tác vụ. NL2Repo dùng Claude Code; JobBench dùng harness Claude Code có công cụ tìm kiếm.
4. Automation Bench v1.0.6 gồm 600 tác vụ công khai. Claw-Eval chỉ dùng tập General với 157 tác vụ tương tác một lượt, chỉ số là pass^3; cần giữ nguyên giới hạn này.
5. GDPval dùng bộ tiêu chí sửa đổi nên 84.8 không phải Elo. Toolathlon-Verified không giới hạn max_tokens cho từng yêu cầu; so chi phí cần xét lượng token thực tế.

YC-bench được báo cáo ở mức 1,025,437 USD, nhưng đây là kết quả tính bằng đô la trong bài chuẩn. Nó không phải giá API, doanh thu thật hay cam kết thu nhập cho người dùng. Không nên lấy trung bình chung với các điểm dạng phần trăm.

Suy luận và gọi công cụ là hai thiết lập khác nhau

enable_thinking điều khiển việc tạo suy luận trong câu trả lời hiện tại. Nó bật mặc định và có thể đặt False để dùng chế độ không suy luận. preserve_thinking quyết định có giữ suy luận của các lượt trợ lý trước hay không. Nhà phát triển khuyên dùng False cho chat và hỏi đáp thông thường, True cho gọi công cụ nhiều lượt, công việc văn phòng và agent lập trình.

Định dạng công cụ được khuyến nghị là tool_call_format="xml"; json cũng được hỗ trợ để tương thích. Mẫu hội thoại, bộ phân tích lời gọi công cụ và cách lưu suy luận lịch sử cần khớp nhau. Chỉ thay tên mô hình không đồng nghĩa tái tạo thiết lập đánh giá chính thức.

Tình huống	Temperature	Top_p	Max New Tokens khuyến nghị
Agent và dùng công cụ	1.0	0.95	65,536
Suy luận và chat	0.6	0.95	262,144

Max New Tokens là ngân sách đầu ra, còn 512K là giới hạn ngữ cảnh. Đầu vào, suy luận được giữ lại, kết quả công cụ và đầu ra mới phải cùng nằm trong giới hạn hệ thống phục vụ. Mức trần lớn không có nghĩa mọi yêu cầu đều sinh ra chừng ấy token.

Triển khai: khoảng 66GB trọng số BF16, chưa tính cache

Danh sách tệp chính thức có tổng kích thước khoảng 66.3GB, cung cấp trọng số BF16 Safetensors. Với 33B tham số và 2 byte mỗi tham số, riêng trọng số đã khoảng 66GB theo hệ thập phân. KV cache, bộ đệm và chi phí framework còn phải cộng thêm. Kích thước kho không bằng tổng VRAM cần khi chạy.

Cấu hình chính thức có 52 lớp, 8 KV heads và head_dim 128. Nếu dùng BF16 KV cache thông thường cho một chuỗi đủ 524,288 token, tổng K và V cần khoảng 104GiB. Đây là phép tính lý thuyết từ cấu hình, không phải đo phần cứng của nhà phát triển. Độ chính xác cache, phân chia song song, offload và chiến lược runtime sẽ thay đổi mức dùng thực tế.

Vì vậy, hỗ trợ 512K không có nghĩa một GPU phổ thông có thể dễ dàng chạy toàn bộ ngữ cảnh. Lượng tử hóa có thể giảm bộ nhớ trọng số nhưng cần kiểm tra chất lượng chuyển đổi, tương thích và năng lực ngữ cảnh dài. Bài này không đo bản lượng tử hóa, hiệu năng Mac hoặc tốc độ token trên GPU phổ thông.

Ví dụ SGLang và vLLM chính thức dùng tensor parallelism 4 chiều, qwen3 reasoning parser và qwen3_coder tool-call parser. Đó là ví dụ, không phải số GPU tối thiểu cho mọi cách triển khai. Hãy thử dung lượng dựa trên chiều dài đầu vào, số yêu cầu đồng thời, độ trễ token đầu tiên và tốc độ đầu ra cần thiết.

Ai nên đánh giá?

Nhóm xây agent lập trình tự lưu trữ, quy trình văn phòng dùng công cụ hoặc nghiên cứu chưng cất giáo viên–học sinh có lý do để đưa vào danh sách ứng viên. Apache 2.0 tạo cơ sở cấp phép rõ ràng; phân phối vẫn phải tuân thủ điều khoản tương ứng.

Nếu ưu tiên chat hằng ngày, độ trễ thấp hoặc VRAM nhỏ, cần cân nhắc chi phí của dense 33B. Thẻ mô hình không đưa ra đơn giá API chính thức hay thử nghiệm thông lượng thống nhất để lập ngay ngân sách kinh doanh. Mở trọng số không loại bỏ chi phí GPU, lưu trữ và vận hành.

Nên bắt đầu với kho mã và tác vụ văn phòng đại diện ở quy mô nhỏ, ghi lại tỷ lệ hoàn thành, lỗi công cụ, token sử dụng, độ trễ và số lần con người phải sửa. Công cụ thay đổi tệp hoặc thao tác hệ thống kinh doanh có thể được thử trước trong môi trường tách biệt.

Đánh giá của TboxIO: điểm hấp dẫn là năng lực agent lập trình và văn phòng mạnh trong một mô hình 33B có thể tự triển khai. Kết quả chính thức đủ để xem xét thử nghiệm, chưa đủ để kết luận mạnh nhất mọi việc hay luôn rẻ hơn khi vận hành.

Nguồn tham khảo

• Thẻ mô hình chính thức: định vị, điểm, chú thích và hướng dẫn chạy
• config.json chính thức: kiến trúc, số lớp, KV heads và ngữ cảnh
• Danh sách tệp chính thức: trọng số BF16 và kích thước