Anthropic chia sẻ 3 chỉ số mới giúp các công ty AI theo dõi tốc độ phát triển

Cuộc đua phát triển trí tuệ nhân tạo đang bước vào giai đoạn mà tốc độ cải thiện năng lực của các mô hình ngày càng trở thành vấn đề được quan tâm. Không chỉ các công ty công nghệ, giới nghiên cứu mà cả các nhà hoạch định chính sách cũng đặt câu hỏi về việc làm thế nào để xã hội có thể theo dõi tốc độ phát triển của AI một cách khách quan hơn.

Trong bối cảnh đó, Anthropic đã công bố ba chỉ số mới mà công ty cho rằng có thể giúp các phòng thí nghiệm AI theo dõi và minh bạch hóa tốc độ phát triển công nghệ.

Động thái này được đưa ra chỉ vài ngày sau khi Dario Amodei, CEO Anthropic, công bố một bài luận kêu gọi ngành công nghiệp AI phối hợp để giảm tốc độ phát triển trong một số lĩnh vực, đặc biệt khi khả năng của các hệ thống AI ngày càng tăng nhanh.

Theo Anthropic, công ty đã tiến hành đo lường hoạt động nghiên cứu và phát triển có sự tham gia của AI, khả năng giám sát các tác nhân AI cũng như cách doanh nghiệp phân bổ nguồn lực tính toán. Anthropic đồng thời chia sẻ phương pháp luận với hy vọng những tổ chức khác có thể áp dụng hoặc phát triển các phương pháp tương tự.

Vì sao Anthropic muốn đo tốc độ phát triển AI?

Một trong những vấn đề lớn của ngành AI hiện nay là công chúng bên ngoài các phòng thí nghiệm thường khó biết chính xác các hệ thống AI đang được cải thiện với tốc độ như thế nào.

Các bài kiểm tra năng lực truyền thống thường tập trung vào câu hỏi: một mô hình AI có thể làm được gì?

Tuy nhiên, theo Anthropic, chỉ đánh giá năng lực cuối cùng của mô hình là chưa đủ. Cần có thêm những chỉ số cho biết cách mô hình được xây dựng, AI tham gia bao nhiêu vào quá trình nghiên cứu và bao nhiêu nguồn lực tính toán đang được sử dụng cho những mục tiêu khác nhau.

Trong một bài đăng trên blog, Anthropic cho rằng khi thế giới đang xem xét cách dẫn đầu và quản lý lĩnh vực AI, cần thu hẹp khoảng cách giữa những gì các phòng thí nghiệm tiên tiến biết và những gì công chúng biết.

Công ty cho rằng việc đo lường tốc độ phát triển AI tốt hơn, công khai các số liệu và tạo điều kiện để xã hội tiếp cận thông tin sẽ giúp quá trình thảo luận về tương lai của công nghệ này có thêm cơ sở thực tế.

Chỉ số đầu tiên: AI tham gia vào nghiên cứu và phát triển đến đâu?

Chỉ số đầu tiên mà Anthropic công bố tập trung vào mức độ AI tham gia vào hoạt động nghiên cứu và phát triển (R&D).

Theo kết quả được Anthropic chia sẻ, các mô hình Claude của công ty không hoạt động hoàn toàn tự động đối với bất kỳ phần nào trong công việc nghiên cứu và phát triển mà Anthropic đo lường.

Điều này có ý nghĩa đáng chú ý bởi một trong những câu hỏi lớn đối với ngành AI là liệu các mô hình hiện tại có thể tự tiến hành các chu trình nghiên cứu phức tạp hay chưa.

Có thể hình dung quá trình phát triển AI truyền thống gồm nhiều bước: con người đưa ra giả thuyết, thiết kế thí nghiệm, viết mã, chạy thử nghiệm, phân tích kết quả và quyết định bước tiếp theo.

Khi AI ngày càng có khả năng đảm nhiệm nhiều công đoạn, một hệ thống có thể chuyển từ vai trò “công cụ hỗ trợ” sang trở thành một thành phần trực tiếp trong quá trình R&D.

Do đó, việc xác định mức độ tự động hóa của AI có thể trở thành một thước đo quan trọng để đánh giá tốc độ phát triển của các phòng thí nghiệm AI.

Anthropic cho rằng chỉ số này nên được theo dõi theo thời gian, bởi tỷ lệ công việc do AI đảm nhiệm có thể thay đổi nhanh chóng khi các mô hình mới xuất hiện.

Chỉ số thứ hai: Theo dõi số lượng và hoạt động của các tác nhân AI

Chỉ số thứ hai liên quan đến các tác nhân AI (AI agents) và hệ thống giám sát được sử dụng để theo dõi, can thiệp vào những hành động do các tác nhân này thực hiện.

Theo Anthropic, công ty đã xây dựng một hệ thống để giám sát và can thiệp vào hoạt động của các tác nhân AI.

Kết quả cho thấy có khoảng 30.000 tác nhân AI đang thực hiện các công việc nghiên cứu và kỹ thuật trên nền tảng nội bộ được sử dụng nhiều nhất của Anthropic tại bất kỳ thời điểm nào.

Con số này cho thấy cách sử dụng AI trong các phòng thí nghiệm đang thay đổi. Thay vì chỉ có một mô hình trả lời từng câu hỏi riêng lẻ, các tác nhân AI có thể được triển khai để thực hiện những chuỗi công việc kéo dài hơn, phối hợp nhiều bước và tương tác với các công cụ khác.

Đây cũng là lý do vấn đề giám sát trở nên quan trọng.

Khi số lượng tác nhân tăng lên, việc kiểm soát từng hành động bằng phương pháp thủ công có thể trở nên khó khăn. Các công ty AI vì vậy cần những hệ thống có khả năng theo dõi hoạt động của tác nhân, phát hiện hành vi bất thường và can thiệp khi cần thiết.

Anthropic cho rằng việc đo lường quy mô sử dụng tác nhân AI có thể giúp bên ngoài phòng thí nghiệm hiểu rõ hơn mức độ AI đang được sử dụng trong quá trình xây dựng các hệ thống AI mới.

Chỉ số thứ ba: AI đang sử dụng bao nhiêu năng lực tính toán?

Chỉ số thứ ba tập trung vào năng lực tính toán (compute), một trong những nguồn lực quan trọng nhất đối với việc huấn luyện, phát triển và vận hành các mô hình AI hiện đại.

Anthropic cho biết công ty đã đo lường “bức tranh tổng quan” về cách sử dụng toàn bộ nguồn lực tính toán trong khoảng thời gian từ ngày 13 đến ngày 20 tháng 7.

Theo số liệu được công bố, khoảng 6% tài nguyên tính toán dành cho hoạt động nghiên cứu và phát triển AI được phân bổ cho mục đích an toàn.

Trong khi đó, nếu chỉ xét phần tài nguyên tính toán dành cho hoạt động nghiên cứu và phát triển “dựa trên AI”, khoảng 12% được dành cho mục đích an toàn, theo Anthropic.

Những con số này cung cấp một góc nhìn khác về cách các phòng thí nghiệm AI phân bổ nguồn lực.

Năng lực tính toán không chỉ được sử dụng để tạo ra các mô hình mạnh hơn. Một phần tài nguyên có thể được dành cho việc kiểm tra, đánh giá, nghiên cứu an toàn, giám sát và xây dựng những phương pháp nhằm hạn chế rủi ro từ hệ thống AI.

Việc công khai tỷ lệ phân bổ có thể giúp các bên bên ngoài phòng thí nghiệm có thêm dữ liệu để đánh giá mức độ ưu tiên dành cho an toàn AI.

Ba chỉ số gắn với lời kêu gọi giảm tốc của Dario Amodei

Việc Anthropic công bố các chỉ số mới diễn ra trong thời điểm đặc biệt đáng chú ý.

Trước đó, CEO Dario Amodei đã đưa ra kế hoạch gồm ba bước nhằm kêu gọi ngành AI phối hợp để làm chậm lại tốc độ phát triển trong một số lĩnh vực.

Amodei cho rằng mục tiêu không phải là từ bỏ lợi thế thương mại hay vị thế dẫn đầu của Mỹ trong lĩnh vực AI. Thay vào đó, ông nhấn mạnh việc kiểm soát tốc độ cải thiện năng lực của các mô hình trong bối cảnh những cảnh báo về rủi ro AI ngày càng được quan tâm.

Lời kêu gọi này cũng nhận được sự ủng hộ từ một số lãnh đạo trong ngành, trong đó có CEO Sam Altman của OpenAI.

Ba chỉ số mà Anthropic vừa công bố có thể được xem như một bước cụ thể hóa vấn đề vốn trước đó còn tương đối trừu tượng: làm thế nào để biết tốc độ phát triển AI đang nhanh đến mức nào?

Thay vì chỉ nói về tốc độ phát triển trên phương diện lý thuyết, các công ty có thể theo dõi mức độ tự động hóa trong R&D, số lượng tác nhân AI đang hoạt động và lượng tài nguyên tính toán được sử dụng.

Từ đánh giá năng lực sang đánh giá quá trình phát triển

Anthropic nhấn mạnh rằng ba chỉ số này không nhằm thay thế các bài kiểm tra năng lực AI.

Các bài đánh giá năng lực vẫn đóng vai trò quan trọng vì chúng cho biết một mô hình có thể thực hiện những nhiệm vụ nào.

Tuy nhiên, các chỉ số về quá trình phát triển cung cấp một lớp thông tin khác.

Ví dụ, hai phòng thí nghiệm có thể tạo ra những mô hình có năng lực tương đương tại một thời điểm nhất định nhưng sử dụng lượng tài nguyên tính toán, mức độ tự động hóa R&D và số lượng tác nhân AI rất khác nhau.

Nếu chỉ nhìn vào kết quả cuối cùng, những khác biệt này có thể không được thể hiện.

Ngược lại, việc kết hợp đánh giá năng lực với các chỉ số về quá trình xây dựng mô hình có thể giúp tạo ra bức tranh toàn diện hơn về tốc độ phát triển của AI.

Anthropic cho rằng các chỉ số này đặc biệt hữu ích nếu được nhiều phòng thí nghiệm cùng áp dụng theo những phương pháp tương đồng. Khi đó, bên thứ ba có thể có một “điểm khởi đầu” để theo dõi tốc độ phát triển AI thay vì chỉ dựa vào những tuyên bố riêng lẻ của từng công ty.

Minh bạch có thể trở thành một phần quan trọng của ngành AI

Một trong những thông điệp đáng chú ý nhất trong động thái của Anthropic là vấn đề minh bạch.

Công ty cho biết họ muốn tiếp tục công bố những số liệu này để thu hẹp khoảng cách thông tin giữa các phòng thí nghiệm AI tiên tiến và xã hội.

Điều này đặc biệt quan trọng trong bối cảnh AI đang được triển khai ngày càng rộng rãi trong nghiên cứu khoa học, lập trình, doanh nghiệp, giáo dục và nhiều lĩnh vực khác.

Khi công nghệ thay đổi nhanh, xã hội không chỉ cần biết AI có khả năng gì mà còn cần hiểu tốc độ thay đổi của những khả năng đó.

Các chỉ số định lượng có thể giúp cuộc thảo luận về AI chuyển từ những dự đoán chung sang những dữ liệu cụ thể hơn. Tuy nhiên, việc áp dụng chúng giữa các công ty vẫn cần sự thống nhất về định nghĩa, phạm vi đo lường và cách báo cáo.

Anthropic muốn tạo một chuẩn đo lường mới cho ngành AI?

Việc Anthropic công bố phương pháp luận cho thấy công ty đang hướng tới một cách tiếp cận dựa nhiều hơn vào dữ liệu khi thảo luận về tốc độ phát triển AI.

Ba chỉ số chưa phải là một hệ thống tiêu chuẩn chung cho toàn ngành. Tuy nhiên, nếu nhiều phòng thí nghiệm AI áp dụng những cách đo tương tự và thường xuyên công khai kết quả, dữ liệu thu được có thể giúp xã hội theo dõi những thay đổi trong ngành rõ ràng hơn.

Trong giai đoạn AI ngày càng có khả năng tham gia trực tiếp vào quá trình tạo ra những thế hệ AI tiếp theo, việc đo lường chính xác mức độ tự động hóa, quy mô tác nhân và năng lực tính toán có thể trở thành một phần quan trọng trong các cuộc thảo luận về an toàn và quản trị AI.

Anthropic cho biết công ty kỳ vọng việc công bố các số liệu sẽ thể hiện sự minh bạch và sẽ tiếp tục thực hiện điều này trong thời gian tới.

Với tốc độ phát triển nhanh của trí tuệ nhân tạo, câu hỏi không còn chỉ là AI có thể làm được gì, mà ngày càng trở thành AI đang tiến bộ nhanh đến mức nào, được xây dựng bằng bao nhiêu nguồn lực và con người đang kiểm soát quá trình đó ra sao.

Đó cũng chính là khoảng trống mà ba chỉ số mới của Anthropic đang cố gắng cung cấp thêm dữ liệu để theo dõi.

Những câu hỏi thường gặp về 3 chỉ số AI của Anthropic

Anthropic công bố bao nhiêu chỉ số để theo dõi tốc độ phát triển AI?

Anthropic công bố ba nhóm chỉ số chính: mức độ AI tham gia vào hoạt động nghiên cứu và phát triển, việc giám sát các tác nhân AI và cách phân bổ năng lực tính toán.

Anthropic có bao nhiêu tác nhân AI đang thực hiện công việc nghiên cứu và kỹ thuật?

Theo số liệu Anthropic chia sẻ, khoảng 30.000 tác nhân AI đang thực hiện công việc nghiên cứu và kỹ thuật trên nền tảng nội bộ được sử dụng nhiều nhất của công ty tại bất kỳ thời điểm nào.

Bao nhiêu tài nguyên tính toán được Anthropic dành cho an toàn AI?

Trong khoảng thời gian từ ngày 13 đến ngày 20 tháng 7 được Anthropic đo lường, khoảng 6% tổng tài nguyên tính toán dành cho R&D AI được phân bổ cho mục đích an toàn. Đối với phần R&D “dựa trên AI”, tỷ lệ này là khoảng 12%.

Các chỉ số này có thay thế bài kiểm tra năng lực AI không?

Không. Anthropic cho rằng các chỉ số về quá trình phát triển nên bổ sung cho các đánh giá năng lực. Bài kiểm tra năng lực cho biết mô hình có thể làm gì, trong khi các chỉ số mới tập trung nhiều hơn vào cách thức và nguồn lực được sử dụng để xây dựng mô hình.

Vì sao việc đo tốc độ phát triển AI lại quan trọng?

Tốc độ phát triển có liên quan đến khả năng xã hội theo kịp những thay đổi của công nghệ. Việc có thêm dữ liệu về mức độ tự động hóa R&D, hoạt động của tác nhân AI và sử dụng năng lực tính toán có thể giúp các nhà nghiên cứu, doanh nghiệp và bên hoạch định chính sách hiểu rõ hơn về quá trình phát triển của AI.

Anthropic muốn tạo một chuẩn đo lường mới cho ngành AI?

Việc Anthropic công bố phương pháp luận cho thấy công ty đang hướng tới một cách tiếp cận dựa nhiều hơn vào dữ liệu khi thảo luận về tốc độ phát triển AI.