Nghiên cứu: Kết quả AI thế hệ phụ thuộc vào lời nhắc của ty le keo pro dùng nhiều như các mô hình

Khi các hệ thống trí tuệ nhân tạo thế hệ cải thiện, một giả định tự nhiên là các mô hình ngôn ngữ lớn tốt hơn sẽ dẫn đến kết quả tốt hơn. Nhưng nghiên cứu mới từ một số chi nhánh của MIT Sloan cho thấy những tiến bộ của LLM chỉ là một phần của câu chuyện. 

Trong một thử nghiệm quy mô lớn, các nhà nghiên cứu phát hiện ra rằng chỉ một nửa số lợi ích hiệu suất được thấy sau khi chuyển sang mô hình nâng cao AI hơn đến từ chính mô hình. 

Nửa còn lại xuất phát từ cách ty le keo pro dùng điều chỉnh lời nhắc của họ - nghĩa là các hướng dẫn bằng văn bản cho mô hình AI phải làm gì - để tận dụng hệ thống mới.

Cái nhìn sâu sắc đơn giản nhưng mạnh mẽ mà sự thích ứng của ty le keo pro dùng đóng góp nhiều cho hiệu suất như mô hình nâng cấp chính nó làm nổi bật một thực tế quan trọng cho các doanh nghiệp: đầu tư vào các công cụ AI mới giành được giá trị dự kiến của họ trừ khi nhân viên cũng tinh chỉnh cách họ sử dụng chúng. Trong trường hợp này, nhắc nhở là một kỹ năng có thể học được mà mọi ty le keo pro có thể cải thiện nhanh chóng, ngay cả khi không có hướng dẫn.

ty le keo pro dân thường cho rằng kết quả tốt hơn chủ yếu đến từ các mô hình tốt hơn, giáo sư Trợ lý Đại học Columbia cho biếtDavid Holtz, SM Tiết18, Phd Tiết21, một chi nhánh nghiên cứu tạiSáng kiến MIT về nền kinh tế kỹ thuật sốvà một trong những đồng tác giả nghiên cứu.Sự thật rằng gần một nửa sự cải thiện đến từ hành vi của ty le keo pro dùng thực sự thách thức niềm tin đó. 

Lời nhắc tốt hơn, các mô hình cải tiến tăng hiệu suất

Trong thử nghiệm, gần 1.900 ty le keo pro tham gia được chỉ định ngẫu nhiên cho một trong ba phiên bản của hệ thống tạo hình ảnh OpenaiTHER Dall-E: Dall-E 2, Dall-E 3 hoặc Dall-E 3 nâng cao hơn.  

ty le keo pro tham gia được hiển thị một hình ảnh tham chiếu-chẳng hạn như ảnh, thiết kế đồ họa hoặc tác phẩm nghệ thuật-và được yêu cầu tạo lại nó bằng cách gõ các hướng dẫn vào AI. Họ đã có 25 phút để gửi ít nhất 10 lời nhắc và họ được thông báo rằng 20% ty le keo pro biểu diễn hàng đầu sẽ nhận được khoản thanh toán tiền thưởng, điều này thúc đẩy họ kiểm tra và cải thiện hướng dẫn của họ. 

Các nhà nghiên cứu đã tìm thấy như sau:

• Participants who used the baseline version of DALL-E 3 produced images that were more similar to the target image than were those the DALL-E 2 users generated.
• ty le keo pro tham gia sử dụng phiên bản cơ bản của Dall-E 3 đã viết lời nhắc dài hơn 24% so với ty le keo pro dùng Dall-E 2. Những lời nhắc đó cũng có xu hướng giống nhau hơn và chứa nhiều từ mô tả hơn.
• Khoảng một nửa số cải thiện về độ tương tự hình ảnh đến từ mô hình được cải thiện, trong khi nửa còn lại đến từ cách ty le keo pro dùng điều chỉnh lời nhắc của họ để tận dụng các mô hình được cải thiện. 

Trong khi nghiên cứu này xem xét tạo hình ảnh, các nhà nghiên cứu nghĩ rằng mô hình tương tự cũng sẽ áp dụng cho các nhiệm vụ khác, chẳng hạn như viết và mã hóa. 

Nhắc là về giao tiếp, không mã hóa

Nghiên cứu cho thấy khả năng điều chỉnh lời nhắc theo thời gian không giới hạn ở ty le keo pro dùng am hiểu công nghệ. 

ty le keo pro dân thường nghĩ rằng bạn cần phải là một kỹ sư phần mềm để nhắc nhở tốt và được hưởng lợi từ AI, ông Holtz Holtz nói. Tuy nhiên, những ty le keo pro tham gia của chúng tôi đến từ nhiều công việc, trình độ học vấn và nhóm tuổi - và ngay cả những ty le keo pro không có nền tảng kỹ thuật cũng có thể tận dụng tối đa các khả năng của mô hình mới.

Dữ liệu cho thấy rằng việc nhắc nhở nhiều hơn về giao tiếp hơn là mã hóa. Các kỹ sư phần mềm Prompters giỏi nhất của ty le keo pro sói, ông Holtz Holtz nói. Họ là những ty le keo pro biết cách thể hiện ý tưởng rõ ràng bằng ngôn ngữ hàng ngày, không nhất thiết phải ở mã.

Khả năng truy cập đó cũng có thể giúp giảm khoảng cách hiệu suất giữa ty le keo pro dùng với các cấp độ kỹ năng và kinh nghiệm khác nhau. Trợ lý Giáo sư Đại học MarylandEaman Jahani, Phd xông22, một thành viên kỹ thuật số tại Sáng kiến MIT về nền kinh tế kỹ thuật số và đồng tác giả nghiên cứu,lưu ý rằng AI tổng quát có khả năng thu hẹp khoảng cách hiệu suất giữa ty le keo pro dùng. 

Những ty le keo pro bắt đầu ở mức thấp hơn của thang đo [hiệu suất] có lợi nhất, điều đó có nghĩa là sự khác biệt về kết quả trở nên nhỏ hơn, theo Jah Jahani. Những tiến bộ của mô hình thực sự có thể giúp giảm bất bình đẳng trong đầu ra.

Jahani chỉ ra rằng các phát hiện của nhóm nhóm áp dụng cho các nhiệm vụ có kết quả rõ ràng, có thể đo lường được, trong đó có giới hạn trên về những gì được tính là kết quả tốt. Nó không rõ ràng, ông lưu ý, liệu cùng một mô hình sẽ nắm giữ các nhiệm vụ kết thúc mở hơn mà không có một câu trả lời đúng nào và với các khoản thanh toán lớn có khả năng, chẳng hạn như đưa ra những ý tưởng mới biến đổi.  

Viết lại lời nhắc bằng cách sử dụng AI tổng thể dẫn đến hiệu suất tồi tệ hơn

Một trong những kết quả đáng ngạc nhiên hơn đến từ nhóm đã sử dụng Dall-E 3 với AI tổng quát viết lại lời nhắc của họ. Mặc dù tính năng này được thiết kế để giúp ty le keo pro dùng, nhưng nó đã phản tác dụng, làm giảm hiệu suất trong nhiệm vụ tạo hình ảnh 58% so với nhóm Dall-E 3 cơ sở.

Nhóm phát hiện ra rằng các bản viết lại tự động thường thêm chi tiết bổ sung hoặc thay đổi ý nghĩa của những gì ty le keo pro dùng đang cố gắng nói, dẫn AI tạo ra loại hình ảnh sai.

“[Automatic prompt rewriting] just doesn’t work well for a task like this, where the goal is to match a target image as closely as possible,” Holtz said. “More importantly, it shows how AI systems can break down when designers make assumptions about how people will use them. If you hard-code hidden instructions into the tool, they can easily conflict with what the user is actually trying to do.”

Dẫn đầu tổ chức điều khiển AI

ty le keo pro trực tiếp tại MIT Sloan

Đăng ký ngay

Làm thế nào doanh nghiệp có thể mở khóa giá trị trong AI

Takeaway là ngoài việc chọn mô hình AI Right AI, các nhà lãnh đạo doanh nghiệp cũng nên tập trung vào việc kích hoạt đúng loại học tập và thử nghiệm của ty le keo pro dùng. Nhắc không phải là một kỹ năng cắm và chơi, Jahani nói. Các công ty cần phải liên tục đầu tư vào nguồn nhân lực của họ, ông nói. ty le keo pro dân cần phải bị cuốn vào những công nghệ này và biết cách sử dụng chúng tốt.

To build on the gains enabled by generative AI, the researchers offer several priorities for business leaders looking to make AI systems more effective in real-world settings:

• Đầu tư vào đào tạo và thử nghiệm.nâng cấp kỹ thuật là không đủ. Dành thời gian cho nhân viên và hỗ trợ để tinh chỉnh cách họ tương tác với các hệ thống AI là điều cần thiết để hiện thực hóa mức tăng hiệu suất đầy đủ.
   
• Thiết kế để lặp. Giao diện khuyến khích ty le keo pro dùng kiểm tra, sửa đổi và tìm hiểu - và hiển thị kết quả rõ ràng - giúp thúc đẩy kết quả tốt hơn theo thời gian.
   
• Hãy thận trọng với tự động hóa.Viết lại lời nhắc tự động có thể thuận tiện, nhưng nếu nó che khuất hoặc ghi đè ý định của ty le keo pro dùng, nó có thể cản trở hiệu suất thay vì cải thiện nó.

Bài báo cũng được đồng tác giả bởi các sinh viên tiến sĩ MIT SloanBenjamin S. Manning, SM Tiết24;Hong-yi Tuye,SM Tiết23; VàMohammed Alsobay,xông16, SM ,24; cũng như sinh viên tiến sĩ của Đại học StanfordJoe Zhang, Nhà khoa học xã hội tính toán MicrosoftSiddharth Suri,và Giáo sư Trợ lý Đại học SípChristos Nicolaides, SM xông11, Tiến sĩ14.