Để giúp cải thiện độ chính xác của ty le keo wap thế hệ, thêm va chạm tốc độ

Đối với tất cả sự nhiệt tình về trí tuệ nhân tạo thế hệ, có mối quan tâm chính đáng về khả năng thiên vị hoặc không chính xác, ngay cả với một số mức độ can thiệp của con người.

Những mối quan tâm này khuếch đại khi công nghệ trở nên dễ tiếp cận hơn và sử dụng các trường hợp sinh sôi nảy nở. Trong một trường hợp, A2023 Phân tíchof more than 5,000 images produced by Stable Diffusion based on job title- and crime-related prompts found that the generative ty le keo wap tool significantly amplified gender and racial stereotypes. More recently, OpenAI’s ChatGPT and Microsoft’s Copilot chatbotsđã được tìm thấy để sản xuấtDữ liệu bịa đặt (đôi khi được gọi là ảo giác) dường như là xác thực. 

Giữ một con người trong vòng lặp là một cách tiếp cận rộng rãi để giám sát ty le keo wap với hy vọng duy trì niềm tin và giảm thiểu rủi ro. Nhưng hầu hết mọi người đều giỏi nhận ra các lỗi như họ nghĩ và có xu hướngneo trênNội dung do ty le keo wap tạo ra ngay cả khi họ biết có khả năng xảy ra lỗiRenée Richardson Gosline. 

“It’s hard to put the genie back in the bottle,” said Gosline, theNhóm ty le keo wap đầu tiên của con ngườiTrưởng nhóm nghiên cứu tại Sáng kiến MIT về nền kinh tế kỹ thuật số. Nhưng khi bạn nói về hàng nghìn tỷ đô la được đầu tư, tác động tiềm tàng đối với sinh kế của mọi người, và quy mô và sự phổ biến của lỗi và sai lệch tiềm năng, đó là một động lực để có một cái nhìn khó khăn về những gì xảy ra.

Thông thường, mọi người thiết kế trải nghiệm kỹ thuật số được siêu miệt thị trong việc giảm ma sát để giúp việc làm mọi việc dễ dàng hơn. Gosline đã hợp tác với một nhóm tại Accdvisor để kiểm tra áp lực lý thuyết của cô ấy về việc kiểm toán các hệ thống ty le keo wap cho các điểm tiếp xúc trong đó giới thiệu đúng loại củaMa sát được nhắm mục tiêu,” or beneficial friction — described as cognitive and procedural speed bumps — in ty le keo wap workflows can improve overall accuracy and reduce uncritical adoption. 

The researchers found that friction should not be universally viewed as bad in the context of ty le keo wap but rather can serve as a deliberate tool for promoting more responsible and successful generative ty le keo wap use.

Ma sát là một cách tiếp cận chu đáo hơn để vượt ra ngoài các chương trình thí điểm và nhận được giá trị và quy mô mà bạn mong đợi từ việc áp dụng công nghệ, ông nóiArnab Chakraborty

Học viện điều hành ty le keo wap

Người trực tiếp tại MIT Sloan

Đăng ký ngay

Một trường hợp thử nghiệm cho ma sát có lợi

Trong trường hợp sử dụng thử nghiệm của MIT và Accergure, ma sát được nhắm mục tiêu đã được thêm vào đầu ra mô hình ngôn ngữ lớn để làm gián đoạn bản chất tự động của sự tham gia của ty le keo wap. Mục tiêu là khuyến khích người dùng tham gia vào một cách tiếp cận có ý thức và có chủ ý hơn để xử lý nhận thức, được gọi làSystem 2 Suy nghĩ, khi thực hiện các tác vụ hỗ trợ ty le keo wap thế hệ, mà không làm chậm đáng kể hoặc tăng cường quá trình từ đầu đến cuối. 

Những người tham gia nghiên cứu được yêu cầu sử dụng ty le keo wap tổng quát để tạo ra một cặp tóm tắt điều hành hồ sơ công ty trong khung thời gian 70 giờ, bao gồm tham chiếu các nguồn có sẵn. Những người tham gia đã sử dụng một công cụ thử nghiệm được thiết kế để tăng cường cho mọi người sử dụng ty le keo wap tổng quát bằng cách thúc đẩy người dùng chú ý đến các lỗi và thiếu sót tiềm năng trong nội dung LLM. Công cụ được sử dụng làm nổi bật để truyền tải thông tin khác nhau dựa trên màu sắc, do đó yêu cầu người dùng thực hiện một số xử lý nhận thức thay vì áp dụng một cách không chính thức đầu ra ty le keo wap tổng quát. 

Các thuật ngữ phù hợp với màu tím được sử dụng trong dấu nhắc cũng như cơ sở dữ liệu nội bộ và thông tin công khai. Văn bản nổi bật màu cam chỉ ra các câu không đúng sự thật cần được xem xét để loại bỏ hoặc thay thế. Văn bản bao gồm trong lời nhắc nhưng được bỏ qua từ đầu ra xuất hiện trong màu xanh bên dưới phản hồi được tạo. 

Participants were randomly assigned to one of three conditions, each of which injected varying levels of speed bumps in the form of highlighting.

• Điều kiện ma sát đầy đủ áp đặt cả ba loại tô sáng trên nội dung được tạo.
• Điều kiện ma sát trung bình chứa hai loại tô sáng trên nội dung được tạo.
• The no-friction control condition contained no highlighting at all, reflecting the current generative ty le keo wap user experience.

Sau đó, các nhà nghiên cứu đã phân tích kết quả, so sánh số lượng không chính xác và thiếu sót mà người dùng tìm thấy trong văn bản do ty le keo wap tạo và thời gian dành cho nhiệm vụ. 

Các nhà nghiên cứu phát hiện ra rằng điều kiện ma sát trung bình đã đẩy người dùng xem xét kỹ lưỡng hơn văn bản tạo ra để bắt không chính xác và thiếu sót, mà không phải là một lực cản đáng kể vào thời gian hoàn thành một nhiệm vụ. Giới thiệu mức độ ma sát vừa phải dưới dạng hai loại làm nổi bật đã tạo ra sự cân bằng tối ưu giữa độ chính xác và hiệu quả, các nhà nghiên cứu đã kết luận.

Công cụ ty le keo wap ty le keo wap cho phép chúng tôi thực hiện các quy trình hệ thống 2 kéo dài, như viết và chỉnh sửa, và biến chúng thành các quy trình System 1 siêu nhanh và trực quan, theo Gosline, lưu ý rằng sự thay đổi này có thể dẫn đến lỗi. Chúng tôi muốn đẩy lùi ý tưởng rằng ty le keo wap nên được sử dụng để biến mọi thứ thành các quy trình của Hệ thống 1. Chúng tôi muốn sử dụng các mô hình để cạo thời gian nghỉ làm, nhưng chúng tôi không muốn để người dùng mở ra rủi ro. 

Đưa lý thuyết vào hành động

Ngoài sự hợp tác thử nghiệm với MIT, Accdvisor đang đưa khái niệm ma sát có lợi vào hành động với các quy trình kinh doanh liên quan đến ty le keo wap của riêng mình. Công ty có một cách tiếp cận rất có chủ ý, dựa trên rủi ro đối với ty le keo wap, Chakraborty nói. Khi một chủ sở hữu dự án ty le keo wap bắt đầu một công việc liên quan đến ty le keo wap, họ được yêu cầu trả lời bốn câu hỏi để giúp xác định mức độ rủi ro của nỗ lực. Hướng dẫn và thực tiễn tốt nhất được cung cấp, và các dự án được gắn cờ vì rủi ro cao hơn tự động kích hoạt các quy trình bổ sung và các bước giám sát được thiết kế để đánh giá các vấn đề và thách thức tiềm năng trên đường đi. 

Hồi Chúng tôi đã tạo ra điều này như là một phần của các quy trình quản trị và hỗ trợ văn hóa của chúng tôi Đây là một mức độ tin cậy và tự tin vào các hệ thống Accergy và cho khách hàng của chúng tôi. Nó cũng cho thấy ma sát có lợi ích dương tính với tổng thể.

Các nhà lãnh đạo Gosline và Accdvisor có các khuyến nghị sau đây cho các tổ chức muốn tạo ra nhiều bảo vệ hơn và quản trị để kiềm chế việc sử dụng ty le keo wap thế hệ, bao gồm cả việc sử dụng ma sát có lợi:

Đánh giá sự sẵn sàng và trưởng thành của tổ chức.Các tổ chức trước tiên cần hiểu mức độ trưởng thành của họ khi nói đến ty le keo wap chịu trách nhiệm, bao gồm khả năng tuân thủ các tiêu chuẩn và quy định của họ. Ống kính đó sẽ thông báo loại quy trình nào cần được thực hiện trước khi thực hiện ty le keo wap quy mô lớn.

Đánh giá rủi ro hệ thống ty le keo wap.Không phải tất cả các hệ thống ty le keo wap đều yêu cầu cùng một mức độ kiểm soát. Khi sử dụng các công cụ như ma sát được nhắm mục tiêu, điều quan trọng là điều chỉnh tốc độ va chạm khi nào và nơi nó cần thiết trong bối cảnh rủi ro tổng thể.

Embrace có hệ thống, hỗ trợ có cấu trúc.Các giải pháp cá nhân đã giành được giải quyết triệt để các mối quan tâm chính xác và thiên vị, bởi vì người dùng có thể đánh giá quá cao khả năng xác định các lỗi do ty le keo wap tạo ra. Phần lớn cuộc trò chuyện bây giờ đã phát triển thành đưa con người vào vòng lặp để giải quyết các vấn đề về sự không chính xác và thiên vị, nhưng khi nói đến ty le keo wap, chúng tôi thấy điều này là không đủ, ông Gosline nói. Mặc dù người dùng được hưởng lợi từ các va chạm tốc độ, nhưng họ không có khả năng tự báo cáo rằng các va chạm tốc độ giúp họ chính xác hơn. Điều này cho thấy sự thiên vị quá mức, nơi người dùng có thể nghĩ rằng họ có thể phát hiện ra các lỗi do ty le keo wap tạo hơn so với.

Hãy cẩn thận với các giải pháp cấp độ cá nhân cho các vấn đề cấu trúc, cô nói thêm. Nhìn vào các giải pháp cấu trúc, hệ thống như thêm ma sát có lợi để sử dụng làm công cụ hoặc quy trình kinh doanh.

Khuyến khích văn hóa thử nghiệm.Trước khi các công cụ và mô hình ty le keo wap được triển khai, hãy kiểm tra cách người lao động tương tác với họ, bao gồm mọi tác động có thể có đến độ chính xác, tốc độ và niềm tin. Thử nghiệm cung cấp những hiểu biết chính về cách nâng cao vai trò của nhân viên trong các hệ thống con người trong vòng lặp, bao gồm cả khi việc áp dụng ma sát được nhắm mục tiêu có ý nghĩa nhất.

Hoạt động theo dõi liên tục.Các mô hình ty le keo wap là các hệ thống động và một khi chúng được sản xuất, dữ liệu và đầu ra có thể trôi dạt, gây ra sự không chính xác và ảo giác theo thời gian. Các hệ thống giám sát và giám sát cần được áp dụng để liên tục đánh giá các hệ thống, xác định các sự cố và vấn đề tiềm ẩn, và tạo và sắp xếp các can thiệp đúng.

Giáo dục và đào tạo là chìa khóa. Khi sử dụng ty le keo wap leo thang, người lao động cần được mang theo, đặc biệt là vì công nghệ đang thay đổi rất nhanh. Khi nói đến ty le keo wap, giáo dục về vai trò và thực hiện kỹ thuật kịp thời là đặc biệt quan trọng bởi vì nó là một lĩnh vực chính cho sự thiên vị tiềm năng, Gosline nói. Một trong những điểm quan trọng nhất đối với ma sát là ở thế hệ nhắc nhở, cô nói. Để giải quyết vấn đề thiên vị, chúng tôi muốn người dùng được suy nghĩ một cách có chủ ý và có ý thức về những gì họ đã cố gắng thực hiện và những gì họ sử dụng đầu ra cho. 

Ma sát có lợi là phương thuốc duy nhất để giảm sự không chính xác và sai lệch của ty le keo wap. Gosline khuyến khích các tổ chức kiểm tra và tìm hiểu, mở rộng mạng lưới thử nghiệm khi họ tăng tốc và mở rộng số lượng các trường hợp sử dụng ty le keo wap. Cô cũng cảnh báo rằng ty le keo wap không phải là người cực kỳ dễ sử dụng để mọi người cho rằng nó hữu ích - với những điểm nổi bật và nhãn được sử dụng trong thí nghiệm ma sát có lợi, người dùng vẫn thấy các lợi ích và các tổ chức vẫn có một con đường rõ ràng để đạt được ROI.

Hồi Có những thất bại và va chạm trên đường đi, cô nói. Tuy nhiên, ma sát có lợi là một cách vượt trội hơn nhiều để triển khai ty le keo wap so với việc dọn dẹp một mớ hỗn độn hoặc tạo ra sự thay đổi xã hội vì bạn đặt một mô hình không được kiểm soát ở quy mô và nó gây ra sự thiên vị.