Nỗ lực đầu tiên để điều chỉnh AI là một thất bại ngoạn mục
Albert Fox Cahn đã tham gia vào quá trình của thành phố New York để hiểu cách các hệ thống quyết định tự động đang tác động đến công dân của mình. Nhưng, ông viết, sáng kiến lịch sử, có thiện chí đã đi sai lầm khủng khiếp.
Khi tôi bước vào phòng họp của Tòa thị chính, nó tràn ngập năng lượng hồi hộp của ngày đầu tiên đến trường hoặc một công việc mới. Nhưng đó là một điều gì đó xa vời hơn: cuộc họp khai mạc của Lực lượng đặc nhiệm Hệ thống quyết định tự động (ADS) của thành phố New York. Thật thú vị, đây là lực lượng đặc nhiệm đầu tiên trong cả nước phân tích toàn diện tác động của trí tuệ nhân tạo đối với chính phủ. Nhìn vào mọi thứ, từ chính sách dự đoán, đến bài tập ở trường, đến thu gom rác, những người trong phòng này sẽ quyết định AI nên đóng vai trò gì và chúng ta nên có biện pháp bảo vệ nào.
Nhưng đó không phải là những gì đã xảy ra.
Flash tiến tới 18 tháng và kết thúc quá trình không thể giống nhau hơn từ khi bắt đầu. Năng lượng thần kinh đã được thay thế bằng kiệt sức. Sự lạc quan của chúng tôi rằng chúng tôi có thể đưa ra một phác thảo cho những cách mà chính quyền thành phố New York nên sử dụng các hệ thống quyết định tự động đã dẫn đến một niềm tin chí mạng rằng chúng tôi có thể không thể giải quyết vấn đề lớn như vậy.
NHỮNG NGƯỜI TRONG CĂN PHÒNG NÀY SẼ QUYẾT ĐỊNH AI NÊN ĐÓNG VAI TRÒ GÌ VÀ CHÚNG TA NÊN CÓ NHỮNG BIỆN PHÁP BẢO VỆ NÀO.
ALBERT FOX CAHN
Lực lượng đặc nhiệm ADS của New York đã được thông qua vào năm 2017 , một dự luật của Hội đồng thành phố phản ứng với báo động ngày càng tăng về vai trò mạnh mẽ và mờ đục mà các hệ thống quyết định tự động có trong xã hội của chúng ta. Các hệ thống được thiết kế tồi đã làm tất cả mọi thứ, từ khuyến khích phân biệt chủng tộc quá mức đối với các cộng đồng màu sắc , cho đến việc phân bổ sai nguồn lực y tế và hỏa hoạn, cho đến các cáo buộc gian lận lợi ích. Một hệ thống ở Michigan đã buộc tội sai 40.000 cư dân về việc lừa đảo bảo hiểm thất nghiệp của tiểu bang, khiến một số người rơi vào cảnh nghèo túng hoặc thậm chí tự tử .
Đề xuất ban đầu, tích cực của Hội đồng thành phố yêu cầu Thành phố New York chỉ sử dụng các hệ thống quyết định nguồn mở. Nhưng nó đã nhanh chóng nhường chỗ cho sự thỏa hiệp khả thi về mặt chính trị của một nhóm đặc nhiệm, được giao nhiệm vụ xây dựng hướng dẫn toàn diện về cách điều chỉnh AI để đảm bảo quy trình đúng hạn, ngăn chặn sự lãng phí của chính phủ và ngăn chặn sự thiên vị.
Và lúc đầu, lực lượng đặc nhiệm có vẻ đầy hứa hẹn. Thay vì chỉ bổ nhiệm các đồng minh chính trị, Thị trưởng de Blasio đã chỉ định các chuyên gia hàng đầu trong lĩnh vực như Meredith Whittaker của AI Now và Solon Barocase của Cornell Tech và Microsoft Research. Và có tôi, đứng cho ông chủ của tôi, giám đốc điều hành của tổ chức dân quyền Hồi giáo mà tôi làm việc lúc đó. Với tư cách là một người được bổ nhiệm, tôi đã tham dự các phiên họp, nhận thông tin cập nhật cho các quan chức thành phố và chia sẻ với cảm giác báo động và tuyệt vọng ngày càng tăng rằng quá trình chúng tôi tham gia đã trở nên sai lầm khủng khiếp.
Có lẽ dấu hiệu đầu tiên là lịch trình, một đề xuất của thành phố mà chúng tôi chỉ có nửa tá cuộc họp để hoàn thành nhiệm vụ lịch sử của mình. Các quan chức thành phố nhanh chóng thừa nhận cần nhiều thời gian hơn, nhưng nhìn nhận lại, đáng lẽ ra một lời cảnh báo rằng các quan chức hy vọng về một báo cáo của lực lượng đặc nhiệm có nhiều dấu ấn cao su hơn những gì chúng tôi nghĩ đến. Chúng tôi mong muốn có cơ hội để có được dữ liệu để thực sự hiểu cách các hệ thống này hoạt động trong thế giới thực: họ đã làm gì đúng, họ đã làm gì sai và những chính sách nào thực sự giúp ích cho cuộc sống của những người New York bị ảnh hưởng bởi thiên vị và các thuật toán bị hỏng.
CHÚNG TÔI MONG MUỐN CÓ CƠ HỘI ĐỂ CÓ ĐƯỢC DỮ LIỆU ĐỂ THỰC SỰ HIỂU CÁCH CÁC HỆ THỐNG NÀY HOẠT ĐỘNG TRONG THẾ GIỚI THỰC.
ALBERT FOX CAHN
Sau đó, các cuộc tranh luận bắt đầu, xoay quanh câu hỏi tiên đề: Chính xác thì hệ thống quyết định tự động là gì? Có bất kỳ tự động hóa dựa trên máy tính? Điều gì về tự động hóa theo chính sách, khi quyền của cá nhân được tự động hóa bởi các chính sách và quy trình được tưởng niệm trên giấy tờ như Hướng dẫn tuần tra NYPD ? Nó thậm chí có thể mở rộng đến kỳ thi tuyển sinh trung học tiêu chuẩn của thành phố?
Bạn thấy đấy, thật khó để đưa ra các khuyến nghị cho một thứ trừ khi bạn có thể đồng ý về những thứ đó là gì. Nhưng chúng tôi không thể đạt được sự đồng thuận. Các quan chức thành phố đưa ra bóng ma của các quy định không khả thi sẽ áp dụng cho mọi máy tính và tài liệu Excel, một cơn ác mộng Kafkaesque khi chỉ cần xây dựng một bảng trụ sẽ cần phải có sự phê duyệt liên ngành. Thay cho người đàn ông rơm rớm này, họ đưa ra một giải pháp thay thế hạn chế, một thế giới quy định AI tập trung vào các thuật toán và học máy tiên tiến.
Vấn đề là tại thời điểm thế giới đang say mê với những câu chuyện về sức mạnh khủng khiếp của máy học và các cách xử lý dữ liệu lớn khác được biết đến với câu khẩu hiệu AI, một số hình thức tự động hóa mạnh mẽ nhất vẫn chạy trên Excel hoặc trong kịch bản đơn giản. Bạn không cần một mô hình ngôn ngữ tự nhiên trị giá hàng triệu đô la để tạo ra một hệ thống nguy hiểm đưa ra quyết định mà không cần sự giám sát của con người và điều đó có sức mạnh thay đổi cuộc sống của mọi người. Và các hệ thống quyết định tự động làm điều đó khá nhiều ở thành phố New York.
Nhưng trong khi các quan chức của thành phố hy vọng giới hạn mục đích của chúng tôi đối với mã nguồn thuật toán, thì lực lượng đặc nhiệm không được cung cấp thông tin chi tiết về cách thức hoạt động của các hệ thống quyết định tự động đơn giản nhất. Vào tháng 1 năm 2019, sự giận dữ ngày càng tăng về việc thành phố không sẵn lòng cung cấp thông tin về những hệ thống quyết định tự động mà nó đã sử dụng. Điều này làm giảm giá trị của lực lượng đặc nhiệm, nhằm thoát khỏi các lý thuyết và khái quát hóa của tháp ngà để kiểm tra các công cụ này hoạt động như thế nào trong thế giới thực, sử dụng thành phố lớn nhất của đất nước chúng tôi. Chỉ có chúng tôi không bao giờ có được dữ liệu.
BẠN KHÔNG CẦN MỘT MÔ HÌNH NGÔN NGỮ TỰ NHIÊN TRỊ GIÁ HÀNG TRIỆU ĐÔ LA ĐỂ TẠO RA MỘT HỆ THỐNG NGUY HIỂM ĐƯA RA QUYẾT ĐỊNH MÀ KHÔNG CẦN SỰ GIÁM SÁT CỦA CON NGƯỜI.
ALBERT FOX CAHN
Có sự chậm trễ, và obfuscations, và sau đó, vào mùa xuân năm 2019, từ chối thẳng thừng. Không phải vì dữ liệu không tồn tại: Thành phố có thông tin về các hệ thống hiện có, bao gồm cả dữ liệu có thể giúp các bên thứ ba hiểu nếu một mô hình đang được sử dụng trong bối cảnh có khả năng phân biệt đối xử hoặc có tác động bất lợi khác. Họ thậm chí còn có thẻ mô hình, cung cấp dữ liệu hiệu suất, giải thích về mục đích sử dụng và chi tiết về dữ liệu đào tạo và đánh giá, cho hàng tá hệ thống khác nhau, tất cả đều được giữ cho chính họ. Đây là thực tế đáng buồn của chính trị thành phố. Hội đồng thành phố đã thông qua lực lượng đặc nhiệm thành luật để buộc chính quyền phải chịu trách nhiệm cho việc sử dụng thuật toán bí mật của mình, nhưng đó là điều cuối cùng mà chính quyền muốn.
Tôi đã ngừng tham dự các cuộc họp của lực lượng đặc nhiệm vào tháng 1 vì tôi đã rời bỏ công việc trước đó để tìm thấy Dự án giám sát công nghệ giám sát, một tổ chức phi lợi nhuận để bảo vệ quyền riêng tư của người dân New York. Nhưng ngay cả sau khi tôi rời khỏi vai trò của mình trong đội đặc nhiệm, tôi vẫn tiếp tục gắn bó chặt chẽ với công việc. Tôi đã lên chiến lược với các thành viên khác, tôi làm chứng cho các phiên điều trần giám sát của Hội đồng thành phố, tôi thậm chí còn nói chuyện cởi mở với báo chí về sự rối loạn chức năng. Nhưng tất cả đều vô ích. Bất chấp công việc của các nhà cải cách khác và tôi, trận đòn cuối cùng với hy vọng của chúng tôi đã đến vào tuần trước, khi báo cáo của lực lượng đặc nhiệm cuối cùng đã được công bố.
Tài liệu giữ không khí của một bài báo đại học được một sinh viên chuẩn bị vội vàng vào ngày trước hạn chót. Trong 36 trang của tài liệu, hơn một nửa được phân bổ để giải thích đơn giản lịch sử của lực lượng đặc nhiệm, trình bày CV của các thành viên và gửi lời cảm ơn đến các nhóm đã làm chứng tại các phiên điều trần của lực lượng đặc nhiệm. Các khuyến nghị của nhóm, toàn bộ điểm tồn tại của nó, chỉ dài tám trang.
VÀ DO ĐÓ ĐÃ CHẾT NỖ LỰC DŨNG CẢM ĐẦU TIÊN NÀY Ở TRÁCH NHIỆM GIẢI TRÌNH THUẬT TOÁN THÀNH PHỐ.
ALBERT FOX CAHN
Thay vì đưa ra một lời phê bình chu đáo về cách các hệ thống cụ thể thành công và thất bại, tài liệu đưa ra một tham chiếu vượt qua cho một loạt các mối quan tâm, từ thiên vị, đến tài trợ, đến gánh nặng pháp lý. Và do đó đã chết nỗ lực dũng cảm đầu tiên này ở trách nhiệm giải trình thuật toán thành phố.
Nhưng trong khi cơ hội giám sát này có thể đã biến mất, những nguy hiểm do các hệ thống thuật toán của chính phủ chỉ phát triển. Một phân tích toàn diện, chuyên sâu về các cách mà chính phủ sử dụng AI để đưa ra quyết định về cuộc sống của mọi người là cấp bách hơn bao giờ hết. Câu hỏi duy nhất là liệu các thành phố khác sẽ có ý chí chính trị để làm nhiều hơn là thực hiện một trò chơi bóng trong suốt và thực sự kéo lại bức màn trên thuật toán của họ.
Albert Fox Cahn là người sáng lập và giám đốc điều hành của Dự án giám sát công nghệ giám sát (STOP), một nhóm bảo mật và quyền dân sự có trụ sở tại New York, và là thành viên của Trung tâm chính sách & luật đổi mới Engelberg tại Trường Luật NYU.
Khi tôi bước vào phòng họp của Tòa thị chính, nó tràn ngập năng lượng hồi hộp của ngày đầu tiên đến trường hoặc một công việc mới. Nhưng đó là một điều gì đó xa vời hơn: cuộc họp khai mạc của Lực lượng đặc nhiệm Hệ thống quyết định tự động (ADS) của thành phố New York. Thật thú vị, đây là lực lượng đặc nhiệm đầu tiên trong cả nước phân tích toàn diện tác động của trí tuệ nhân tạo đối với chính phủ. Nhìn vào mọi thứ, từ chính sách dự đoán, đến bài tập ở trường, đến thu gom rác, những người trong phòng này sẽ quyết định AI nên đóng vai trò gì và chúng ta nên có biện pháp bảo vệ nào.
Nhưng đó không phải là những gì đã xảy ra.
Flash tiến tới 18 tháng và kết thúc quá trình không thể giống nhau hơn từ khi bắt đầu. Năng lượng thần kinh đã được thay thế bằng kiệt sức. Sự lạc quan của chúng tôi rằng chúng tôi có thể đưa ra một phác thảo cho những cách mà chính quyền thành phố New York nên sử dụng các hệ thống quyết định tự động đã dẫn đến một niềm tin chí mạng rằng chúng tôi có thể không thể giải quyết vấn đề lớn như vậy.
NHỮNG NGƯỜI TRONG CĂN PHÒNG NÀY SẼ QUYẾT ĐỊNH AI NÊN ĐÓNG VAI TRÒ GÌ VÀ CHÚNG TA NÊN CÓ NHỮNG BIỆN PHÁP BẢO VỆ NÀO.
ALBERT FOX CAHN
Lực lượng đặc nhiệm ADS của New York đã được thông qua vào năm 2017 , một dự luật của Hội đồng thành phố phản ứng với báo động ngày càng tăng về vai trò mạnh mẽ và mờ đục mà các hệ thống quyết định tự động có trong xã hội của chúng ta. Các hệ thống được thiết kế tồi đã làm tất cả mọi thứ, từ khuyến khích phân biệt chủng tộc quá mức đối với các cộng đồng màu sắc , cho đến việc phân bổ sai nguồn lực y tế và hỏa hoạn, cho đến các cáo buộc gian lận lợi ích. Một hệ thống ở Michigan đã buộc tội sai 40.000 cư dân về việc lừa đảo bảo hiểm thất nghiệp của tiểu bang, khiến một số người rơi vào cảnh nghèo túng hoặc thậm chí tự tử .
Đề xuất ban đầu, tích cực của Hội đồng thành phố yêu cầu Thành phố New York chỉ sử dụng các hệ thống quyết định nguồn mở. Nhưng nó đã nhanh chóng nhường chỗ cho sự thỏa hiệp khả thi về mặt chính trị của một nhóm đặc nhiệm, được giao nhiệm vụ xây dựng hướng dẫn toàn diện về cách điều chỉnh AI để đảm bảo quy trình đúng hạn, ngăn chặn sự lãng phí của chính phủ và ngăn chặn sự thiên vị.
Và lúc đầu, lực lượng đặc nhiệm có vẻ đầy hứa hẹn. Thay vì chỉ bổ nhiệm các đồng minh chính trị, Thị trưởng de Blasio đã chỉ định các chuyên gia hàng đầu trong lĩnh vực như Meredith Whittaker của AI Now và Solon Barocase của Cornell Tech và Microsoft Research. Và có tôi, đứng cho ông chủ của tôi, giám đốc điều hành của tổ chức dân quyền Hồi giáo mà tôi làm việc lúc đó. Với tư cách là một người được bổ nhiệm, tôi đã tham dự các phiên họp, nhận thông tin cập nhật cho các quan chức thành phố và chia sẻ với cảm giác báo động và tuyệt vọng ngày càng tăng rằng quá trình chúng tôi tham gia đã trở nên sai lầm khủng khiếp.
Có lẽ dấu hiệu đầu tiên là lịch trình, một đề xuất của thành phố mà chúng tôi chỉ có nửa tá cuộc họp để hoàn thành nhiệm vụ lịch sử của mình. Các quan chức thành phố nhanh chóng thừa nhận cần nhiều thời gian hơn, nhưng nhìn nhận lại, đáng lẽ ra một lời cảnh báo rằng các quan chức hy vọng về một báo cáo của lực lượng đặc nhiệm có nhiều dấu ấn cao su hơn những gì chúng tôi nghĩ đến. Chúng tôi mong muốn có cơ hội để có được dữ liệu để thực sự hiểu cách các hệ thống này hoạt động trong thế giới thực: họ đã làm gì đúng, họ đã làm gì sai và những chính sách nào thực sự giúp ích cho cuộc sống của những người New York bị ảnh hưởng bởi thiên vị và các thuật toán bị hỏng.
CHÚNG TÔI MONG MUỐN CÓ CƠ HỘI ĐỂ CÓ ĐƯỢC DỮ LIỆU ĐỂ THỰC SỰ HIỂU CÁCH CÁC HỆ THỐNG NÀY HOẠT ĐỘNG TRONG THẾ GIỚI THỰC.
ALBERT FOX CAHN
Sau đó, các cuộc tranh luận bắt đầu, xoay quanh câu hỏi tiên đề: Chính xác thì hệ thống quyết định tự động là gì? Có bất kỳ tự động hóa dựa trên máy tính? Điều gì về tự động hóa theo chính sách, khi quyền của cá nhân được tự động hóa bởi các chính sách và quy trình được tưởng niệm trên giấy tờ như Hướng dẫn tuần tra NYPD ? Nó thậm chí có thể mở rộng đến kỳ thi tuyển sinh trung học tiêu chuẩn của thành phố?
Bạn thấy đấy, thật khó để đưa ra các khuyến nghị cho một thứ trừ khi bạn có thể đồng ý về những thứ đó là gì. Nhưng chúng tôi không thể đạt được sự đồng thuận. Các quan chức thành phố đưa ra bóng ma của các quy định không khả thi sẽ áp dụng cho mọi máy tính và tài liệu Excel, một cơn ác mộng Kafkaesque khi chỉ cần xây dựng một bảng trụ sẽ cần phải có sự phê duyệt liên ngành. Thay cho người đàn ông rơm rớm này, họ đưa ra một giải pháp thay thế hạn chế, một thế giới quy định AI tập trung vào các thuật toán và học máy tiên tiến.
Vấn đề là tại thời điểm thế giới đang say mê với những câu chuyện về sức mạnh khủng khiếp của máy học và các cách xử lý dữ liệu lớn khác được biết đến với câu khẩu hiệu AI, một số hình thức tự động hóa mạnh mẽ nhất vẫn chạy trên Excel hoặc trong kịch bản đơn giản. Bạn không cần một mô hình ngôn ngữ tự nhiên trị giá hàng triệu đô la để tạo ra một hệ thống nguy hiểm đưa ra quyết định mà không cần sự giám sát của con người và điều đó có sức mạnh thay đổi cuộc sống của mọi người. Và các hệ thống quyết định tự động làm điều đó khá nhiều ở thành phố New York.
Nhưng trong khi các quan chức của thành phố hy vọng giới hạn mục đích của chúng tôi đối với mã nguồn thuật toán, thì lực lượng đặc nhiệm không được cung cấp thông tin chi tiết về cách thức hoạt động của các hệ thống quyết định tự động đơn giản nhất. Vào tháng 1 năm 2019, sự giận dữ ngày càng tăng về việc thành phố không sẵn lòng cung cấp thông tin về những hệ thống quyết định tự động mà nó đã sử dụng. Điều này làm giảm giá trị của lực lượng đặc nhiệm, nhằm thoát khỏi các lý thuyết và khái quát hóa của tháp ngà để kiểm tra các công cụ này hoạt động như thế nào trong thế giới thực, sử dụng thành phố lớn nhất của đất nước chúng tôi. Chỉ có chúng tôi không bao giờ có được dữ liệu.
BẠN KHÔNG CẦN MỘT MÔ HÌNH NGÔN NGỮ TỰ NHIÊN TRỊ GIÁ HÀNG TRIỆU ĐÔ LA ĐỂ TẠO RA MỘT HỆ THỐNG NGUY HIỂM ĐƯA RA QUYẾT ĐỊNH MÀ KHÔNG CẦN SỰ GIÁM SÁT CỦA CON NGƯỜI.
ALBERT FOX CAHN
Có sự chậm trễ, và obfuscations, và sau đó, vào mùa xuân năm 2019, từ chối thẳng thừng. Không phải vì dữ liệu không tồn tại: Thành phố có thông tin về các hệ thống hiện có, bao gồm cả dữ liệu có thể giúp các bên thứ ba hiểu nếu một mô hình đang được sử dụng trong bối cảnh có khả năng phân biệt đối xử hoặc có tác động bất lợi khác. Họ thậm chí còn có thẻ mô hình, cung cấp dữ liệu hiệu suất, giải thích về mục đích sử dụng và chi tiết về dữ liệu đào tạo và đánh giá, cho hàng tá hệ thống khác nhau, tất cả đều được giữ cho chính họ. Đây là thực tế đáng buồn của chính trị thành phố. Hội đồng thành phố đã thông qua lực lượng đặc nhiệm thành luật để buộc chính quyền phải chịu trách nhiệm cho việc sử dụng thuật toán bí mật của mình, nhưng đó là điều cuối cùng mà chính quyền muốn.
Tôi đã ngừng tham dự các cuộc họp của lực lượng đặc nhiệm vào tháng 1 vì tôi đã rời bỏ công việc trước đó để tìm thấy Dự án giám sát công nghệ giám sát, một tổ chức phi lợi nhuận để bảo vệ quyền riêng tư của người dân New York. Nhưng ngay cả sau khi tôi rời khỏi vai trò của mình trong đội đặc nhiệm, tôi vẫn tiếp tục gắn bó chặt chẽ với công việc. Tôi đã lên chiến lược với các thành viên khác, tôi làm chứng cho các phiên điều trần giám sát của Hội đồng thành phố, tôi thậm chí còn nói chuyện cởi mở với báo chí về sự rối loạn chức năng. Nhưng tất cả đều vô ích. Bất chấp công việc của các nhà cải cách khác và tôi, trận đòn cuối cùng với hy vọng của chúng tôi đã đến vào tuần trước, khi báo cáo của lực lượng đặc nhiệm cuối cùng đã được công bố.
Tài liệu giữ không khí của một bài báo đại học được một sinh viên chuẩn bị vội vàng vào ngày trước hạn chót. Trong 36 trang của tài liệu, hơn một nửa được phân bổ để giải thích đơn giản lịch sử của lực lượng đặc nhiệm, trình bày CV của các thành viên và gửi lời cảm ơn đến các nhóm đã làm chứng tại các phiên điều trần của lực lượng đặc nhiệm. Các khuyến nghị của nhóm, toàn bộ điểm tồn tại của nó, chỉ dài tám trang.
VÀ DO ĐÓ ĐÃ CHẾT NỖ LỰC DŨNG CẢM ĐẦU TIÊN NÀY Ở TRÁCH NHIỆM GIẢI TRÌNH THUẬT TOÁN THÀNH PHỐ.
ALBERT FOX CAHN
Thay vì đưa ra một lời phê bình chu đáo về cách các hệ thống cụ thể thành công và thất bại, tài liệu đưa ra một tham chiếu vượt qua cho một loạt các mối quan tâm, từ thiên vị, đến tài trợ, đến gánh nặng pháp lý. Và do đó đã chết nỗ lực dũng cảm đầu tiên này ở trách nhiệm giải trình thuật toán thành phố.
Nhưng trong khi cơ hội giám sát này có thể đã biến mất, những nguy hiểm do các hệ thống thuật toán của chính phủ chỉ phát triển. Một phân tích toàn diện, chuyên sâu về các cách mà chính phủ sử dụng AI để đưa ra quyết định về cuộc sống của mọi người là cấp bách hơn bao giờ hết. Câu hỏi duy nhất là liệu các thành phố khác sẽ có ý chí chính trị để làm nhiều hơn là thực hiện một trò chơi bóng trong suốt và thực sự kéo lại bức màn trên thuật toán của họ.
Albert Fox Cahn là người sáng lập và giám đốc điều hành của Dự án giám sát công nghệ giám sát (STOP), một nhóm bảo mật và quyền dân sự có trụ sở tại New York, và là thành viên của Trung tâm chính sách & luật đổi mới Engelberg tại Trường Luật NYU.
Nhận xét
Đăng nhận xét