Razbunare porno „whack-a-mole”: in lupta din interiorul Facebook impotriva nudurilor neconsensuale

Michaela Zehara, in varsta de 22 de ani, trecea prin Instagram pe acum trei ani cand un cont care ii purta numele, fotografia si numarul de telefon a inceput sa o urmareasca.

„Tocmai am simtit ca ceva rau urma sa se intample”, a declarat Zehara, un antrenor de fitness din Los Angeles si aspirant la actori, pentru NBC News.

Intestinul ei avea dreptate. Cateva minute mai tarziu, prietenii si membrii familiei au inceput sa ii trimita mesaje spunand ca contul incarca fotografii cu corpul ei gol pe care le impartasise cu prietenul ei la acea vreme.

„Vaginul meu, sanii, fundul. Totul ”, a spus ea. „Am aruncat, am inceput sa plang. Pentru o clipa am fost sinucigas; moartea parea putin mai distractiva decat asta. ”

Instagram a luat imaginile jos in aproximativ 20 de minute, dupa ce Zehara si zeci de prieteni au raportat-o. Dar paguba a fost deja facuta.

Michaela Zehara

„Nu stiu cine i-a luat pe ecran”, a spus ea. „Si inca mai are pozele. S-ar putea intampla din nou. El are asta agatat la gatul meu. ”

Zehara a fost victima pornografiei de razbunare, o forma de invazie a intimitatii sexuale si a hartuirii online in care faptuitorul – de obicei un fost partener nemultumit – posteaza sau ameninta sa posteze fotografii intime fara consimtamant, adesea cu scopul de a rusina subiectul.

Pentru a combate aceasta problema, Facebook a format o echipa formata din aproximativ 25 de persoane, fara a include moderatori de continut, care lucreaza cu norma intreaga pentru a combate partajarea neconsensuala a fotografiilor si videoclipurilor intime. In fiecare luna, Facebook, care detine Instagram, trebuie sa evalueze aproximativ jumatate de milion de rapoarte despre pornografie de razbunare si „sextorsiune”, a spus o sursa familiarizata cu aceasta chestiune. Obiectivul echipei nu este doar eliminarea rapida a imaginilor sau videoclipurilor dupa ce au fost raportate, asa cum s-a intamplat in cazul lui Zehara, ci si detectarea imaginilor folosind inteligenta artificiala in momentul in care sunt incarcate, pentru a impiedica distribuirea lor.

Munca echipei este complexa si nuantata cultural, implicand o mare varietate de imagini, persoane vulnerabile si sensibilitate la timp. Este o problema care necesita o atingere umana la nivel individual, dar pe care doar un sistem automat o poate aborda la scara necesara.

In interviurile cu NBC News, membrii echipei Facebook insarcinati cu reducerea pornografiei de razbunare au vorbit public despre munca lor pentru prima data. Au povestit o serie de pasuri gresite, inclusiv un program pilot slab comunicat, care ii invita pe oameni sa-si prezinte in mod preventiv fotografiile nud pe Facebook. Ei au descris modul in care cercetarile recente din opt tari au evidentiat variatia culturala in ceea ce conteaza ca o imagine „intima”, ceea ce face mai dificila identificarea inteligentei artificiale. Si s-au luptat cu ceea ce inseamna tot ceea ce inseamna dezvoltarea instrumentelor pentru a elimina rapid si eficient aceste imagini.

„Auzind cat de teribile au fost experientele de a va impartasi imaginea, echipa de produs a fost cu adevarat motivata sa incerce sa afle ce putem face, ceea ce a fost mai bun decat sa raspundem la rapoarte”, a declarat Radha Plumb, sef de cercetare a politicii de produs la Facebook .

Ea a mentionat insa ca problema se extinde dincolo de companie. In lume vor exista intotdeauna „actori rauvoitori” care vor „afla cum sa raneasca oamenii in moduri care sunt foarte greu de prezis sau prevenit”, a spus ea.

Lupta Facebook impotriva pornografiei de razbunare este doar o parte din provocarile mai largi cu care se confrunta platformele tehnologice in timp ce se lupta cu solutii scalabile de moderare a continutului pentru un comportament uman urat. De la discursuri de ura si violenta la propaganda terorista si teorii ale conspiratiei, companii precum Facebook, Google si Twitter incearca cu totii sa invete inteligenta artificiala cum sa identifice materialul inacceptabil.

Daca Facebook poate face asta cu porno razbunare, ar putea revolutiona aceasta batalie. Dar eforturile sale de pana acum arata cat de dificil va fi acest lucru.

„Responsabilitatea mai mare” a Facebook

Problema pornografiei cu razbunare nu se limiteaza la Facebook, deoarece imaginile pot fi postate in alta parte pe web, pe site-uri de pornografie, de exemplu, si pot aparea in rezultatele motoarelor de cautare. Unele site-uri web s-au specializat in ceea ce companiile tehnologice si avocatii victimelor numesc „imagini intime neconsensuale”, desi riscul legal de a face acest lucru a crescut. In 2015, un barbat care opera un astfel de site a fost condamnat la 18 ani de inchisoare in California. (Nu exista nicio lege federala care sa criminalizeze partajarea neconsensuala a imaginilor intime, desi 46 de state au astfel de legi.)

Facebook, totusi, poate avea un impact imens asupra victimelor, deoarece conexiunile lor din viata reala ar putea vedea o imagine.

„Site-urile de specialitate apar in cautarile Google, dar daca nu le cautati, nimeni nu va va vedea nud”, a spus Katelyn Bowden, fondatorul grupului de advocacy pentru victime BADASS (Battling Against Demeaning and Abusive Selfie Sharing). „Pe Facebook si Instagram ai familia, prietenii, colegii de munca, sefii si numele tau real. Toata lumea o sa vada. ”

Alex Stamos, fost sef de securitate la Facebook, a adaugat ca platformele sociale au o „responsabilitate civica” de a se concentra asupra pornografiei de razbunare.

„Deoarece acest tip de abuz implica trimiterea de imagini catre straini in reteaua sociala a victimei, orice aplicatie care va permite sa cautati cine este in reteaua sociala a cuiva are o responsabilitate mai mare”, a spus el.

In timp ce alte platforme, precum Twitter, TikTok si Snap, interzic utilizatorilor sa posteze imagini intime, Facebook este singurul care dezvolta instrumente pentru a impiedica partajarea lor in primul rand.

In noiembrie 2017, Facebook a lansat un pilot in Australia, invitand utilizatorii sa trimita preventiv companiei imaginile lor nud sau intime. Ideea a fost ca Facebook ar putea bloca apoi orice incercari de distribuire a acestor imagini pe platforma fara acordul subiectului.

Reactia mass-media la anunt, pe care CBS a titrat-o „Facebook: trimiteti-ne fotografiile goale pentru a opri pornirea razbunarii”, a fost, in cel mai bun caz, batjocura, cu publicatii proeminente care o descriu drept „idioata” si evidentiaza riscurile de a impartasi selfie-urile goale cu reteaua sociala. Unii si-au exprimat ingrijorarea cu privire la faptul ca un examinator de continut uman ar privi imaginile inainte ca acestea sa fie convertite in amprente digitale indescifrabile, un proces cunoscut sub numele de „hashing”.

Dar unele victime si grupuri de sprijin au raspuns mai pozitiv. L-au vazut pe pilot ca pe o modalitate de a inapoia un anumit control din partea persoanelor care ameninta sa impartaseasca imagini.

„Facebook a fost atacat pe nedrept pentru ceva ce venea dintr-un loc centrat pe victima”.

„Este o modalitate de a va asigura ca fotografiile nu vor fi repostate”, a spus Danielle Citron, vicepresedinte al Cyber ​​Civil Rights Initiative, o organizatie nonprofit dedicata luptei impotriva pornografiei neconsensuale. „Nu inseamna ca nu vor aparea pe Pornhub, dar este mai bine sa ai ceva ce simti ca poti face. Te simti neajutorat si identitatea ta sexuala este smulsa din controlul tau. Este devastator psihologic. ”

Citron a spus ca a considerat ca mediatizarea pilotului este „foarte frustranta”.

„Facebook a fost atacat pe nedrept pentru ceva ce venea dintr-un loc centrat pe victima”, a spus ea.

Ce se considera „intim”?

Raspunsul negativ la pilot a facut ca oficialii Facebook sa-si dea seama ca trebuie sa stie mai multe despre problema. Anul urmator, 2018, Facebook a lansat un program de cercetare, detaliat aici pentru prima data, pentru a explora modul in care ar putea sprijini mai bine razbunarea victimelor porno si a impiedica distribuirea imaginilor.

Cercetatorii companiei au intervievat grupuri de sprijin pentru victime din SUA, Brazilia, Marea Britanie, Bulgaria, Cisiordania, Danemarca, Kenya si Australia. De asemenea, au intervievat cinci barbati si cinci femei din SUA care au raportat companiei porno cu razbunare. Printre acestia se afla un tanar a carui fosta iubita a postat o imagine goala a acestuia pe Facebook, vazuta de multe dintre conexiunile sale si o tanara care schimbase fotografii goale cu cineva pe care nu-l cunostea offline, care apoi a inceput sa ameninte cu eliberati fotografiile membrilor familiei daca ea nu i-a dat bani.

Victimele si grupurile de advocacy au declarat cercetatorilor ca procesul de raportare existent a fost confuz si insensibil, in special intr-un moment de stres ridicat.

„Oamenii care nu sunt familiarizati cu diferite tipuri de violenta bazata pe gen sau abuz online pot presupune uneori ca este doar online, deci cat de rau poate fi? Dar este o experienta cu adevarat traumatica ”, a spus Plumb, seful cercetarii politicii de produs la Facebook. „Unele victime au vorbit despre a avea ganduri suicidare sau de a trai cu frica constanta cu privire la reputatia lor personala si profesionala. Schimba modul in care privesc lumea din jurul lor, determinandu-i sa traiasca cu teama si paranoia despre ce alte informatii ar putea fi impartasite fara consimtamantul lor ”.

Cercetarile Facebook au evidentiat diferente geografice, culturale si religioase semnificative in tipurile de imagini care sunt considerate „intime”.

“Initial, politica noastra se concentra asupra nuditatii care a fost partajata fara consimtamant, dar am constatat ca exista imagini care pot fi partajate fara consimtamant, care nu ar incalca politica noastra privind nuditatea, dar sunt folosite pentru a hartui pe cineva”, a declarat Antigone Davis, seful departamentului global al Facebook Siguranta.

Antigone Davis, sefa securitatii globale a Facebook, vorbeste la o masa rotunda cu prima doamna Melania Trump pe 20 martie 2018. Evan Vucci / fisier AP

Davis a dat exemplul unei femei din India care a raportat o fotografie in care era complet imbracata intr-o piscina cu un barbat complet imbracat.

„In cadrul culturii si familiei ei, acest lucru nu ar fi un comportament acceptabil”, a spus Davis. „Fotografia a fost impartasita in mod intentionat familiei si angajatorului pentru a o hartui”.

Consecintele pentru victime pot fi extreme. Unele grupuri de advocacy au remarcat faptul ca clientii lor se confrunta cu crime de onoare, renegarea familiei lor sau abuz fizic.

Cum va poate ajuta AI

Pe baza cercetarilor, Facebook a incercat sa-si instruiasca aplicatiile de inteligenta artificiala pentru a recunoaste o mare varietate de imagini ca potentiale porno de razbunare. www.bright-bookmarks.win

Sistemele Facebook scaneaza fiecare postare pentru a gasi indicii, unele dintre ele subtile.

• termoenergetica
• mesagerul de neamt
• vanzare auto
• meteo cluj
• mila kunis
• mykonos
• xnxx.com
• a murit
• o scrisoare pierduta
• deichmann
• origo
• olx suceava
• wta
• vagabond
• 4chan
• catalog lidl
• sicap
• sarbatorile de iarna
• psg
• peppa pig house wallpaper

De exemplu, includerea unui emoji cu ras, impreuna cu o fraza de genul „uita-te la asta” sunt doua indicii potentiale ca o imagine ar putea fi o razbunare pornografica, potrivit companiei.

Odata ce algoritmii semnaleaza o imagine, aceasta este trimisa spre examinare de catre oameni.

„Scopul nostru este sa gasim contextul razbunator si nudul sau aproape nudul, si oricat de multe semnale ar trebui sa le privim, le vom folosi”, a spus Mike Masland, managerul de produs al Facebook pentru combaterea pornoului de razbunare.

Sistemele de inteligenta artificiala necesita cantitati mari de date pentru a invata sa distinga imaginile. Pentru a obtine suficiente exemple, Facebook spune ca s-a orientat catre o sursa usor disponibila: imagini nud si aproape nud incarcate pe Facebook, care au fost deja semnalate de proprii recenzori umani ai companiei.

Pe masura ce sunt raportate mai multe imagini, AI poate avea o provocare in a tine pasul, dar, cu mai multe exemple, se poate imbunatati.

„Va evolua”, a spus Masland.

Dar unii sunt sceptici ca AI poate identifica in mod eficient aceste imagini.

„Oamenii deja se lupta cu intentie determinanta”, a spus Sarah T. Roberts, profesor asistent la UCLA care studiaza moderarea continutului comercial. „Deci, cum poate AI, care se bazeaza in mare parte pe modele abstractizate de comportament uman, sa fie mai bine pozitionat sa cunoasca?”

„Un mare joc de whack-a-mole”

Una dintre persoanele consultate de Facebook atunci cand a dezvoltat instrumente de combatere a razbunarii porno a fost Katelyn Bowden de la BADASS.

In aprilie 2017, Bowden a descoperit ca imagini nud cu ea au fost postate pe un site web cunoscut pentru distribuirea pornoului de razbunare.

„Reactia mea imediata a fost panica, jena si socul”, a spus Bowden, care era barman in Youngstown, Ohio, la acea vreme. „Socul a evoluat in depresie.”

Bowden a descoperit ca singura modalitate de a-i scoate fotografiile a fost sa le protejeze prin drepturi de autor si apoi sa emita notificari de eliminare a site-urilor web. Dar au inceput sa apara pe alte site-uri precum 4Chan si Discord, o platforma de chat pentru jucatori.

„A fost un joc mare de lovitura-alunita”, a spus ea.

Katelyn Bowden

Curand, Bowden a inceput sa se conecteze cu alte victime pe care le-a gasit online pentru a le ajuta sa-si ia fotografiile si a creat un grup de Facebook pentru ceea ce a numit „Armata BADASS”, care a acumulat 3.000 de membri in 18 luni.

La mijlocul anului 2017, Bowden a primit un mesaj de la Antigone Davis, invitand-o la birourile Facebook din Menlo Park, California si Seattle pentru a discuta cu echipele despre experientele „armatei” ei.

Bowden a spus ca s-a intalnit cu cativa dintre specialistii in recenzii ale continutului Facebook, responsabili de verificarea imaginilor marcate drept porno de razbunare. Ei aveau medii in investigatiile privind traficul sexual si exploatarea copiilor, a spus ea.

„Cred ca o iau in serios, dar cauta o solutie tehnica la o problema umana”, a spus ea, sugerand ca compania investeste in mai multi moderatori umani.

Raspunsuri robotice

Bowden si alti lideri ai grupurilor de sprijin pentru victime consultate de Facebook doresc ca reteaua sociala sa adopte o abordare mult mai personala cu victimele.

„Facebook nu pare sa aiba multa empatie”, a spus Bowden despre limbajul pe care compania il foloseste in politicile si sistemele sale de raportare.

Plumb a spus ca acesta este unul dintre cele mai comune comentarii oferite in lunile de cercetare ale Facebook. Grupurile de sprijin pentru victime au declarat ca limbajul folosit de Facebook nu transmite gravitatea situatiei si, uneori, poate fi perceput ca o blamare a victimei.

Ca raspuns, Facebook a modificat limbajul pe care il foloseste pe site-ul sau, in orientarile politice si in instrumentele de raportare, cu scopul de a face victimele sa se simta sustinute, nu judecate.

De exemplu, a sters o linie de pe pagina de asistenta pentru clienti dedicata imaginilor intime non-consensuale, care spunea: „Cel mai sigur lucru pe care il poti face este sa nu impartasesti niciodata ceva ce nu ai vrea sa vada alte persoane”.

„Acest lucru este cu siguranta adevarat, dar nu este atat de util pentru victime dupa fapt”, a spus Plumb.

Facebook a actualizat procesul de raportare pentru a permite victimelor sa depuna o plangere de razbunare pornografica intr-o singura pagina simpla, cu instructiuni clare despre cum sa adune dovezile pe care Facebook trebuie sa le ia masuri cu privire la o plangere.

In partea din spate, compania a facut din acest tip de material o prioritate in cozile de moderare a continutului. Acum, orice semnalat drept porno cu razbunare este tratat cu un nivel similar de urgenta ca si continutul legat de auto-vatamare.

Daca Facebook stabileste ca un utilizator a distribuit imagini intime cu intentie rau intentionata, atat continutul, cat si contul partajatorului sunt eliminate.

Victimele si avocatii spun ca Facebook trebuie sa faca mai multe.

Doua victime care au vorbit cu NBC News au declarat ca fotografiile lor au fost impartasite de hartuitori in chat-urile de grup de pe Messenger la care nu aveau acces. Aceasta insemna ca nu pot vizualiza sau raporta continutul.

Amanda, in varsta de 32 de ani, mama de la Lexington, Kentucky, a spus ca, chiar si atunci cand hartuitorul a inclus-o intr-un chat de grup, Facebook nu a raspuns. In septembrie, ea a raportat ca a impartasit fotografii cu sanii ei in discutii de grup, impreuna cu mesaje care o descriau drept „curva” si „curva”, dar saptamani mai tarziu imaginile sunt inca acolo.

Bowden a spus ca membrii comunitatii sale BADASS se plang in mod regulat de lipsa de raspuns a Instagram.

„Instagram este ingrozitor”, a spus Bowden. „Isi iau vesnic sa raspunda si nu inchid conturile care sunt rele”.

O purtatoare de cuvant a Facebook a spus ca, deoarece Instagram impartaseste aceleasi politici si recenzori de continut ca si Facebook, ar trebui sa aplice regulile in mod egal.

Cu toate acestea, nici Instagram, nici Messenger nu au un limbaj specific in fluxurile lor de raportare, pentru a permite utilizatorilor sa semnaleze continutul drept porno de razbunare. In schimb, trebuie sa o semnaleze ca nuditate sau hartuire, ceea ce inseamna ca nu i se va acorda prioritate maxima.

„Urmatoarea frontiera”

Dupa un inceput stancos, Facebook a extins instrumentul care le permite oamenilor sa isi prezinte fotografiile intime in mod preventiv in Marea Britanie, SUA, Canada, Pakistan si Taiwan. O purtatoare de cuvant a Facebook a spus ca instrumentul va fi lansat in alte tari din Europa, Orientul Mijlociu si America Latina in urmatoarele luni.

Dar pentru unele victime, perspectiva de a-si impartasi fotografiile intime cu oricine atunci cand se simt atat de vulnerabile este terifianta.

In vara anului 2017, un fost partener nemultumit al sotului lui Nicole Brzyski a postat fotografii intime ale ei si ale sotului ei, impreuna cu numele si alte detalii biografice, pe mai multe site-uri dedicate imaginilor intime neconsensuale.

„Am crezut ca lumea mea se prabuseste”, a spus Brzyski. „A durat mult sa accept ca nu este vina mea.”

Brzyski, acum paralegal si avocat pentru altii care au suferit abuzuri online, a petrecut ore intregi facand cereri de eliminare a acestor site-uri web. Ea si-a folosit experienta in marketingul digital pentru a crea bloguri, profiluri de socializare si site-uri web intr-un efort de a ineca pornografia de razbunare de pe prima pagina a rezultatelor Google pentru numele ei.

„Am crezut ca lumea mea se prabuseste”.

Cu toate acestea, ea nu si-a trimis fotografiile pe Facebook pentru eliminare proactiva.

„Se pare ca ar fi un instrument util, dar apoi incepeti sa va ganditi sa impartasiti aceasta fotografie cu alte persoane. Suntem deja atat de incomodi si traumatizati. N-am facut-o niciodata pentru ca mi-a fost atat de teama ca aceste fotografii vor fi intr-un fel scapate din nou. Cine stie cine se uita la ei? ”

Plumb a spus ca acest tip de feedback nu este neobisnuit si ca Facebook nu a fost suficient de clar in explicatia initiala a pilotului. Victimele nu au inteles cum a functionat procesul de potrivire, cine de pe Facebook ar avea acces la fotografii si daca exista riscul ca imaginile lor sa fie sparte sau filtrate.

Imaginile trimise pe Facebook sunt vizualizate pe scurt de un moderator de continut instruit sa se ocupe de probleme de siguranta pentru a se asigura ca sunt de fapt imagini intime inainte de a fi convertite in amprente digitale care pot fi utilizate pentru a preveni orice postare ulterioara a imaginii pe Facebook, Instagram si Messenger . Procesul este similar cu cel utilizat pentru eliminarea imaginilor de abuz sexual asupra copiilor de pe web.

Facebook sterge imaginea originala la sapte zile dupa ce a transformat-o in amprenta indescifrabila. Aceasta inseamna ca Facebook nu mentine o baza de date cu fotografii intime care ar putea fi vulnerabile la hacking sau abuz – o teama exprimata de unele victime in cercetarile Facebook.

In Marea Britanie, Revenge Porn Helpline, o organizatie nonprofit dedicata ajutorarii celor care se ocupa de imagini intime non-consensuale, a indicat peste 400 de persoane instrumentul de eliminare a Facebook pe parcursul unui an.

„Usurarea pe care o simt victimele atunci cand stiu ca imaginile lor nu pot fi impartasite in acest mod este imensa”, a spus Sophie Mortimer, managerul Revenge Porn Hotline.

Mortimer a spus ca abordarea proactiva a Facebook se remarca, comparativ cu abordarile reactive ale altor platforme.

„Ne-ar placea sa vedem in alta parte o atitudine similara fata de prevenire”, a spus ea.

Davis de pe Facebook a spus ca aceasta este „urmatoarea frontiera”. Compania spera sa colaboreze cu altii din industrie, precum Twitter, YouTube, Microsoft, Snap si Reddit, in acelasi mod in care a facut-o pentru a combate propaganda terorista.

„Ceea ce vedeti este ca vom inchide acest tip de continut pe platforma noastra, dar apoi oamenii vor sari catre alte platforme si spatii”, a spus Davis. „Ceea ce ar fi grozav in toata industria este sa impartasim informatii pentru a dezactiva pe cineva sa se deplaseze de la o platforma la alta”.

CORECTIE (19 noiembrie 2019, ora 11:14 ET): o versiune anterioara a acestui articol a afirmat gresit cine a spus Nicole Brzyski care a postat online fotografii intime cu ea si sotul ei. Era fostul partener al sotului ei, nu fostul ei. www.pop-bookmarks.win