Google’s Scans of Private Photos Led to False Accusations of Child Abuse

Fri, 9 Sep 2022 19:57:28 +1000

Andrew Pam <xanni [at] glasswings.com.au>

Andrew Pam
<https://www.eff.org/deeplinks/2022/08/googles-scans-private-photos-led-false-accusations-child-abuse>

"Internet users’ private messages, files, and photos of everyday people are
increasingly being examined by tech companies, which check the data against
government databases. While this is not a new practice, the public is being
told this massive scanning should extend to nearly every reach of their online
activity so that police can more productively investigate crimes related to
child sexual abuse images, sometimes called CSAM.

We don’t know much about how the public gets watched in this way. That’s
because neither the tech companies that do the scanning, nor the government
agencies they work with, share details of how it works. But we do know that the
scanning is far from perfect, despite claims to the contrary. It makes
mistakes, and those mistakes can result in false accusations of child abuse. We
don’t know how often such false accusations happen, or how many people get hurt
by them.

The spread of CSAM causes real harms, and tech companies absolutely should work
on new ways of fighting it. We have suggested some good ways of doing so, like
building better reporting tools, privacy-respecting warning messages, and
metadata analysis.

An article published yesterday in the New York Times reports on how Google
made two of these false accusations, and the police follow-up. It also
highlights Google’s refusal to correct any of the damage done by its erroneous
scans, and the company’s failed human review processes. This type of scanning
is increasingly ubiquitous on tech products we all use, and governments around
the world want to extend its reach even further, to check even our most
private, encrypted conversations. The article is especially disturbing, not
just for the harm it describes to the two users Google falsely accused, but
also as a warning of potentially many more such mistakes to come."

Via Rixty Dixet.

Cheers,
       *** Xanni ***
--
mailto:xanni@xanadu.net               Andrew Pam
http://xanadu.com.au/                 Chief Scientist, Xanadu
https://glasswings.com.au/            Partner, Glass Wings
https://sericyb.com.au/               Manager, Serious Cybernetics

Comment via email

Home E-Mail Sponsors Index Search About Us