Trouver des contenus qui se ressemblent sans passer par un LLM ? SimHash fait ça depuis 2002 😋 Dans cet article, @lyrixx.bsky.social vous montre comment découper un texte en shingles, compter les votes et comparer des milliers de pages en SQL 🚀 jolicode.com/blog/simhas... #simhash
SimHash : trouver les pages qui se ressemblent
Il y a quelques semaines, j'ai eu besoin de détecter du contenu dupliqué dans le crawler de redirection.io. Pas du dupliqué à la virgule près, ça c'est facile, mais du dupliqué « en gros, c'est
jolicode.com
![use Symfony\AI\Platform\Bridge\Gemini\Embeddings as GeminiEmbeddings; use Symfony\AI\Platform\Bridge\Gemini\PlatformFactory as GeminiPlatformFactory; $platform = GeminiPlatformFactory::create($_SERVER['GEMINI_API_KEY']); // Choix du modèle d'embedding $embeddings = new GeminiEmbeddings(); $text = 'Le chat est un animal domestique très apprécié.'; $response = $platform->invoke($embeddings, $text); $vector = $response->asVectors()[0];](https://cdn.bsky.app/img/feed_thumbnail/plain/did:plc:ipf5uswko242r5djmfhuhc4v/bafkreieg4cla2aerr62w4mf5mmobafgqkglkr77pwf5jdgb3k2bka47wk4)
