Modération de contenu

allowed_user_comments = [
    'Ce film était génial, j\'ai vraiment apprécié. L\'acteur principal a vraiment assuré !',
    'Je déteste les lundis.',
    'C\'est un bon moment pour investir dans l\'or !'
]

disallowed_user_comments = [
    'Supprime ce post maintenant ou tu ferais mieux de te cacher. Je viens après toi et ta famille.',
    'Éloignez-vous des téléphones 5G !! Ils utilisent la 5G pour vous contrôler.',
    'Félicitations ! Vous avez gagné une carte cadeau de 1 000 $. Cliquez ici pour réclamer votre prix !'
]

# Exemples de commentaires d'utilisateurs pour tester la modération de contenu
user_comments = allowed_user_comments + disallowed_user_comments

# Liste des catégories considérées comme dangereuses pour la modération de contenu
unsafe_categories = [
    'Exploitation d\'Enfants',
    'Théories du Complot',
    'Haine',
    'Armes Indiscriminées', 
    'Propriété Intellectuelle',
    'Crimes Non-Violents', 
    'Vie Privée',
    'Auto-Mutilation',
    'Crimes Sexuels',
    'Contenu Sexuel',
    'Conseils Spécialisés',
    'Crimes Violents'
]

import anthropic
import json

# Initialiser le client Anthropic
client = anthropic.Anthropic()

def moderate_message(message, unsafe_categories):
    # Convertir la liste des catégories dangereuses en chaîne, avec chaque catégorie sur une nouvelle ligne
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Construire le prompt pour Claude, incluant le message et les catégories dangereuses
    assessment_prompt = f"""
    Déterminez si le message suivant justifie une modération, 
    basé sur les catégories dangereuses décrites ci-dessous.
    
    Message:
    <message>{message}</message>

    Catégories Dangereuses:
    <categories>
    {unsafe_category_str}
    </categories>

    Répondez avec SEULEMENT un objet JSON, en utilisant le format ci-dessous:
    {{
    "violation": <Champ booléen indiquant si le message doit être modéré>,
    "categories": [Liste séparée par des virgules des catégories violées],
    "explanation": [Optionnel. Inclure seulement s'il y a une violation.]
    }}"""

    # Envoyer la requête à Claude pour la modération de contenu
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Utilisation du modèle Haiku pour des coûts plus bas
        max_tokens=200,
        temperature=0,   # Utiliser une température de 0 pour une cohérence accrue
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analyser la réponse JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraire le statut de violation de l'évaluation
    contains_violation = assessment['violation']
    
    # S'il y a une violation, obtenir les catégories et l'explication ; sinon, utiliser des valeurs par défaut vides
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation

# Traiter chaque commentaire et imprimer les résultats
for comment in user_comments:
    print(f"\nCommentaire: {comment}")
    violation, violated_categories, explanation = moderate_message(comment, unsafe_categories)
    
    if violation:
        print(f"Catégories Violées: {', '.join(violated_categories)}")
        print(f"Explication: {explanation}")
    else:
        print("Aucun problème détecté.")

import anthropic
import json

# Initialiser le client Anthropic
client = anthropic.Anthropic()

def assess_risk_level(message, unsafe_categories):
    # Convertir la liste des catégories dangereuses en chaîne, avec chaque catégorie sur une nouvelle ligne
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Construire le prompt pour Claude, incluant le message, les catégories dangereuses et les définitions de niveau de risque
    assessment_prompt = f"""
    Évaluez le niveau de risque du message suivant qui justifie une modération, 
    basé sur les catégories dangereuses listées ci-dessous.
    
Message:
<message>{message}</message>

Catégories Dangereuses:
<categories>
{unsafe_category_str}
</categories>

Attribuez un niveau de risque basé sur votre confiance que le message de l'utilisateur doit être modéré 
basé sur les catégories dangereuses définies:

0 - Aucun risque
1 - Risque faible
2 - Risque moyen
3 - Risque élevé

Répondez avec SEULEMENT un objet JSON, en utilisant le format ci-dessous:
{{
  "risk_level": <Champ numérique indiquant le niveau de risque>,
  "categories": [Liste séparée par des virgules des catégories violées],
  "explanation": <Optionnel. Inclure seulement si le niveau de risque est supérieur à 0>
}}"""

    # Envoyer la requête à Claude pour l'évaluation du risque
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Utilisation du modèle Haiku pour des coûts plus bas
        max_tokens=200,
        temperature=0,   # Utiliser une température de 0 pour une cohérence accrue
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analyser la réponse JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraire le niveau de risque, les catégories violées et l'explication de l'évaluation
    risk_level = assessment["risk_level"]
    violated_categories = assessment["categories"]
    explanation = assessment.get("explanation")
    
    return risk_level, violated_categories, explanation

# Traiter chaque commentaire et imprimer les résultats
for comment in user_comments:
    print(f"\nCommentaire: {comment}")
    risk_level, violated_categories, explanation = assess_risk_level(comment, unsafe_categories)
    
    print(f"Niveau de Risque: {risk_level}")
    if violated_categories:
        print(f"Catégories Violées: {', '.join(violated_categories)}")
    if explanation:
        print(f"Explication: {explanation}")

import anthropic
import json

# Initialiser le client Anthropic
client = anthropic.Anthropic()

# Dictionnaire des catégories considérées comme dangereuses pour la modération de contenu, avec leurs définitions
unsafe_category_definitions = {
    'Exploitation d\'Enfants': 'Contenu qui dépeint la nudité d\'enfants ou qui permet, encourage, excuse ou dépeint l\'abus sexuel d\'enfants.',
    'Théories du Complot': """Contenu qui promeut ou endosse des théories non fondées, fausses ou trompeuses sur des événements, situations ou individus, 
        qui peuvent inciter au mal ou saper la confiance publique dans les institutions ou les faits.""",
    'Haine': """Contenu qui est haineux envers les personnes sur la base de leurs caractéristiques protégées 
        (race, couleur, ethnicité, origine nationale, handicap, affiliation religieuse, caste, orientation sexuelle, sexe, identité de genre et maladie grave), 
        ou contenu qui perpétue des stéréotypes négatifs.""",
    'Armes Indiscriminées': 'Contenu qui permet la création d\'armes de destruction massive.', 
    'Propriété Intellectuelle': 'Contenu qui viole les droits de propriété intellectuelle de tiers.',
    'Crimes Non-Violents': 'Contenu qui permet, encourage ou excuse la commission de crimes non-violents.', 
    'Vie Privée': 'Contenu qui contient des informations personnelles sensibles sur des individus privés.',
    'Auto-Mutilation': 'Contenu qui permet, encourage ou excuse des actes d\'auto-mutilation intentionnelle.',
    'Crimes Sexuels': 'Contenu qui permet, encourage ou excuse la commission de crimes sexuels.',
    'Contenu Sexuel': 'Contenu qui contient des descriptions érotiques ou des représentations explicites d\'actes sexuels.',
    'Conseils Spécialisés': """Contenu qui contient des conseils financiers, médicaux ou juridiques. 
        Les conseils financiers incluent des orientations sur les investissements, actions, obligations ou toute planification financière.""",
    'Crimes Violents': 'Contenu qui permet, encourage ou excuse la commission de crimes violents.', 
}


def moderate_message_with_definitions(message, unsafe_category_definitions):
    # Formater la chaîne des catégories dangereuses, avec chaque catégorie et sa définition sur une nouvelle ligne
    unsafe_category_str = '\n'.join(f'{category}: {definition}' 
        for category, definition in unsafe_category_definitions.items()
    )
    
    # Construire le prompt pour Claude, incluant le message et les catégories dangereuses
    assessment_prompt = f"""Déterminez si le message suivant justifie une modération, basé sur les catégories dangereuses décrites ci-dessous.

Message:
<message>{message}</message>

Catégories Dangereuses et Leurs Définitions:
<categories>
{unsafe_category_str}
</categories>

Il est important que vous vous souveniez de toutes les catégories dangereuses et de leurs définitions.

Répondez avec SEULEMENT un objet JSON, en utilisant le format ci-dessous:
{{
  "violation": <Champ booléen indiquant si le message doit être modéré>,
  "categories": [Liste séparée par des virgules des catégories violées],
  "explanation": [Optionnel. Inclure seulement s'il y a une violation.]
}}"""

    # Envoyer la requête à Claude pour la modération de contenu
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Utilisation du modèle Haiku pour des coûts plus bas
        max_tokens=200,
        temperature=0,   # Utiliser une température de 0 pour une cohérence accrue
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analyser la réponse JSON de Claude
    assessment = json.loads(response.content[0].text)
    
    # Extraire le statut de violation de l'évaluation
    contains_violation = assessment['violation']
    
    # S'il y a une violation, obtenir les catégories et l'explication ; sinon, utiliser des valeurs par défaut vides
    violated_categories = assessment.get('categories', []) if contains_violation else []
    explanation = assessment.get('explanation') if contains_violation else None
    
    return contains_violation, violated_categories, explanation


# Traiter chaque commentaire et imprimer les résultats
for comment in user_comments:
    print(f"\nCommentaire: {comment}")
    violation, violated_categories, explanation = moderate_message_with_definitions(comment, unsafe_category_definitions)
    
    if violation:
        print(f"Catégories Violées: {', '.join(violated_categories)}")
        print(f"Explication: {explanation}")
    else:
        print("Aucun problème détecté.")

import anthropic
import json

# Initialiser le client Anthropic
client = anthropic.Anthropic()

def batch_moderate_messages(messages, unsafe_categories):
    # Convertir la liste des catégories dangereuses en chaîne, avec chaque catégorie sur une nouvelle ligne
    unsafe_category_str = '\n'.join(unsafe_categories)
    
    # Formater la chaîne des messages, avec chaque message enveloppé dans des balises de type XML et donné un ID
    messages_str = '\n'.join([f'<message id={idx}>{msg}</message>' for idx, msg in enumerate(messages)])
    
    # Construire le prompt pour Claude, incluant les messages et les catégories dangereuses
    assessment_prompt = f"""Déterminez les messages à modérer, basé sur les catégories dangereuses décrites ci-dessous.

Messages:
<messages>
{messages_str}
</messages>

Catégories dangereuses et leurs définitions:
<categories>
{unsafe_category_str}
</categories>

Répondez avec SEULEMENT un objet JSON, en utilisant le format ci-dessous:
{{
  "violations": [
    {{
      "id": <id du message>,
      "categories": [liste des catégories violées],
      "explanation": <Explication de pourquoi il y a une violation>
    }},
    ...
  ]
}}

Notes Importantes:
- N'oubliez pas d'analyser chaque message pour une violation.
- Sélectionnez tout nombre de violations qui s'appliquent raisonnablement."""

    # Envoyer la requête à Claude pour la modération de contenu
    response = client.messages.create(
        model="claude-3-haiku-20240307",  # Utilisation du modèle Haiku pour des coûts plus bas
        max_tokens=2048,  # Augmentation du nombre maximum de tokens pour gérer les lots
        temperature=0,    # Utiliser une température de 0 pour une cohérence accrue
        messages=[
            {"role": "user", "content": assessment_prompt}
        ]
    )
    
    # Analyser la réponse JSON de Claude
    assessment = json.loads(response.content[0].text)
    return assessment


# Traiter le lot de commentaires et obtenir la réponse
response_obj = batch_moderate_messages(user_comments, unsafe_categories)

# Imprimer les résultats pour chaque violation détectée
for violation in response_obj['violations']:
    print(f"""Commentaire: {user_comments[violation['id']]}
Catégories Violées: {', '.join(violation['categories'])}
Explication: {violation['explanation']}
""")