FacebookAI / roberta-base
FacebookAI / roberta-base 是一個由Facebook AI 研究團隊（FAIR）開發的基於RoBERTa 架構的預訓練語言模型。
中文(繁體)
中文(繁體)
FacebookAI / roberta-base是一個由Facebook AI 研究團隊（FAIR）開發的基於RoBERTa 架構的預訓練語言模型。 RoBERTa（Robustly optimized BERT approach）是對經典的BERT 模型的改進，具有更強的性能和更好的適應能力，尤其在各種自然語言處理任務中表現優異。
基於BERT架構的改進：RoBERTa 在BERT 的基礎上進行最佳化，使用更多的訓練資料、更長的訓練，並移除了一些原BERT 的設計限制，如句子對任務中的Next Sentence Prediction（NSP ）任務。
強大的文本表示能力：透過大量的無監督資料訓練，RoBERTa 學會了更精確的上下文表示，適用於文字分類、情緒分析、問答系統等多種NLP 任務。
大規模訓練資料：Facebook AI 使用了大量的文字資料（包括BooksCorpus、English Wikipedia、CC-News 等），使得模型能夠更好地理解語言的複雜性和情境。
1. 安裝依賴
首先需要安裝Hugging Face 的transformers庫和torch ：
pip install transformers torch
2. 載入模型與分詞器
使用transformers庫載入roberta-base模型和分詞器：
from transformers import RobertaTokenizer, RobertaForSequenceClassification import torch # 載入模型和分詞器model_name = "facebook/roberta-base" tokenizer = RobertaTokenizer.from_pretrained(model_name) model = RobertaForSequenceClassification.from_pretrained(model_name) # 設定設備（如果有GPU，使用GPU） device = "cuda" if torch.cuda.is_available() else "cpu" model.to(device)
3. 寫出推理函數
假設我們想要進行情緒分析（即判斷一段文字是正面的還是負面的），我們可以使用以下程式碼來推理：
def predict_sentiment(text):
# 編碼文字 inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512).to(device)
# 使用模型進行推理 with torch.no_grad():
outputs = model(**inputs)
# 取得預測結果 logits = outputs.logits
predicted_class = torch.argmax(logits, dim=1).item()
return predicted_class
# 測試text = "I love this new product, it's amazing!"
predicted_class = predict_sentiment(text)
# 輸出預測結果if predicted_class == 1:
print("Positive Sentiment")
else:
print("Negative Sentiment")4. 使用模型進行文字分類
RoBERTa 模型廣泛應用於文字分類任務。以下是如何使用facebook/roberta-base進行文字分類的一個基本範例：
def classify_text(text):
inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512).to(device)
# 進行分類推理 with torch.no_grad():
outputs = model(**inputs)
logits = outputs.logits
prediction = torch.argmax(logits, dim=1).item()
return prediction
# 範例文字text = "The weather today is really nice!"
classification = classify_text(text)
print("Classified as:", classification)5. 微調（Fine-tuning）模型
你也可以透過在特定資料集上微調RoBERTa 模型來提高效能。以下是一個簡化的微調流程：
from transformers import Trainer, TrainingArguments # 訓練資料和標籤train_texts = ["I love this!", "I hate this!"] train_labels = [1, 0] # 1: Positive, 0: Negative # 對訓練資料進行編碼train_encodings = tokenizer(train_texts, truncation=True, padding=True, max_length=512) train_labels = torch.tensor(train_labels) # 建立訓練集from torch.utils.data import TensorDataset, DataLoader train_dataset = TensorDataset(torch.tensor(train_encodings.input_ids), train_labels) # 設定訓練參數training_args = TrainingArguments( output_dir="./results", num_train_epochs=3, per_device_train_batch_size=8, logging_dir="./logs", ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, ) # 微調模型trainer.train()
FacebookAI / roberta-base是一個強大的預訓練語言模型，適用於各種NLP 任務，特別是在文本分類、情緒分析和問答系統等任務中表現優異。
你可以使用Hugging Face提供的transformers庫輕鬆載入並使用該模型進行推理和訓練。
透過簡單的程式碼範例，你可以開始使用RoBERTa 進行情感分析、文字分類等NLP 任務。
RoBERTa 是在BERT 基礎上進行最佳化的，因此它在多種自然語言處理任務中都可以提供更出色的效能。
