同人誌を自動ダウンロード・整理するPythonツール「Doujin Archiver」を作った

$ python doujin_downloader.py

2025-10-18 01:23:45 - INFO - ダウンロード処理を開始します
2025-10-18 01:23:45 - INFO - ダウンロードタイムアウト: 300秒 (5.0分)

==================================================
今日 (2025年10月18日) の更新を検索中...
==================================================
2025-10-18 01:23:46 - INFO - トップページにアクセスしています...
2025-10-18 01:23:47 - WARNING - 今日の更新アイテムが見つかりませんでした。1日前を検索します...

==================================================
1日前 (2025年10月17日) の更新を検索中...
==================================================
2025-10-18 01:23:48 - INFO - ✓ 2025年10月17日の更新アイテムが見つかりました！
2025-10-18 01:23:48 - INFO - 処理対象: 2025年10月17日の更新アイテム 23件

2025-10-18 01:23:50 - INFO - PDFダウンロード開始: https://...
2025-10-18 01:24:15 - INFO - ダウンロード成功 (25.3秒): (C104)[サークル名]東方Project.pdf

def main():
    items = []
    used_date = None
    
    for days_ago in range(MAX_RETRY_DAYS + 1):  # デフォルトは1日前まで
        target_date = datetime.now() - timedelta(days=days_ago)
        items, used_date = get_items_by_date(target_date)
        
        if items:
            logging.info(f'✓ {target_date.strftime("%Y年%m月%d日")}の更新アイテムが見つかりました！')
            break
        else:
            if days_ago < MAX_RETRY_DAYS:
                logging.warning(f'{days_ago}日前も見つかりませんでした。{days_ago + 1}日前を検索します...')

def normalize_event_name(tag_text):
    # C104形式が既にある場合はそのまま
    c_match = re.search(r'C(\d+)', tag_text)
    if c_match:
        return f"C{c_match.group(1)}"
    
    # 年と季節から番号を推定
    year_match = re.search(r'20(\d{2})', tag_text)
    if year_match and ('夏' in tag_text or '冬' in tag_text):
        year = int(year_match.group(1))
        if '夏' in tag_text:
            # 夏コミ: C100, C102, C104...
            event_num = 100 + (year - 22) * 2
        elif '冬' in tag_text:
            # 冬コミ: C101, C103, C105...
            event_num = 101 + (year - 22) * 2
        return f"C{event_num}"

def download_pdf(item, dl_page_url):
    start_time = time.time()
    
    try:
        pdf_response = session.get(pdf_url, stream=True, timeout=30)
        
        with open(filepath, 'wb') as f:
            for chunk in pdf_response.iter_content(chunk_size=8192):
                # チャンクごとに経過時間をチェック
                elapsed_time = time.time() - start_time
                if elapsed_time > DOWNLOAD_TIMEOUT:
                    logging.warning(f'タイムアウト ({elapsed_time:.1f}秒経過)')
                    if os.path.exists(filepath):
                        os.remove(filepath)  # 不完全なファイルを削除
                    return False
                f.write(chunk)
    except requests.exceptions.Timeout:
        # 接続タイムアウトの処理
        pass

def generate_filename(item):
    # 優先順位1: イベント名
    if item['event_name']:
        return f"({item['event_name']})[{circle}]{original_work}.pdf"
    
    # 優先順位2: 発行日
    elif item['publish_date']:
        return f"[{circle}]{original_work} {item['publish_date']}.pdf"
    
    # 優先順位3: 更新日
    else:
        return f"[{circle}]{original_work} {item['update_date']}.pdf"

def load_download_history():
    if os.path.exists(HISTORY_FILE):
        with open(HISTORY_FILE, 'rb') as f:
            return pickle.load(f)
    return set()

def save_download_history(history):
    with open(HISTORY_FILE, 'wb') as f:
        pickle.dump(history, f)

# 重複チェック
if url in downloaded_history:
    logging.info(f'スキップ (既にダウンロード済み): {url}')
    continue

git clone https://github.com/kiyohken2000/doujin-archiver.git
cd doujin-archiver
pip install -r requirements.txt

python doujin_downloader.py

# ダウンロード先ディレクトリ
DOWNLOAD_DIR = 'downloads'

# タイムアウト時間（秒）
DOWNLOAD_TIMEOUT = 300  # 5分

# 最大何日前まで遡るか
MAX_RETRY_DAYS = 1  # デフォルトは1日前まで

MAX_RETRY_DAYS = 3  # 3日前まで遡る
MAX_RETRY_DAYS = 7  # 1週間前まで遡る

# main()関数内で
target_date = datetime(2025, 10, 15)  # 2025年10月15日を指定
items, used_date = get_items_by_date(target_date)

try:
    # 処理
except SpecificError as e:
    logging.error(f'エラー内容: {e}')
    continue  # 次のアイテムへ

# 各ダウンロード間に待機時間を設定
time.sleep(3)

def clean_filename(filename):
    # コロンは全角に変換
    filename = filename.replace(':', '：')
    # その他の使用できない文字は半角スペースに変換
    return re.sub(r'[\\/*?"<>|]', ' ', filename)

logging.basicConfig(
    handlers=[
        logging.FileHandler('doujin_downloader.log', encoding='utf-8'),
        logging.StreamHandler()
    ]
)