← つむぎ トップページに戻る コンテンツセーフティ原則

つむぎ コンテンツセーフティ原則

親御さんが選んだお子さまの写真から AI が絵本を作るサービスとして、生成内容にどのような制約をかけ、 写真をどう取り扱い、問題があった場合にどう通報を受け付けるかをご説明します。

制定日
2026-08-15
運営者
瀬戸 幹章（個人事業主）

本文書は現行実装を基にした説明であり、法律意見ではありません。本原則は運営の実務に基づいて随時改定し、変更がある場合は改定日を明示します。

本文書は、プライバシーポリシー・利用規約・アプリ内の写真利用確認通知と矛盾しないように書かれています。 内容が食い違う場合は、法的効力を持つプライバシーポリシー・利用規約・アプリ内表示が優先します（詳細は本文末尾「6. 本原則の位置づけ」参照）。

1. 基本姿勢

つむぎは、親御さんが選んだお子さまの写真から、AI がストーリーとイラストを自動生成し、1 冊の絵本にするサービスです。 子どもの顔写真という、特に配慮が必要な情報を扱う以上、私たちは次の姿勢で臨みます。

  • 写真は「その絵本を作るためだけ」に使う。 取得した写真・生成した画像を、依頼された絵本の作成・保存・閲覧・共有以外の目的（広告、AI モデルの追加学習への任意提供、第三者への販売等）に転用しません。
  • AI が生成する内容には、あらかじめ守るべき線を引く。 「何でも生成できてしまう」状態を避け、絵本にふさわしい明るく安全な表現の範囲に、システム側の指示と自動フィルタの両方で制約をかけます（詳細は次章）。
  • できることと、まだできないこと・保証できないことを分けて説明する。 「即時に完全削除される」「AI 事業者は一切データを保持しない」といった、現状のインフラで断定できない主張はしません。実際の保持・削除の挙動は、良い意味でも悪い意味でも、ありのまま説明します。
  • 原則を公開してから直す、ではなく先に固める。 子どもの写真から合成的にコンテンツを生成するサービスは、ディープフェイクに関する社会的な議論・規制の対象になり得ると認識しています。この文書は、規制が具体化する前に、私たちが何を制約し、何を禁止しているかを先に示すためのものです。

この原則は今後も見直します。実装、利用している AI 事業者の条件、及び関連法令・ガイドラインが変わった場合は、本文書を改定します （改定の方法は「6. 本原則の位置づけ」参照）。

2. 生成内容の制約

2.1 AI に指示している内容の範囲

つむぎの絵本は 0〜6 歳のお子さま向けの読み聞かせを想定しています。ストーリー生成・イラスト生成の指示（システムプロンプト）には、 次のような制約を組み込んでいます。

  • 年齢にふさわしい題材にする。 文章生成では「暴力・恐怖・死・別離」を避けるよう明示的に指示しています。
  • 写真ページに描くのは主人公のお子さま 1 人だけ。 親、他の大人、他のお子さまは描かないよう指示しています（写っている全員を描き分ける精緻な合成は行いません）。
  • エンディングページには人物を一切描かない。 開いた本、毛布、夕日、星空など「もの・情景」だけを描くよう明示的に指示しています。
  • 写真に写っていないことを描き足さない。 各ページの文章・キャプションは、実際にその写真に写っている内容を基にするよう指示し、空想の出来事を付け足さないようにしています。
  • 絵柄はユーザーが選んだスタイル（水彩・北欧風・ポップ・クレヨン等）に統一し、全ページに同じ絵柄指定を付与します。 生成のたびに絵柄がばらつくことを避けるための仕組みで、内容面の安全対策そのものではありません。

これらは AI モデルへの「指示」であり、生成 AI の性質上、意図しない出力が完全にゼロになることは保証できません。 指示に反する出力が生成された場合にユーザーが取れる操作（ページ単位の再生成、写真の差し替え等）は用意していますが、 事前に人手で全出力を確認する体制は現状ありません。

2.2 自動フィルタ（Content Safety）による拒否

イラスト生成は Microsoft Azure AI Foundry 経由で行っており、生成リクエストは Azure 側の content safety 機構による審査を経ます。 つむぎのコード側では、この審査で拒否されたリクエストを個別のエラーとして扱い、通常の通信エラーとは区別しています。

  • 審査で拒否された場合、同じ入力のまま機械的に再試行することはありません（同じ結果になる可能性が高いため）。
  • 表紙候補（3 パターン）については、絵本の表紙という用途を明示した、より安全な文脈の表現に自動的に言い換えた上で、そのスロットに限り 1 回だけ再生成を試みます。2 回目も拒否された場合はそのスロットを打ち止めにします。
  • 表紙以外のページ（写真ページ・エンディングページ）で拒否された場合は、そのページを「生成できませんでした」として扱い、ユーザーに次の操作を案内します。
    • もう一度試す
    • その写真を別の写真に差し替える
    • 作成を取り消す（クレジットは戻ります）
  • Azure の content safety 機構がどの内容を拒否するかの詳細な判定基準・カテゴリはサービス提供者側の仕様であり、つむぎ側で個別の判定理由をユーザーに開示することはできません。

2.3 参照画像の使い方に関する制約

イラスト生成では、お子さまの顔がわかる参照写真、または各ページの元写真そのものを AI に渡して「イラスト化」しています。 実在しない人物を新たに合成したり、参照写真の子どもを別人の写真と合成したりする機能は、現行実装にはありません。 1 回の生成につき使う参照素材は、そのお子さま自身の写真に限られます。

3. 写真の取り扱い

写真をアップロードする前に、次の 3 点をユーザー本人が能動的にチェックしない限り、写真は送信されません （アプリ内の写真利用確認画面で表示します）。

  1. 自分は 18 歳以上の成人であること
  2. 自分は保護者または権限を持つ人で、写っている人・撮影者について必要な権利・許可を確認していること
  3. 写真がどの事業者にどのような目的で送られ、どの程度の期間保持・削除されるかの説明を理解し、受け入れること

確認しない場合、写真は送信されず、購入やクレジットの消費も始まりません。この確認は「写真アップロード」「参照画像の正規化」 「ストーリー生成」「イラスト生成」「テキスト再生成」「写真差し替え」など、写真・AI 生成に関わる操作全体に共通して適用されます （サーバー側でも一括して確認済みかを検証しており、未確認のリクエストは処理されません）。

3.2 どの事業者に何を送るか

絵本を作るため、選んだ写真とお子さまについて入力した内容を、次の事業者で処理します。

  • Cloudflare: 写真の一時的なサーバー処理・保存と、絵本づくり全体の処理の実行
  • Google Vertex AI（Gemini）: 選んだ写真から短いキャプション（一行説明）を作成し、そのキャプションやお子さまについての入力から物語を作成。元の写真そのものから物語を作ることはありません
  • Microsoft Azure AI Foundry（FLUX.1 Kontext Pro）: 写真をもとに絵本のイラストを生成

画像生成に使う AI プロバイダは Azure AI Foundry のみです。他の画像生成サービス（fal.ai 等）は使用せず、生成モデルの混在もしません。 これは絵柄の一貫性を保つためだけでなく、子どもの写真を送る先を限定するための方針でもあります。

3.3 保持と削除

写真・参照画像は、サーバーに永続的に保存する設計にはしていません。ただし、「送信直後に必ず即座に、かつ確実に消える」とも説明しません。 実際の挙動は次のとおりです。

  • 絵本の全ページが完成すると、元写真のクラウドストレージからの削除を直ちに試みます。参照写真（顔の正規化済み画像）は、同じお子さまについて他に制作中の絵本がなければ、あわせて削除を試みます。
  • 削除の試行が失敗した場合は、完了するまで自動で間隔を空けながら再試行します。そのため、失敗時には完成直後よりも削除完了まで時間がかかることがあります。
  • 制作の途中（ストーリー未生成・生成失敗・表紙選択待ち等）では、ユーザーが作業を再開できるように、写真・参照画像を一定期間（状態に応じて最短 1 時間〜最長 30 日程度）保持します。この保持は「あとで続きから作れるようにする」ためのもので、無期限の保存ではありません。詳細な状態別の保持期間はプライバシーポリシー 5. 保存期間と削除に記載しています。
  • 再生成（絵柄を変える、写真を差し替える等）のたびに元写真をサーバーへ再送信する必要が生じないよう、正規化済みの参照写真と、圧縮した元写真は、ユーザーの端末側にキャッシュとして保持します。このキャッシュはアプリ独自の暗号化はしておらず、OS のバックアップ除外設定を試みていますが、失敗や旧バージョンからの移行、OS・ユーザー設定によっては端末外に複製されないことを保証できません。

3.4 Azure（Microsoft）でのデータの扱い

Microsoft の規約上、Azure AI Foundry 経由で画像生成に使う入力・出力はモデルの学習に用いられません。ただし、不正利用の監視のため、 該当するサンプルが例外的に確認される場合があります。

Google Cloud についても、その公式なデータ利用方針に基づき処理を委託しています。詳細はプライバシーポリシー 4.2 AI 事業者による学習・保存を参照してください。

3.5 配信方法

生成された絵本の画像は、公開 URL としては配信しません。ユーザー向けの画像は、期限付きの閲覧用リンク（現行運用ではおおむね 24 時間程度で失効） でのみ配信します。祖父母向けの共有ページは、認証は不要ですが、推測が困難なランダムな共有用のリンクを 知っている人だけが閲覧できる仕組みです（詳細は「4. 悪用の禁止」参照）。

4. 悪用の禁止

つむぎは、家族が自分の子どもの写真から絵本を作るためのサービスです。次の利用は禁止します （利用規約 第 10 条（禁止事項）にも同様の規定があります）。

  • 他人の子どもの写真を、その保護者の許可なくアップロードすること。 自分の子ども以外の写真を使う場合も、その保護者・撮影者から必要な許可を得ていることが前提です。
  • 実在する子ども・大人の容貌を、本人や保護者の意図に反する形で改変・合成し、事実と異なる印象を与える目的で利用すること。 つむぎの生成機能は「その子ども自身の写真を、絵本のイラストという様式に変換する」ためのものであり、実在の人物について誤解を招く画像（いわゆるディープフェイク的な用途）を作るための機能ではありません。
  • 入浴、裸、性的、虐待、危険行為その他、子どもの尊厳・安全を害する内容の写真をアップロードすること。 このような写真は、当社の判断及び Azure 側の content safety 機構による審査の対象となり、処理を拒否する場合があります。
  • 共有 URL を、絵本に関わりのない第三者への公開・転載・拡散に用いること。 共有 URL は「家族・親族などに絵本を見せる」ためのものであり、SNS 等での不特定多数への公開・宣伝目的の利用は想定していません。共有を停止したい場合、ユーザーはアプリから共有を無効化できます（無効化前に URL を保存・転載された場合まで遡って閲覧を止めることはできません）。

これらに違反する利用が確認された場合、アカウントの利用制限、コンテンツの削除、その他利用規約に基づく措置を取ることがあります。 下記「5. 通報・お問い合わせ」の窓口が申立てを受け付け、運営者が個別に内容を確認したうえで対応します。

5. 通報・お問い合わせ

生成されたコンテンツに不適切な内容が含まれていた場合、他人の子どもの写真が許可なく使われている疑いがある場合、 その他コンテンツセーフティ上の懸念がある場合は、下記の窓口までご連絡ください。アプリ内の各ページには、 個別に通報できる「この絵を報告する」機能も用意しています。

  • 問い合わせ窓口: support@tsumugu-works.com（メールのみ、24 時間受付）
  • 受付から一次回答までの目安時間: 原則として 7 日以内
  • 緊急性の高い申立て（子どもの安全に関わる懸念等）を優先的に扱う手順: 件名又は本文に緊急性が分かる旨を明記いただければ、受信次第優先的に確認します。個人開発運営のため 24 時間常駐の専任窓口ではなく、即時対応を保証するものではありません
  • 通報者の匿名性の扱い、通報対象者への通知の要否: 通報者が入力した情報は対応に必要な範囲でのみ利用します。通報対象アカウントへ通報者を特定する情報は通知しません。対応結果を通報対象者へ通知するかは事案に応じて判断します

6. 本原則の位置づけ

  • 本文書は、つむぎの安全に関する考え方と現行実装の運用を説明するものであり、それ自体は利用者との間の契約書ではありません。 ユーザーとの間の権利義務は利用規約が、個人情報・写真データの取扱いはプライバシーポリシー 及びアプリ内の写真利用確認通知が定めます。本文書と、それらの文書または実際のアプリ内表示との間に食い違いがある場合は、 利用規約・プライバシーポリシー・アプリ内表示が優先します。
  • 本文書は、AI モデルの挙動、利用するプロバイダの条件、法令・プラットフォーム規約及び社会的な議論の状況に応じて改定します。 改定する場合は、本ページに改定日とともに掲載します。軽微な文言修正や体裁変更は、都度の告知を要しません。

参考

本文書に関連する他の文書:

本文書の記載は、つむぎに対する法的適合性の保証ではありません。