【python】闭包之回调函数异步应用场景

python 闭包函数 的用途

闭包函数在Python中有多种用途，下面是一些常见的应用场景：

1. 封装数据：闭包函数可以用于创建对象的私有变量，将变量隐藏在函数内部，只能通过特定的函数访问和修改。这样可以避免全局变量的污染，并增加代码的封装性和安全性。
2. 保留状态：闭包函数可以捕获并保留其定义时的上下文环境。这意味着函数可以记住其被创建时的状态，可以在后续调用中继续使用这些状态。这在需要保持持久状态的场景中非常有用，比如计数器、缓存、历史记录等。
3. 实现装饰器：闭包函数常用于实现装饰器，装饰器是一种修改函数行为的技术。通过在函数定义前使用装饰器语法，可以在不修改原始函数代码的情况下，为函数添加额外的功能，比如日志记录、性能分析、输入验证等。
4. 实现回调函数：闭包函数可以用作回调函数，即将一个函数作为参数传递给另一个函数，以在适当的时候进行调用。回调函数常用于异步编程、事件处理和触发器等场景，通过闭包函数可以方便地传递上下文和状态信息。
5. 延迟计算：闭包函数可以用于实现延迟计算，即将计算推迟到稍后的时候再进行。闭包函数可以捕获所需的变量和表达式，并在需要时进行计算。这对于处理大数据集或复杂计算的情况下，可以提高效率和性能。

总之，闭包函数提供了一种灵活而强大的编程工具，可以用于实现许多有用的功能和模式。它们能够捕获上下文环境并保留状态，使得函数能够具有更多的能力和特性。

闭包概念与回调函数在异步上传文件时的应用场景代码示例：

import asyncio


async def upload_file(file_path):
    # 模拟上传文件的操作
    # 实际应该调用上传文件的方法，返回任务ID
    await asyncio.sleep(1)  # 模拟上传的耗时操作
    task_id = file_path  # 这里假设任务ID就是文件路径
    return task_id


async def parse_file(task_id):
    # 模拟解析文件的操作
    # 实际应该根据任务ID执行相应的解析操作
    await asyncio.sleep(1)  # 模拟解析的耗时操作
    print(f'解析文件 {task_id}')


async def upload_worker(queue, result_queue):
    while True:
        file_path = await queue.get()
        task_id = await upload_file(file_path)
        await result_queue.put(task_id)
        queue.task_done()


async def parse_worker(result_queue):
    while True:
        task_id = await result_queue.get()
        await parse_file(task_id)
        result_queue.task_done()


async def main():
    file_paths = [f'/path/to/file{i}' for i in range(100)]  # 文件路径列表

    queue = asyncio.Queue()
    result_queue = asyncio.Queue()

    # 创建上传任务
    upload_tasks = []
    for _ in range(100):  # 可根据需求调整并发数
        task = asyncio.create_task(upload_worker(queue, result_queue))
        upload_tasks.append(task)

    # 创建解析任务
    parse_tasks = []
    for _ in range(5):  # 可根据需求调整并发数
        task = asyncio.create_task(parse_worker(result_queue))
        parse_tasks.append(task)

    # 将文件路径放入队列
    for file_path in file_paths:
        await queue.put(file_path)

    # 等待所有文件上传完成
    await queue.join()

    # 结束上传任务
    for task in upload_tasks:
        task.cancel()

    # 等待所有解析任务完成
    await result_queue.join()

    # 结束解析任务
    for task in parse_tasks:
        task.cancel()

asyncio.run(main())